Breast cancer survival : time prediction using Machine Learning

Abstract

Esta dissertação, desenvolvida no âmbito do Mestrado em Web Technologies and Systems Engineering no ISLA, aplica métodos baseados em dados para prever o tempo de sobrevivência de pacientes com cancro da mama. Apesar dos avanços significativos no tratamento, o cancro da mama continua a ser um dos principais desafios de saúde pública a nível mundial. O aumento do volume e da complexidade dos dados clínicos evidencia a necessidade de abordagens analíticas e de aprendizagem automática robustas, capazes de melhorar a precisão e a interpretabilidade do processo de apoio à decisão clínica. Seguindo a metodologia CRISP-DM, o projeto integra as fases de extração, transformação e modelação de dados num pipeline ETL completo. Foi utilizado um conjunto de dados de acesso aberto proveniente da plataforma Kaggle, garantindo transparência, reprodutibilidade e utilização ética dos dados. Foram desenvolvidas duas tarefas preditivas complementares. Um classificador Random Forest foi utilizado para distinguir entre casos de sobrevivência curta e longa, alcançando mais de 93% de precisão e um F1-score ponderado superior a 0,90, com melhor deteção dos casos de sobrevivência curta através da aplicação de técnicas de oversampling e ponderação de classes. Em paralelo, o modelo de Riscos Proporcionais de Cox foi implementado para a análise de sobrevivência, demonstrando elevada capacidade discriminativa (C-index > 0,95) e boa calibração. Os resultados confirmam que a combinação entre o processamento estruturado de dados através de ETL, a aprendizagem automática e a modelação de sobrevivência constitui uma abordagem eficaz para identificar sinais prognósticos em conjuntos de dados clínicos heterogéneos. Esta integração apoia decisões de saúde mais informadas, transparentes e orientadas por dados.

This dissertation, developed as part of the Master’s Dissertation in Web Technologies and Systems Engineering at ISLA, aims to apply data-driven methods to predict the survival time of patients with breast cancer. Despite major advances in treatment, breast cancer remains one of the most significant public health concerns worldwide. The growing volume and complexity of clinical data highlight the need for robust analytical and machine learning approaches capable of enhancing the accuracy and interpretability of clinical decision-making. Following the CRISP-DM methodology, this project integrates data extraction, transformation, and modeling within a complete ETL pipeline. An open-access dataset from the Kaggle platform was used to ensure transparency, reproducibility, and ethical data handling. Two complementary predictive tasks were developed. A Random Forest classifier was employed to distinguish between short- and long-term survival cases, achieving over 93% accuracy and a weighted F1-score above 0.90, with improved detection of short-survival cases through oversampling and class weighting. In parallel, a Cox Proportional Hazards model was implemented for survival analysis, demonstrating strong discriminative ability (C-index > 0.95) and good calibration. The results confirm that the combination of structured ETL data preparation, machine learning, and survival modeling provides an effective framework for discovering prognostic signals in heterogeneous clinical datasets, ultimately supporting more informed and data-driven decisions in the healthcare sector.