Aplicação de Engenharia de Dados na Captura e Processamento de Dados Públicos da Saúde no Brasil

Este estudo aborda a aplicação de engenharia de dados na automação do tratamento de dados abertos de saúde pública no Brasil, considerando o contexto de transparência e participação social previsto na política de dados abertos (INDA, Decreto nº 8.777/2016). O objetivo é desenvolver um pipeline automatizado para coleta, validação, tratamento e armazenamento de informações do DATASUS e de fontes complementares, como IBGE, utilizando arquitetura Data Lakehouse. A metodologia envolve a seleção de fontes relevantes, ingestão por APIs, web scraping e downloads, seguida de integração, padronização e validação para reduzir inconsistências e melhorar a reprodutibilidade das análises. O trabalho se justifica pela lacuna de padronização, limpeza e integração nas bases do DATASUS, que dificulta o uso direto dos dados e pode comprometer a confiabilidade de resultados. Como objetivos específicos, o projeto prevê estruturar o armazenamento de forma eficiente, avaliar a qualidade dos dados e disponibilizar bases tratadas para consumo em dashboards. Os resultados indicam que a solução é escalável e eficiente, ampliando o acesso a informações confiáveis para análises estratégicas, monitoramento de condições de saúde e apoio à formulação de políticas públicas.