Introdução
A Classificação Internacional de Doenças (CID) é fundamental para a padronização de diagnósticos em prontuários eletrônicos, impactando vigilância epidemiológica, pesquisa e gestão hospitalar. Entretanto, a codificação manual depende da interpretação clínica, sendo suscetível a erros e baixa especificidade. Técnicas de Inteligência Artificial (IA) baseadas em Processamento de Linguagem Natural (PLN) oferecem potencial para automatizar a atribuição de códigos diagnósticos, embora sua aplicação em textos clínicos em português e, especialmente, no contexto obstétrico brasileiro, ainda seja limitada.

Objetivos
Validar e comparar o desempenho de modelos de linguagem de grande porte (LLMs) na atribuição automática de códigos CID-10 a partir de relatórios de alta obstétrica, bem como confrontar o desempenho automatizado com a variabilidade e acurácia da anotação humana especializada.

Métodos
Trata-se de um estudo retrospectivo de corte transversal, no qual foi utilizado um corpus de 1.117 relatórios de alta obstétrica recodificados por um especialista em obstetrícia, constituindo o padrão-ouro para avaliação. Foram comparados seis modelos via Interface de Programação de Aplicações - API (temperatura = 0): GPT-4o, GPT-4o-mini, Sabiá-3.1, DeepSeek-V3, Gemini 1.5 Flash e um GPT-4o-mini submetido a fine-tuning. Aplicou-se um prompt padronizado para extração hierárquica de códigos. As métricas avaliadas incluíram micro-precisão, micro-recall e micro-F1, com e sem consideração da hierarquia dos códigos (“specificity”). Também foi testada a tradução dos textos para inglês. A variabilidade humana foi estimada por meio da avaliação cega de 315 notas (28% da amostra) por um especialista independente.

Resultados
O GPT-4o apresentou o melhor desempenho, com micro-F1 = 0,36 sem especificidade hierárquica e 0,15 com especificidade. A tradução para inglês não melhorou a performance (micro-F1 = 0,32 sem especificidade). A concordância humana atingiu precisão de 0,77, enquanto o melhor modelo alcançou 0,57, demonstrando que os LLMs permanecem aquém da variabilidade humana. O modelo fine-tuned apresentou micro-F1 = 0,22, sugerindo que a estratégia de ajuste empregada prejudicou o raciocínio clínico aplicado. Como produto adicional deste mestrado profissional, será desenvolvida uma cartilha prática destinada a orientar profissionais de saúde no uso adequado da ferramenta de IA, incluindo recomendações, limitações, fluxos de utilização e boas práticas, favorecendo a adoção responsável e segura da tecnologia no ambiente hospitalar.

Conclusão
Os resultados deste estudo indicam que, embora os modelos de linguagem de grande porte apresentem potencial para apoiar a atribuição automática de códigos CID-10 em textos clínicos em português, seu desempenho ainda é inferior ao da codificação humana especializada, especialmente no que se refere à especificidade diagnóstica. Dessa forma, os achados reforçam que, no estado atual, a inteligência artificial deve ser empregada como ferramenta complementar ao julgamento clínico, contribuindo para a padronização e eficiência dos processos de codificação, sem substituir a atuação do profissional de saúde.