@inproceedings{moura-etal-2026-sintomas,
    title = "Sintomas Lingu{\'i}sticos: Gera{\c{c}}{\~a}o Aumentada por Recupera{\c{c}}{\~a}o e Racioc{\'i}nio em {LLM}s sob a Varia{\c{c}}{\~a}o Portugu{\^e}s-Ingl{\^e}s em Contextos M{\'e}dicos",
    author = "Moura, Guilherme Vianna de  and
      Assis, Gabriel  and
      Paes, Aline",
    editor = "Souza, Marlo  and
      de-Dios-Flores, Iria  and
      Santos, Diana  and
      Freitas, Larissa  and
      Souza, Jackson Wilke da Cruz  and
      Ribeiro, Eug{\'e}nio",
    booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
    month = apr,
    year = "2026",
    address = "Salvador, Brazil",
    publisher = "Association for Computational Linguistics",
    url = "https://preview.aclanthology.org/ingest-dnd/2026.propor-1.46/",
    pages = "467--477",
    ISBN = "979-8-89176-387-6",
    abstract = "Modelos de L{\'i}ngua de Grande Porte (LLMs) t{\^e}m demonstrado desempenho expressivo em tarefas de racioc{\'i}nio m{\'e}dico. No entanto, sua robustez diante de varia{\c{c}}{\~o}es lingu{\'i}sticas ainda {\'e} pouco explorada, especialmente em idiomas al{\'e}m do ingl{\^e}s, como o portugu{\^e}s. Neste trabalho, investigamos como o idioma de entrada afeta o desempenho e o comportamento de racioc{\'i}nio de LLMs m{\'e}dicos, bem como se a Gera{\c{c}}{\~a}o Aumentada por Recupera{\c{c}}{\~a}o (RAG) {\'e} capaz de mitigar eventuais limita{\c{c}}{\~o}es decorrentes dessas varia{\c{c}}{\~o}es. Para isso, realizamos experimentos em portugu{\^e}s e em ingl{\^e}s, utilizando duas variantes do modelo MedGemma, com 4B e 27B par{\^a}metros, e avaliando-as em tr{\^e}s conjuntos de dados m{\'e}dicos. A avalia{\c{c}}{\~a}o combina m{\'e}tricas quantitativas de acur{\'a}cia com an{\'a}lises qualitativas e estruturais das cadeias de racioc{\'i}nio e das respostas geradas pelos modelos. Os resultados indicam que a varia{\c{c}}{\~a}o lingu{\'i}stica impacta de forma mais acentuada os modelos de menor porte. Em particular, a variante de 4B par{\^a}metros apresenta desempenho consistentemente inferior quando as entradas s{\~a}o fornecidas em portugu{\^e}s. Em contraste, a variante de 27B par{\^a}metros demonstra maior robustez entre idiomas, mantendo n{\'i}veis semelhantes de acur{\'a}cia e de estrutura de racioc{\'i}nio tanto em portugu{\^e}s quanto em ingl{\^e}s. Embora o sistema de RAG implementado apresente recupera{\c{c}}{\~a}o de documentos de boa qualidade, sua integra{\c{c}}{\~a}o n{\~a}o resulta em ganhos consistentes para o modelo menor, o que sugere limita{\c{c}}{\~o}es na explora{\c{c}}{\~a}o efetiva do contexto adicional. De forma geral, este trabalho contribui para o entendimento dos limites atuais dos LLMs m{\'e}dicos em contextos multil{\'i}ngues, destacando os desafios associados ao desempenho em idiomas com recursos limitados."
}