@inproceedings{matos-feltrim-2026-avaliacao,
    title = "Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es do Enem: Um Estudo Emp{\'i}rico sobre Representa{\c{c}}{\~o}es Lingu{\'i}sticas e Contextuais",
    author = "Matos, Gabriel Gon{\c{c}}alves de  and
      Feltrim, Val{\'e}ria D.",
    editor = "Souza, Marlo  and
      de-Dios-Flores, Iria  and
      Santos, Diana  and
      Freitas, Larissa  and
      Souza, Jackson Wilke da Cruz  and
      Ribeiro, Eug{\'e}nio",
    booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
    month = apr,
    year = "2026",
    address = "Salvador, Brazil",
    publisher = "Association for Computational Linguistics",
    url = "https://preview.aclanthology.org/ingest-dnd/2026.propor-1.48/",
    pages = "488--497",
    ISBN = "979-8-89176-387-6",
    abstract = "A Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es (AAR) para o portugu{\^e}s brasileiro ainda {\'e} uma tarefa desafiadora, particularmente no contexto do exame Enem, no qual a qualidade textual {\'e} avaliada por meio de m{\'u}ltiplas compet{\^e}ncias e as notas apresentam natureza ordinal. Neste artigo, investigamos estrat{\'e}gias de modelagem h{\'i}brida para AAR em n{\'i}vel de compet{\^e}ncia, combinando caracter{\'i}sticas lingu{\'i}sticas expl{\'i}citas com representa{\c{c}}{\~o}es contextuais. Utilizando o c{\'o}rpus Enem-AES, a avalia{\c{c}}{\~a}o de cada compet{\^e}ncia foi modelada como um problema de predi{\c{c}}{\~a}o ordinal por meio do framework CORAL. Foi realizada uma compara{\c{c}}{\~a}o emp{\'i}rica controlada entre representa{\c{c}}{\~o}es lexicais tradicionais, um amplo conjunto de m{\'e}tricas lingu{\'i}sticas extra{\'i}das com o sistema NILC-Metrix, caracter{\'i}sticas manuais orientadas {\`a} tarefa, embeddings contextuais e combina{\c{c}}{\~o}es dessas representa{\c{c}}{\~o}es. Os resultados mostram que modelos h{\'i}bridos alcan{\c{c}}am o maior n{\'i}vel m{\'e}dio de concord{\^a}ncia com as notas humanas, embora o desempenho varie entre compet{\^e}ncias e dependa do tipo de representa{\c{c}}{\~a}o utilizada. Al{\'e}m disso, foi analisado o comportamento dos modelos em cen{\'a}rios de discord{\^a}ncia entre avaliadores, o que evidenciou o impacto da variabilidade de anota{\c{c}}{\~a}o no desempenho dos modelos. De modo geral, os resultados fornecem evid{\^e}ncias de que a combina{\c{c}}{\~a}o de indicadores lingu{\'i}sticos com embeddings contextuais constitui uma estrat{\'e}gia promissora para a tarefa de AAR no contexto do Enem."
}