@inproceedings{chalegre-etal-2026-avaliacao,
    title = "Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es do Enem: Uma An{\'a}lise Comparativa entre Engenharia de Caracter{\'i}sticas e Transformers",
    author = "Chalegre, P{\^a}mela Camilo  and
      Machado, Vitor da Rocha  and
      Feltrim, Val{\'e}ria Delisandra",
    editor = "Souza, Marlo  and
      de-Dios-Flores, Iria  and
      Santos, Diana  and
      Freitas, Larissa  and
      Souza, Jackson Wilke da Cruz  and
      Ribeiro, Eug{\'e}nio",
    booktitle = "Proceedings of the 17th International Conference on Computational Processing of {P}ortuguese ({PROPOR} 2026) - Vol. 1",
    month = apr,
    year = "2026",
    address = "Salvador, Brazil",
    publisher = "Association for Computational Linguistics",
    url = "https://preview.aclanthology.org/ingest-dnd/2026.propor-1.73/",
    pages = "738--748",
    ISBN = "979-8-89176-387-6",
    abstract = "A Avalia{\c{c}}{\~a}o Autom{\'a}tica de Reda{\c{c}}{\~o}es (AES) {\'e} um desafio central em avalia{\c{c}}{\~o}es educacionais de larga escala, como o Exame Nacional do Ensino M{\'e}dio (Enem), no qual reda{\c{c}}{\~o}es s{\~a}o avaliadas em m{\'u}ltiplas compet{\^e}ncias. Este trabalho apresenta uma an{\'a}lise comparativa de representa{\c{c}}{\~o}es textuais para a AES em n{\'i}vel de compet{\^e}ncia no portugu{\^e}s brasileiro. Foram avaliados modelos baseados em caracter{\'i}sticas utilizando TF-IDF, m{\'e}tricas lingu{\'i}sticas extra{\'i}das com o NILC-Metrix e uma combina{\c{c}}{\~a}o h{\'i}brida de ambos, al{\'e}m de modelos baseados em transformers. Os experimentos foram conduzidos sobre o corpus Enem-AES, considerando formula{\c{c}}{\~o}es de classifica{\c{c}}{\~a}o e de regress{\~a}o. Os resultados indicam que formula{\c{c}}{\~o}es de regress{\~a}o s{\~a}o, em geral, mais adequadas do que as de classifica{\c{c}}{\~a}o multiclasse, pois acomodam melhor a estrutura ordinal das notas. Modelos baseados em transformers alcan{\c{c}}aram uma concord{\^a}ncia maior em compet{\^e}ncias relacionadas ao uso da linguagem e {\`a} coes{\~a}o textual, enquanto representa{\c{c}}{\~o}es baseadas em caracter{\'i}sticas demonstraram um desempenho compar{\'a}vel em compet{\^e}ncias associadas {\`a} pertin{\^e}ncia tem{\'a}tica. Apesar de alcan{\c{c}}arem alta acur{\'a}cia sob o crit{\'e}rio de toler{\^a}ncia do Enem, todas as abordagens demonstraram dificuldade em prever notas extremas, principalmente devido ao desbalanceamento do corpus. Dessa forma, conclui-se que as metodologias s{\~a}o complementares e que sistemas h{\'i}bridos s{\~a}o promissores para a AES."
}