@inproceedings{gibier-etal-2025-evaluation,
    title = "{\'E}valuation de la description automatique de sc{\`e}nes audio par la t{\^a}che d{'}Audio Question Answering",
    author = {Gibier, Marcel  and
      Duroselle, Rapha{\"e}l  and
      Serrano, Pierre  and
      Bo{\"e}ffard, Olivier  and
      Bonastre, Jean-Fran{\c{c}}ois},
    editor = "Bechet, Fr{\'e}d{\'e}ric  and
      Chifu, Adrian-Gabriel  and
      Pinel-sauvagnat, Karen  and
      Favre, Benoit  and
      Maes, Eliot  and
      Nurbakova, Diana",
    booktitle = "Actes de l'atelier {\'E}valuation des mod{\`e}les g{\'e}n{\'e}ratifs (LLM) et challenge 2025 (EvalLLM)",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "ATALA {\textbackslash}{\textbackslash}{\&} ARIA",
    url = "https://preview.aclanthology.org/add-orcids-2024-emnlp/2025.jeptalnrecital-evalllm.14/",
    pages = "164--177",
    language = "fra",
    abstract = "Nous explorons l'{\'e}valuation de la t{\^a}che de description automatique de sc{\`e}nes audio {\`a} travers une approche indirecte bas{\'e}e sur la r{\'e}ponse aux questions sur des documents audio. En l{'}absence de m{\'e}triques d'{\'e}valuation robustes et automatiques pour la t{\^a}che de description automatique de sc{\`e}nes audio, nous nous appuyons sur le benchmark MMAU, un jeu de questions {\`a} choix multiple sur des extraits audio vari{\'e}s. Nous introduisons une architecture en cascade qui d{\'e}passe les performances de certains mod{\`e}les de r{\'e}f{\'e}rence de taille comparable. Toutefois, nos r{\'e}sultats mettent en {\'e}vidence des limitations du benchmark MMAU, notamment un biais textuel et une capacit{\'e} limit{\'e}e {\`a} {\'e}valuer l{'}int{\'e}gration conjointe des informations relatives {\`a} la parole et aux {\'e}v{\'e}nements sonores. Nous sugg{\'e}rons des pistes d{'}am{\'e}lioration pour rendre les {\'e}valuations futures plus fid{\`e}les aux enjeux de la t{\^a}che de description automatique de sc{\`e}nes audio."
}