@inproceedings{landragin-2008-vers,
    title = "Vers l'{\'e}valuation de syst{\`e}mes de dialogue homme-machine : de l`oral au multimodal",
    author = "Landragin, Fr{\'e}d{\'e}ric",
    editor = "B{\'e}chet, Fr{\'e}d{\'e}ric  and
      Bonastre, Jean-Francois",
    booktitle = "Actes de la 15{\`e}me conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Articles courts",
    month = jun,
    year = "2008",
    address = "Avignon, France",
    publisher = "ATALA",
    url = "https://preview.aclanthology.org/jlcl-multiple-ingestion/2008.jeptalnrecital-court.9/",
    pages = "81--90",
    language = "fra",
    abstract = "L'{\'e}valuation pour le dialogue homme-machine ne se caract{\'e}rise pas par l`efficacit{\'e}, l`objectivit{\'e} et le consensus que l`on observe dans d`autres domaines du traitement automatique des langues. Les syst{\`e}mes de dialogue oraux et multimodaux restent cantonn{\'e}s {\`a} des domaines applicatifs restreints, ce qui rend difficiles les {\'e}valuations comparatives ou norm{\'e}es. De plus, les avanc{\'e}es technologiques constantes rendent vite obsol{\`e}tes les paradigmes d'{\'e}valuation et ont pour cons{\'e}quence une multiplication de ceux-ci. Des solutions restent ainsi {\`a} trouver pour am{\'e}liorer les m{\'e}thodes existantes et permettre des diagnostics plus automatis{\'e}s des syst{\`e}mes. Cet article se veut un ensemble de r{\'e}flexions autour de l'{\'e}valuation de la multimodalit{\'e} dans les syst{\`e}mes {\`a} forte composante linguistique. Des extensions des paradigmes existants sont propos{\'e}es, en particulier DQR/DCR, sachant que certains sont mieux adapt{\'e}s que d`autres au dialogue multimodal. Des conclusions et perspectives sont tir{\'e}es sur l`avenir de l'{\'e}valuation pour le dialogue homme-machine."
}