@inproceedings{antoine-etal-2011-evaluation,
    title = "Evaluation de la d{\'e}tection des {\'e}motions, des opinions ou des sentiments : dictature de la majorit{\'e} ou respect de la diversit{\'e} d{'}opinions ? (Evaluation of the detection of emotions, opinions or sentiments: majority dictatorship or respect for opinion diversity?)",
    author = "Antoine, Jean-Yves  and
      Le Tallec, Marc  and
      Villaneau, Jeanne",
    booktitle = "Actes de la 18e conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Articles courts",
    month = jun,
    year = "2011",
    address = "Montpellier, France",
    publisher = "ATALA",
    url = "https://aclanthology.org/2011.jeptalnrecital-court.1",
    pages = "1--6",
    abstract = "D{\'e}tection d{'}{\'e}motion, fouille d{'}opinion et analyse des sentiments sont g{\'e}n{\'e}ralement {\'e}valu{\'e}s par comparaison des r{\'e}ponses du syst{\`e}me concern{\'e} par rapport {\`a} celles contenues dans un corpus de r{\'e}f{\'e}rence. Les questions pos{\'e}es dans cet article concernent {\`a} la fois la d{\'e}finition de la r{\'e}f{\'e}rence et la fiabilit{\'e} des m{\'e}triques les plus fr{\'e}quemment utilis{\'e}es pour cette comparaison. Les exp{\'e}rimentations men{\'e}es pour {\'e}valuer le syst{\`e}me de d{\'e}tection d{'}{\'e}motions EmoLogus servent de base de r{\'e}flexion pour ces deux probl{\`e}mes. L{'}analyse des r{\'e}sultats d{'}EmoLogus et la comparaison entre les diff{\'e}rentes m{\'e}triques remettent en cause le choix du vote majoritaire comme r{\'e}f{\'e}rence. Par ailleurs elles montrent {\'e}galement la n{\'e}cessit{\'e} de recourir {\`a} des outils statistiques plus {\'e}volu{\'e}s que ceux g{\'e}n{\'e}ralement utilis{\'e}s pour obtenir des {\'e}valuations fiables de syst{\`e}mes qui travaillent sur des donn{\'e}es intrins{\`e}quement subjectives et incertaines.",
    language = "French",
}