2011
pdf
abs
Sélection de réponses à des questions dans un corpus Web par validation (Selection of answers to questions in a web corpus by validation)
Arnaud Grappy
|
Brigitte Grau
|
Mathieu-Henri Falco
|
Anne-Laure Ligozat
|
Isabelle Robba
|
Anne Vilnat
Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Les systèmes de questions réponses recherchent la réponse à une question posée en langue naturelle dans un ensemble de documents. Les collectionsWeb diffèrent des articles de journaux de par leurs structures et leur style. Pour tenir compte de ces spécificités nous avons développé un système fondé sur une approche robuste de validation où des réponses candidates sont extraites à partir de courts passages textuels puis ordonnées par apprentissage. Les résultats montrent une amélioration du MRR (Mean Reciprocal Rank) de 48% par rapport à la baseline.
2010
pdf
abs
A Corpus for Studying Full Answer Justification
Arnaud Grappy
|
Brigitte Grau
|
Olivier Ferret
|
Cyril Grouin
|
Véronique Moriceau
|
Isabelle Robba
|
Xavier Tannier
|
Anne Vilnat
|
Vincent Barbier
Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10)
Question answering (QA) systems aim at retrieving precise information from a large collection of documents. To be considered as reliable by users, a QA system must provide elements to evaluate the answer. This notion of answer justification can also be useful when developping a QA system in order to give criteria for selecting correct answers. An answer justification can be found in a sentence, a passage made of several consecutive sentences or several passages of a document or several documents. Thus, we are interesting in pinpointing the set of information that allows to verify the correctness of the answer in a candidate passage and the question elements that are missing in this passage. Moreover, the relevant information is often given in texts in a different form from the question form: anaphora, paraphrases, synonyms. In order to have a better idea of the importance of all the phenomena we underlined, and to provide enough examples at the QA developer's disposal to study them, we decided to build an annotated corpus.
2008
pdf
abs
EASY, Evaluation of Parsers of French: what are the Results?
Patrick Paroubek
|
Isabelle Robba
|
Anne Vilnat
|
Christelle Ayache
Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08)
This paper presents EASY, which has been the first campaign evaluating syntactic parsers on all the common syntactic phenomena and a large set of dependency relations. The language analyzed was French. During this campaign, an annotation scheme has been elaborated with the different actors: participants and corpus providers; then a corpus made of several syntactic materials has been built and annotated: it reflects a great variety of linguistic styles (from literature to oral transcriptions, and from newspapers to medical texts). Both corpus and annotation scheme are here briefly presented. Moreover, evaluation measures are explained and detailed results are given. The results of the 15 parsers coming from 12 teams are analyzed. To conclude, a first experiment aiming to combine the outputs of the different systems is shown.
2007
pdf
abs
Systèmes de questions-réponses : vers la validation automatique des réponses
Anne-Laure Ligozat
|
Brigitte Grau
|
Isabelle Robba
|
Anne Vilnat
Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Posters
Les systèmes de questions-réponses (SQR) ont pour but de trouver une information précise extraite d’une grande collection de documents comme le Web. Afin de pouvoir comparer les différentes stratégies possibles pour trouver une telle information, il est important d’évaluer ces systèmes. L’objectif d’une tâche de validation de réponses est d’estimer si une réponse donnée par un SQR est correcte ou non, en fonction du passage de texte donné comme justification. En 2006, nous avons participé à une tâche de validation de réponses, et dans cet article nous présentons la stratégie que nous avons utilisée. Celle-ci est fondée sur notre propre système de questions-réponses. Le principe est de comparer nos réponses avec les réponses à valider. Nous présentons les résultats obtenus et montrons les extensions possibles. À partir de quelques exemples, nous soulignons les difficultés que pose cette tâche.
pdf
abs
Les résultats de la campagne EASY d’évaluation des analyseurs syntaxiques du français
Patrick Paroubek
|
Anne Vilnat
|
Isabelle Robba
|
Christelle Ayache
Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Posters
Dans cet article, nous présentons les résultats de la campagne d’évaluation EASY des analyseurs syntaxiques du français. EASY a été la toute première campagne d’évaluation comparative des analyseurs syntaxiques du français en mode boîte noire utilisant des mesures objectives quantitatives. EASY fait partie du programme TECHNOLANGUE du Ministère délégué à la Recherche et à l’Éducation, avec le soutien du ministère de délégué à l’industrie et du ministère de la culture et de la communication. Nous exposons tout d’abord la position de la campagne par rapport aux autres projets d’évaluation en analyse syntaxique, puis nous présentos son déroulement, et donnons les résultats des 15 analyseurs participants en fonction des différents types de corpus et des différentes annotations (constituants et relations). Nous proposons ensuite un ensemble de leçons à tirer de cette campagne, en particulier à propos du protocole d’évaluation, de la définition de la segmentation en unités linguistiques, du formalisme et des activités d’annotation, des critères de qualité des données, des annotations et des résultats, et finalement de la notion de référence en analyse syntaxique. Nous concluons en présentant comment les résultats d’EASY se prolongent dans le projet PASSAGE (ANR-06-MDCA-013) qui vient de débuter et dont l’objectif est d’étiqueter un grand corpus par plusieurs analyseurs en les combinant selon des paramètres issus de l’évaluation.
2006
pdf
Evaluation and Improvement of Cross-Lingual Question AnsweringStrategies
Anne-Laure Ligozat
|
Brigitte Grau
|
Isabelle Robba
|
Anne Vilnat
Proceedings of the Workshop on Multilingual Question Answering - MLQA ‘06
pdf
abs
Data, Annotations and Measures in EASY the Evaluation Campaign for Parsers of French.
Patrick Paroubek
|
Isabelle Robba
|
Anne Vilnat
|
Christelle Ayache
Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)
This paper presents the protocol of EASY the evaluation campaign for syntactic parsers of French in the EVALDA project of the TECHNOLANGUE program. We describe the participants, the corpus and its genre partitioning, the annotation scheme, which allows for the annotation of both constituents and relations, the evaluation methodology and, as an illustration, the results obtained by one participant on half of the corpus.
pdf
abs
FRASQUES: A Question Answering system in the EQueR evaluation campaign
Brigitte Grau
|
Anne-Laure Ligozat
|
Isabelle Robba
|
Anne Vilnat
|
Laura Monceaux
Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)
Question-answering (QA) systems aim at providing either a small passage or just the answer to a question in natural language. We have developed several QA systems that work on both English and French. This way, we are able to provide answers to questions given in both languages by searching documents in both languages also. In this article, we present our French monolingual system FRASQUES which participated in the EQueR evaluation campaign of QA systems for French in 2004. First, the QA architecture common to our systems is shown. Then, for every step of the QA process, we consider which steps are language-independent, and for those that are language-dependent, the tools or processes that need to be adapted to switch for one language to another. Finally, our results at EQueR are given and commented; an error analysis is conducted, and the kind of knowledge needed to answer a question is studied.
pdf
abs
L’extraction des réponses dans un système de question-réponse
Anne-Laure Ligozat
|
Brigitte Grau
|
Isabelle Robba
|
Anne Vilnat
Actes de la 13ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Les systèmes de question-réponse sont la plupart du temps composés de trois grands modules : l’analyse de la question, la sélection des documents et l’extraction de la réponse. Dans cet article, nous nous intéressons au troisième module, plus particulièrement dans le cas plus délicat où la réponse attendue n’est pas du type entitée nommée. Nous décrivons comment l’analyseur Cass est employé pour marquer la réponse dans les phrases candidates et nous évaluons les résultats de cette approche. Au préalable, nous décrivons et évaluons le module dédié à l’analyse de la question, car les informations qui en sont issues sont nécessaires à notre étape finale d’extraction.
2004
pdf
abs
Annoter en constituants pour évaluer des analyseurs syntaxiques
Anne Vilnat
|
Laura Monceaux
|
Patrick Paroubek
|
Isabelle Robba
|
Véronique Gendner
|
Gabriel Illouz
|
Michèle Jardino
Actes de la 11ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Cet article présente l’annotation en constituants menée dans le cadre d’un protocole d’évaluation des analyseurs syntaxiques (mis au point dans le pré-projet PEAS, puis dans le projet EASY). Le choix des constituants est décrit en détail et une première évaluation effectuée à partir des résultats de deux analyseurs est donnée.
pdf
abs
The Ongoing Evaluation Campaign of Syntactic Parsing of French: EASY
Anne Vilnat
|
Patrick Paroubek
|
Laura Monceaux
|
Isabelle Robba
|
Véronique Gendner
|
Gabriel Illouz
|
Michèle Jardino
Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC’04)
This paper presents EASY (Evaluation of Analyzers of SYntax), an ongoing evaluation campaign of syntactic parsing of French, a subproject of EVALDA in the French TECHNOLANGUE program. After presenting the elaboration of the annotation formalism, we describe the corpus building steps, the annotation tools, the evaluation measures and finally, plans to produce a validated large linguistic resource, syntactically annotated
2003
pdf
PEAS, the first instantiation of a comparative framework for evaluating parsers of French
Véronique Gendner
|
Gabriel Illouz
|
Michèle Jardino
|
Laura Monceaux
|
Patrick Paroubek
|
Isabelle Robba
|
Anne Vilnat
10th Conference of the European Chapter of the Association for Computational Linguistics
pdf
abs
Confronter des sources de connaissances différentes pour obtenir une réponse plus fiable
Gaël de Chalendar
|
Faïza El Kateb
|
Olivier Ferret
|
Brigitte Grau
|
Martine Hurault-Plantet
|
Laura Monceaux
|
Isabelle Robba
|
Anne Vilnat
Actes de la 10ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
La fiabilité des réponses qu’il propose, ou un moyen de l’estimer, est le meilleur atout d’un système de question-réponse. A cette fin, nous avons choisi d’effectuer des recherches dans des ensembles de documents différents et de privilégier des résultats qui sont trouvés dans ces différentes sources. Ainsi, le système QALC travaille à la fois sur une collection finie d’articles de journaux et sur le Web.
2002
pdf
abs
Les analyseurs syntaxiques : atouts pour une analyse des questions dans un système de question-réponse ?
Laura Monceaux
|
Isabelle Robba
Actes de la 9ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Cet article montre que pour une application telle qu’un système de question – réponse, une analyse par mots clés de la question est insuffisante et qu’une analyse plus détaillée passant par une analyse syntaxique permet de fournir des caractéristiques permettant une meilleure recherche de la réponse.
pdf
abs
Recherche de la réponse fondée sur la reconnaissance du focus de la question
Olivier Ferret
|
Brigitte Grau
|
Martine Hurault-Plantet
|
Gabriel Illouz
|
Laura Monceaux
|
Isabelle Robba
|
Anne Vilnat
Actes de la 9ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Le système de question-réponse QALC utilise les documents sélectionnés par un moteur de recherche pour la question posée, les sépare en phrases afin de comparer chaque phrase avec la question, puis localise la réponse soit en détectant l’entité nommée recherchée, soit en appliquant des patrons syntaxiques d’extraction de la réponse, sortes de schémas figés de réponse pour un type donné de question. Les patrons d’extraction que nous avons définis se fondent sur la notion de focus, qui est l’élément important de la question, celui qui devra se trouver dans la phrase réponse. Dans cet article, nous décrirons comment nous déterminons le focus dans la question, puis comment nous l’utilisons dans l’appariement question-phrase et pour la localisation de la réponse dans les phrases les plus pertinentes retenues.
pdf
A Protocol for Evaluating Analyzers of Syntax (PEAS)
Véronique Gendner
|
Gabriel Illouz
|
Michèle Jardino
|
Laura Monceaux
|
Patrick Paroubek
|
Isabelle Robba
|
Anne Vilnat
Proceedings of the Third International Conference on Language Resources and Evaluation (LREC’02)
1998
pdf
Reference Resolution beyond Coreference: a Conceptual Frame and its Application
Andrei Popescu-Belis
|
Isabelle Robba
|
Gerard Sabah
36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 2
pdf
Reference Resolution beyond Coreference: a Conceptual Frame and its Application
Andrei Popescu-Belis
|
Isabelle Robba
|
Gerard Sabah
COLING 1998 Volume 2: The 17th International Conference on Computational Linguistics
1997
pdf
Cooperation between pronoun and reference resolution for unrestricted texts
Andrei Popescu-Belis
|
Isabelle Robba
Operational Factors in Practical, Robust Anaphora Resolution for Unrestricted Texts