Adeline Nazarenko

Also published as: A. Nazarenko, Adeline Nazarenko-Perrin


2022

pdf
A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications
Vijini Liyanage | Davide Buscaldi | Adeline Nazarenko
Proceedings of the Thirteenth Language Resources and Evaluation Conference

Automatic text generation based on neural language models has achieved performance levels that make the generated text almost indistinguishable from those written by humans. Despite the value that text generation can have in various applications, it can also be employed for malicious tasks. The diffusion of such practices represent a threat to the quality of academic publishing. To address these problems, we propose in this paper two datasets comprised of artificially generated research content: a completely synthetic dataset and a partial text substitution dataset. In the first case, the content is completely generated by the GPT-2 model after a short prompt extracted from original papers. The partial or hybrid dataset is created by replacing several sentences of abstracts with sentences that are generated by the Arxiv-NLP model. We evaluate the quality of the datasets comparing the generated texts to aligned original texts using fluency metrics such as BLEU and ROUGE. The more natural the artificial texts seem, the more difficult they are to detect and the better is the benchmark. We also evaluate the difficulty of the task of distinguishing original from generated text by using state-of-the-art classification models.

2018

pdf
An Annotation Language for Semantic Search of Legal Sources
Adeline Nazarenko | François Levy | Adam Wyner
Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)

2017

pdf bib
Traitement Automatique des Langues, Volume 58, Numéro 2 : Traitement automatique de la langue juridique [Legal Natural Language Processing]
Adeline Nazarenko | Adam Wyner
Traitement Automatique des Langues, Volume 58, Numéro 2 : Traitement automatique de la langue juridique [Legal Natural Language Processing]

pdf bib
Legal NLP Introduction
Adeline Nazarenko | Adam Wyner
Traitement Automatique des Langues, Volume 58, Numéro 2 : Traitement automatique de la langue juridique [Legal Natural Language Processing]

2013

pdf
Semantic Annotation in Specific Domains with rich Ontologies (Annotation sémantique pour des domaines spécialisés et des ontologies riches) [in French]
Yue Ma | François Lévy | Adeline Nazarenko
Proceedings of TALN 2013 (Volume 1: Long Papers)

pdf
Help enrich a terminological repository : proposals and experiments (Aide à l’enrichissement d’un référentiel terminologique : propositions et expérimentations) [in French]
Thibault Mondary | Adeline Nazarenko | Haïfa Zargayouna | Sabine Barreaux
Proceedings of TALN 2013 (Volume 2: Short Papers)

2012

pdf
The Quaero Evaluation Initiative on Term Extraction
Thibault Mondary | Adeline Nazarenko | Haïfa Zargayouna | Sabine Barreaux
Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)

The Quaero program has organized a set of evaluations for terminology extraction systems in 2010 and 2011. Three objectives were targeted in this initiative: the first one was to evaluate the behavior and scalability of term extractors regarding the size of corpora, the second goal was to assess progress between different versions of the same systems, the last one was to measure the influence of corpus type. The protocol used during this initiative was a comparative analysis of 32 runs against a gold standard. Scores were computed using metrics that take into account gradual relevance. Systems produced by Quaero partners and publicly available systems were evaluated on pharmacology corpora composed of European Patents or abstracts of scientific articles, all in English. The gold standard was an unstructured version of the pharmacology thesaurus used by INIST-CNRS for indexing purposes. Most systems scaled with large corpora, contrasted differences were observed between different versions of the same systems and with better results on scientific articles than on patents. During the ongoing adjudication phase domain experts are enriching the thesaurus with terms found by several systems.

pdf
Modeling the Complexity of Manual Annotation Tasks: a Grid of Analysis
Karën Fort | Adeline Nazarenko | Sophie Rosset
Proceedings of COLING 2012

2011

pdf
Comprendre les effets des erreurs d’annotations des plateformes de TAL, une étude sur la résolution des anaphores pronominales [Understand the effects of erroneous annotations produced by NLP pipelines, a case study on the pronominal anaphora resolution]
Davy Weissenbacher | Adeline Nazarenko
Traitement Automatique des Langues, Volume 52, Numéro 1 : Varia [Varia]

2010

pdf
Evaluation of Textual Knowledge Acquisition Tools: a Challenging Task
Haïfa Zargayouna | Adeline Nazarenko
Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10)

A large effort has been devoted to the development of textual knowledge acquisition (KA) tools, but it is still difficult to assess the progress that has been made. The results produced by these tools are difficult to compare, due to the heterogeneity of the proposed methods and of their goals. Various experiments have been made to evaluate terminological and ontological tools. They show that in terminology as well as in ontology acquisition, it remains difficult to compare existing tools and to analyse their advantages and drawbacks. From our own experiments in evaluating terminology and ontology acquisition tools, it appeared that the difficulties and solutions are similar for both tasks. We propose a unified approach for the evaluation of textual KA tools that can be instantiated in different ways for various tasks. The main originality of this approach lies in the way it takes into account the subjectivity of evaluation and the relativity of gold standards. In this paper, we highlight the major difficulties of KA evaluation, we then present a unified proposal for the evaluation of terminologies and ontologies acquisition tools and the associated experiments. The proposed protocols take into consideration the specificity of this type of evaluation.

pdf
Formal Description of Resources for Ontology-based Semantic Annotation
Yue Ma | Adeline Nazarenko | Laurent Audibert
Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10)

Ontology-based semantic annotation aims at putting fragments of a text in correspondence with proper elements of an ontology such that the formal semantics encoded by the ontology can be exploited to represent text interpretation. In this paper, we formalize a resource for this goal. The main difficulty in achieving good semantic annotations consists in identifying fragments to be annotated and labels to be associated with them. To this end, our approach takes advantage of standard web ontology languages as well as rich linguistic annotation platforms. This in turn is concerned with how to formalize the combination of the ontological and linguistical information, which is a topical issue that has got an increasing discussion recently. Different from existing formalizations, our purpose is to extend ontologies by semantic annotation rules whose complexity increases along two dimensions: the linguistic complexity and the rule syntactic complexity. This solution allows reusing best NLP tools for the production of various levels of linguistic annotations. It also has the merit to distinguish clearly the process of linguistic analysis and the ontological interpretation.

2009

pdf bib
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Adeline Nazarenko | Thierry Poibeau
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

pdf
Vers une méthodologie d’annotation des entités nommées en corpus ?
Karën Fort | Maud Ehrmann | Adeline Nazarenko
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

La tâche, aujourd’hui considérée comme fondamentale, de reconnaissance d’entités nommées, présente des difficultés spécifiques en matière d’annotation. Nous les précisons ici, en les illustrant par des expériences d’annotation manuelle dans le domaine de la microbiologie. Ces problèmes nous amènent à reposer la question fondamentale de ce que les annotateurs doivent annoter et surtout, pour quoi faire. Nous identifions pour cela les applications nécessitant l’extraction d’entités nommées et, en fonction des besoins de ces applications, nous proposons de définir sémantiquement les éléments à annoter. Nous présentons ensuite un certain nombre de recommandations méthodologiques permettant d’assurer un cadre d’annotation cohérent et évaluable.

pdf bib
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Prise de position
Adeline Nazarenko | Thierry Poibeau
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Prise de position

pdf bib
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Adeline Nazarenko | Thierry Poibeau
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles courts

pdf bib
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Démonstrations
Adeline Nazarenko | Thierry Poibeau
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Démonstrations

pdf
Apport des outils de TAL à la construction d’ontologies : propositions au sein de la plateforme DaFOE
Jean Charlet | Sylvie Szulman | Nathalie Aussenac-Gilles | Adeline Nazarenko | Nathalie Hernandez | Nadia Nadah | Éric Sardet | Jean Delahousse | Guy Pierra
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Démonstrations

La construction d’ontologie à partir de textes fait l’objet d’études depuis plusieurs années dans le domaine de l’ingénierie des ontologies. Un cadre méthodologique en quatre étapes (constitution d’un corpus de documents, analyse linguistique du corpus, conceptualisation, opérationnalisation de l’ontologie) est commun à la plupart des méthodes de construction d’ontologies à partir de textes. S’il existe plusieurs plateformes de traitement automatique de la langue (TAL) permettant d’analyser automatiquement les corpus et de les annoter tant du point de vue syntaxique que statistique, il n’existe actuellement aucune procédure généralement acceptée, ni a fortiori aucun ensemble cohérent d’outils supports, permettant de concevoir de façon progressive, explicite et traçable une ontologie de domaine à partir d’un ensemble de ressources informationnelles relevant de ce domaine. Le but de ce court article est de présenter les propositions développées, au sein du projet ANR DaFOE 4app, pour favoriser l’émergence d’un tel ensemble d’outils.

pdf
Evaluating Term Extraction
Adeline Nazarenko | Haïfa Zargayouna
Proceedings of the International Conference RANLP-2009

pdf
Towards a Methodology for Named Entities Annotation
Karën Fort | Maud Ehrmann | Adeline Nazarenko
Proceedings of the Third Linguistic Annotation Workshop (LAW III)

2007

pdf
Identifier les pronoms anaphoriques et trouver leurs antécédents : l’intérêt de la classification bayésienne
Davy Weissenbacher | Adeline Nazarenko
Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

On oppose souvent en TAL les systèmes à base de connaissances linguistiques et ceux qui reposent sur des indices de surface. Chaque approche a ses limites et ses avantages. Nous proposons dans cet article une nouvelle approche qui repose sur les réseaux bayésiens et qui permet de combiner au sein d’une même représentation ces deux types d’informations hétérogènes et complémentaires. Nous justifions l’intérêt de notre approche en comparant les performances du réseau bayésien à celles des systèmes de l’état de l’art, sur un problème difficile du TAL, celui de la résolution d’anaphore.

pdf
OGMIOS : une plate-forme d’annotation linguistique de collection de documents issus du Web
Thierry Hamon | Julien Derivière | Adeline Nazarenko
Actes de la 14ème conférence sur le Traitement Automatique des Langues Naturelles. Posters

L’un des objectifs du projet ALVIS est d’intégrer des informations linguistiques dans des moteurs de recherche spécialisés. Dans ce contexte, nous avons conçu une plate-forme d’enrichissement linguistique de documents issus du Web, OGMIOS, exploitant des outils de TAL existants. Les documents peuvent être en français ou en anglais. Cette architecture est distribuée, afin de répondre aux contraintes liées aux traitements de gros volumes de textes, et adaptable, pour permettre l’analyse de sous-langages. La plate-forme est développée en Perl et disponible sous forme de modules CPAN. C’est une structure modulaire dans lequel il est possible d’intégrer de nouvelles ressources ou de nouveaux outils de TAL. On peut ainsi définir des configuration différentes pour différents domaines et types de collections. Cette plateforme robuste permet d’analyser en masse des données issus du web qui sont par essence très hétérogènes. Nous avons évalué les performances de la plateforme sur plusieurs collections de documents. En distribuant les traitements sur vingt machines, une collection de 55 329 documents du domaine de la biologie (106 millions de mots) a été annotée en 35 heures tandis qu’une collection de 48 422 dépêches relatives aux moteurs de recherche (14 millions de mots) a été annotée en 3 heures et 15 minutes.

2006

pdf
The ALVIS Format for Linguistically Annotated Documents
A. Nazarenko | E. Alphonse | J. Derivière | T. Hamon | G. Vauvert | D. Weissenbacher
Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)

The paper describes the ALVIS annotation format and discusses the problems that we encountered for the indexing of large collections of documents for topic specific search engines. This paper is exemplified on the biological domain and on MedLine abstracts, as developing a specialized search engine for biologist is one of the ALVIS case studies. The ALVIS principle for linguistic annotations is based on existing works and standard propositions. We made the choice of stand-off annotations rather than inserted mark-up, and annotations are encoded as XML elements which form the linguistic subsection of the document record.

2005

pdf
Comment mesurer la couverture d’une ressource terminologique pour un corpus ?
Goritsa Ninova | Adeline Nazarenko | Thierry Hamon | Sylvie Szulman
Actes de la 12ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

Cet article propose une définition formelle de la notion de couverture lexicale. Celleci repose sur un ensemble de quatre métriques qui donnent une vue globale de l’adéquation d’une ressource lexicale à un corpus et permettent ainsi de guider le choix d’une ressource en fonction d’un corpus donné. Les métriques proposées sont testées dans le contexte de l’analyse de corpus spécialisés en génomique : 5 terminologies différentes sont confrontées à 4 corpus. La combinaison des valeurs obtenues permet de discerner différents types de relations entre ressources et corpus.

2004

pdf
Une mesure de pertinence pour le tri de l’information dans un index de “fin de livre”
Touria Ait El Mekki | Adeline Nazarenko
Actes de la 11ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

Nous nous intéressons à la construction des index de fin de livres. Nous avons développé le système IndDoc qui aide la construction de tels index. L’un des enjeux de la construction d’index est la sélection des informations : sélection des entrées les plus pertinentes et des renvois au texte les plus intéressants. Cette sélection est évidemment utile pour le lecteur qui doit trouver suffisamment d’information mais sans en être submergé. Elle est également précieuse pour l’auteur de l’index qui doit valider et corriger une ébauche d’index produite automatiquement par IndDoc. Nous montrons comment cette sélection de l’information est réalisée par IndDoc. Nous proposons une mesure qui permet de trier les entrées par ordre de pertinence décroissante et une méthode pour calculer les renvois au texte à associer à chaque entrée de l’index.

pdf
Event-Based Information Extraction for the Biomedical Domain: the Caderige Project
Erick Alphonse | Sophie Aubin | Philippe Bessières | Gilles Bisson | Thierry Hamon | Sandrine Lagarrigue | Adeline Nazarenko | Alain-Pierre Manine | Claire Nédellec | Mohamed Ould Abdel Vetah | Thierry Poibeau | Davy Weissenbacher
Proceedings of the International Joint Workshop on Natural Language Processing in Biomedicine and its Applications (NLPBA/BioNLP)

2001

pdf
Exploitation de l’expertise humaine dans un processus de constitution de terminologie
Thierry Hamon | Adeline Nazarenko
Actes de la 8ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs

Le processus de construction de terminologie ne peut être entièrement automatisé. Les méthodes et des outils de la terminologie computationnelle permettent de prendre en charge une partie de la tâche, mais l’expertise humaine garde une place prépondérant. Le défi pour les outils terminologiques est de dégrossir les tâches qui sont soit trop longues soit trop complexes pour l’utilisateur tout en permettant à ce dernier d’intégrer ses propres connaissances spécialisées et en lui laissant le contrôle sur la terminologie à construire. Nous montrons ici comment le rôle de cette expertise est pris en compte dans SynoTerm, l’outil d’acquisition de relation de synonymie entre termes que nous avons d ́eveloppé.

1998

pdf
A Step towards the Detection of Semantic Variants of Terms in Technical Documents
Thierry Hamon | Adeline Nazarenko | Cecile Gros
36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 1

pdf
A step towards the detection of semantic variants of terms in technical documents
Thierry Hamon | Adeline Nazarenko | Cecile Gros
COLING 1998 Volume 1: The 17th International Conference on Computational Linguistics

1996

pdf
Symbolic word clustering for medium-size corpora
Benoit Habert | Elie Naulleau | Adeline Nazarenko
COLING 1996 Volume 1: The 16th International Conference on Computational Linguistics

1992

pdf
Causal ambiguity in Natural Language: conceptual representation of ‘parce que/because’ and ‘puisque/since’
Adeline Nazarenko-Perrin
COLING 1992 Volume 3: The 14th International Conference on Computational Linguistics