L’accès croissant aux documents juridiques sous format numérique crée à la fois des opportunités et des défis pour les professionnels du droit et les chercheurs en intelligence artificielle. Cependant, bien que les Modèles de Langue Préentraînés (PLMs) excellent dans diverses tâches de TAL, leur efficacité dans le domaine juridique demeure limitée, en raison de la longueur et de la complexité des textes. Pour répondre à cette problématique, nous proposons une approche exploitant les couches intermédiaires des modèles du Transformer afin d’améliorer la représentation des documents juridiques. En particulier, cette méthode permet de capturer des relations syntaxiques et sémantiques plus riches, tout en maintenant les interactions contextuelles au sein du texte. Afin d’évaluer notre approche, nous avons mené des expérimentations sur des ensembles de données juridiques publiques, dont les résultats obtenus démontrent son efficacité pour diverses tâches, notamment la recherche et la classification de documents.

Hierarchical classification frameworks have been widely used to process long sequences, especially in the legal domain for predictions from long legal documents. But being black-box models they are unable to explain their predictions making them less reliable for practical applications, more so in the legal domain. In this work, we develop an extractive explanation algorithm for hierarchical frameworks for long sequences based on the sensitivity of the trained model to its input perturbations. We perturb using occlusion and develop Ob-HEx; an Occlusion-based Hierarchical Explanation-extractor. We adapt Ob-HEx to Hierarchical Transformer models trained on long Indian legal texts. And use Ob-HEx to analyze them and extract their explanations for the ILDC-Expert dataset, achieving a minimum gain of 1 point over the previous benchmark on most of our performance evaluation metrics.

This paper describes our system used for sub-task C (1 & 2) in Task 6: LegalEval: Understanding Legal Texts. We propose a three-level encoder-based classification architecture that works by fine-tuning a BERT-based pre-trained encoder, and post-processing the embeddings extracted from its last layers, using transformer encoder layers and RNNs. We run ablation studies on the same and analyze itsperformance. To extract the explanations for the predicted class we develop an explanation extraction algorithm, exploiting the idea of a model’s occlusion sensitivity. We explored some training strategies with a detailed analysis of the dataset. Our system ranks 2nd (macro-F1 metric) for its sub-task C-1 and 7th (ROUGE-2 metric) for sub-task C-2.