@inproceedings{caubriere-gauthier-2024-representation,
    title = "Repr{\'e}sentation de la parole multilingue par apprentissage auto-supervis{\'e} dans un contexte subsaharien",
    author = "Caubri{\`e}re, Antoine  and
      Gauthier, Elodie",
    editor = "Balaguer, Mathieu  and
      Bendahman, Nihed  and
      Ho-dac, Lydia-Mai  and
      Mauclair, Julie  and
      G Moreno, Jose  and
      Pinquier, Julien",
    booktitle = "Actes des 35{\`e}mes Journ{\'e}es d'{\'E}tudes sur la Parole",
    month = "7",
    year = "2024",
    address = "Toulouse, France",
    publisher = "ATALA and AFPC",
    url = "https://preview.aclanthology.org/Ingest-2025-COMPUTEL/2024.jeptalnrecital-jep.17/",
    pages = "163--172",
    language = "fra",
    abstract = "Les approches auto-supervis{\'e}es ont conduit {\`a} des avanc{\'e}es majeures dans le domaine de l`apprentissage profond. Par l`exploitation d`une grande quantit{\'e} de donn{\'e}es non annot{\'e}es, ces approches ont notamment permis des am{\'e}liorations dans des contextes peu dot{\'e}s. Toutefois, les langues africaines restent majoritairement sous-repr{\'e}sent{\'e}es dans les jeux de donn{\'e}es de pr{\'e}entra{\^i}nement publiquement distribu{\'e}s. Dans ces travaux, nous pr{\'e}entra{\^i}nons des mod{\`e}les de parole auto-supervis{\'e}s multilingues {\`a} partir de langues subsahariennes exclusivement. Nous {\'e}tudions la pertinence des repr{\'e}sentations apprises sur la t{\^a}che de reconnaissance de parole, en utilisant le jeu d'{\'e}valuation FLEURS-102. Notre mod{\`e}le HuBERT Base obtient des r{\'e}sultats similaires face {\`a} l`approche multilingue w2v-bert de FLEURS, tout en {\'e}tant plus efficient, avec 6 fois moins de param{\`e}tres et 7 fois moins de donn{\'e}es. Nous pr{\'e}sentont aussi un second mod{\`e}le exploitant une sous-s{\'e}lection {\'e}quilibr{\'e}e des donn{\'e}es initiales, obtenant des performances comp{\'e}titives avec pr{\`e}s de 80 fois moins de donn{\'e}es de pr{\'e}entra{\^i}nement."
}