PIAF - Le dataset francophone de Questions-Réponses

### [PIAF](https://piaf.etalab.studio), construire un jeu de données francophones ouvert pour l’IA Le recours à l’intelligence artificielle au sein de l’action publique est souvent identifié comme une opportunité pour interroger des textes documentaires et réaliser des outils de questions/réponses (QR) automatiques à destination des usagers. Interroger le code du travail en langage naturel, mettre à disposition un agent conversationnel pour un service donné, développer des moteurs de recherche performants, améliorer la gestion des connaissances, autant d’activités qui nécessitent de disposer de corpus de données d’entraînement de qualité afin de développer des algorithmes de questions/réponses. Le dataset PIAF est un jeu de données d’entraînement francophone public et ouvert qui permet d’entraîner ces algorithmes. En nous inspirant de [SQuAD](https://rajpurkar.github.io/SQuAD-explorer/), le jeu de données bien connu de QR anglais, nous avons eu l’ambition de construire un jeu de données similaire qui serait ouvert à tous. Le protocole que nous avons suivi est très similaire à celui de la première version de SQuAD (SQuAD v1.1). Néanmoins, quelques modifications ont dû être apportées pour s’adapter aux caractéristiques du Wikipédia français. Une autre grande différence est que nous n’employons pas de micro-travailleurs via des plateformes de crowd-sourcing. Après plusieurs mois d’annotation, nous avons une [plateforme d’annotation robuste et libre](https://github.com/etalab/piaf), une quantité suffisante d’annotations et une démarche d’animation de communauté et de participation collaborative bien calée et innovante au sein de l’administration française. ### PIAF : un outil mutualisé du Lab IA En mars 2018, la France a lancé sa stratégie nationale pour l’intelligence artificielle. Pilotée au sein de la Direction interministérielle du numérique, cette stratégie comprend trois volets : la recherche, l’économie et la transformation publique. La politique de la donnée étant un axe majeur du développement de l’intelligence artificielle, la mission Etalab pilote la mise en place d’un “Lab IA” interministériel, dont la mission est d’accélérer le déploiement de l’IA dans les administrations via 3 activités principales : 1. Constituer une équipe coeur afin d’internaliser des compétences et de l’expertise autour de l’IA 2. Accompagner des projets d’IA dans les administrations, par l’intermédiaire d’appels à manifestations d’intérêt 3. Co-construire des outils mutualisés pouvant être utilisés de la manière la plus ouverte possible Le projet PIAF est l'un des outils mutualisés du Lab IA. ### Descriptif des données mises à disposition Le dataset suive le format de [SQuAD v1.1](https://rajpurkar.github.io/SQuAD-explorer/explore/1.1/dev/). PIAFv1.2 contient 9225 pairs des questions/réponses. Il s'agit d'un fichier type JSON. Un fichier texte exemplifiant le schéma est inclus ci-dessous. Ce fichier peut être utilisé pour générer et évaluer des modèles de Question-Réponse. Par exemple, en suivant ces [instructions](https://huggingface.co/transformers/examples.html#squad). ### Merci aux 500 contributeurs ! Nous remercions profondément nos contributeurs qui ont fait vivre ce projet bénévolement jusqu’à aujourd’hui. ### Liens Des informations sur le protocole suivi, sur les actualités du projet, sur la plateforme d'annotation et le code lié, sont ici : * https://piaf.etalab.studio/ * https://piaf.etalab.studio/actualites.html * https://github.com/etalab/piaf * https://github.com/etalab-ia/piaf-code