Présentation du projet

Le projet EOS_IA est un projet qui s'intègre dans le projet EOS pour Evaluation Organisation Stockage (fiche projet EOS).

EOS_IA a pour objectif de permettre aux utilisateurs de produire des analyses basée sur du RAG afin d’aider les utilisateurs d'EOS d'accéder à l'information contenu dans l'ensemble de leurs rapports de façon structurée. Cela a pour ambiance de permettre la production de synthétise des nombreux rapports stockés sur une ou des thématiques précises.

Problème

Les rapports rassemblés par le Conseil de l’Évaluation de l’École (CEE) concernent plus de 60 000 établissements scolaires, rendant leur analyse complexe et chronophage.

Cette complexité limite la capacité de l’Éducation nationale à extraire des apprentissages pertinents pour améliorer le système éducatif, et le suivi de l'évaluation des unités éducatives sur le territoire.

Actuellement, l’analyse d’une centaine de rapports par un expert du CEE est d’environ 100 heures et la synthèse de l’analyse d’une thématique recherchée d’environ 30 heures, ce pour chacun des 4 experts de haut niveau/inspecteurs généraux du Conseil.

L'utilisation de l'IA leur permettrait de gagner du temps mais surtout d'accéder aux informations de tous les rapports lorsque l'on travaille sur un périmètre définit - une académie par exemple - sans sélection aléatoire. L’analyse produite gagnerait ainsi à la fois sur les plans statistiques et qualitatifs.

Par ailleurs, un grand nombre de demandes provenant du cabinet ministériel nécessite une lecture rapide de rapports, afin de répondre dans des délais contraints à une analyse nationale.

Une IA permettrait donc de répondre plus rapidement à la demande et de manière plus précise.

Solution (la bonne idée)

Développer une brique d'IA basée sur du RAG pour extraire et générer automatiquement des synthèses à partir des rapports d’évaluation, facilitant la mise en évidence des tendances et des points critiques. Cette brique d’automatisation permettrait aux équipes du CEE d’obtenir une vision plus claire et exploitable des données, contribuant ainsi à des actions d’amélioration ciblées notamment pour :

• Voir une évolution des évaluations et auto-évaluations d'une année sur l’autre

• Produire une synthèse des rapports au niveau national, afin de mieux comprendre quels sont les problèmes sur le "terrain", directement au sein des établissements.

La solution est singulière de part le besoin de couvrir l'intégralité des documents pour produire une analyse. En effet, lorsque l'on recherche des éléments de réponse sur une thématique, et que l'on fixe un périmètre de recherche, par exemple une académie, il est nécessaire de parcourir toute la donnée et d'en extraire les informations pertinentes. On ne veut pas faire une recherche par similarité basique, comme cela est fait traditionnellement dans un RAG, au risque de louper la majorité de l'information.

La combinaison d'une implémentation d'analyses statistiques classiques et de modèles de langages est donc primordial afin de répondre à l'irritant.

Impact

Amélioration des réponses fournies au cabinet du ou de la ministre :

• Temps de réponse (temps mis pour identifier les établissements permettant de répondre à la demande)

• Complétude de la réponse (identification plus large dans un temps contraint des établissements permettant de répondre)

Amélioration des analyses thématiques :

• La couverture complète espérée de l'information disponible et utilisée pour construire une analyse thématique

• Temps économisé par les utilisateurs finaux pour produire une analyse thématique

• Automatisation progressive du processus d'analyse mis en place par les experts du Conseil de l'Evaluation de l'école.