Testez connaissances en santé des IA

Vous avez posé la question suivante “donne moi la dernière recommandations sur la prise en charge de l’arrêt cardiaque en France et cite-moi tes sources” et avez été déçu·e des réponses ? C’est normal…

Les modèles d’IA conversationnels “bruts” ne peuvent pas répondre aux questions sur l’actualité la plus récente. Ils sont entraînés sur des ensembles de données statiques et ne peuvent pas interagir avec le web ou ouvrir des liens. Ils n’ont pas la capacité de se mettre à jour en temps réel avec les événements qui se déroulent dans le monde. Les informations auxquelles le modèle a accès sont limitées à la date de son dernier entraînement.

Par conséquent, si vous posez une question sur un fait d’actualité récent, le modèle s’appuiera sur des informations potentiellement obsolètes, risquant de générer des réponses inexactes.

Dans le cas de Perplexity, Copilot ou ChatGPT, les modèles d’IA conversationnelle dits “bruts” sont associés à d’autres briques technologiques qui permettent de se connecter à internet pour accéder à des informations en temps réel. On parle alors “d’agents conversationnels”.

Nous choisissons les modèles en fonction de leur popularité, de leur diversité et de la pertinence pour les utilisateurs. Nous veillons particulièrement à rendre accessibles des modèles dits open weights (semi-ouverts) et de taille différentes.

La spécificité des données collectées sur la plateforme compar:IA est qu’elles sont en français et qu’elles correspondent à des tâches réelles des utilisateurs. Ces données reflètent des préférences humaines dans un contexte linguistique et culturel précis. Elles permettent dans un second temps d’ajuster les modèles pour qu’ils soient plus pertinents, précis et adaptés aux usages des utilisateurs, tout en comblant les éventuels biais ou lacunes des modèles actuels.

compar:IA utilise la méthodologie développée par Ecologits (GenAI Impact) pour fournir un bilan énergétique qui permet aux utilisateurs de comparer l’impact environnemental de différents modèles d’IA pour une même requête. Cette transparence est essentielle pour encourager le développement et l’adoption de modèles d’IA plus éco-responsables.

Ecologits applique les principes de l’analyse du cycle de vie (ACV) conformément à la norme ISO 14044 en se concentrant pour le moment sur l’impact de l’inférence (c’est-à-dire l’utilisation des modèles pour répondre aux requêtes) et de la fabrication des cartes graphiques (extraction des ressources, fabrication et transport).

La consommation électrique du modèle est estimée en tenant compte de divers paramètres tels que la taille du modèle d’IA utilisé, la localisation des serveurs où sont déployés les modèles et le nombre de tokens de sortie. Le calcul de l’indicateur de potentiel de réchauffement climatique exprimé en équivalent CO2 est dérivé de la mesure de consommation électrique du modèle.

Il est important de noter que les méthodologies d’évaluation de l’impact environnemental de l’IA sont encore en développement.

Oui, l’internationalisation de compar:IA est en cours. Nous commençons par un élargissement à trois pays pilotes : la Lituanie, la Suède et le Danemark. Cette première phase permet de tester l’approche et d’adapter l’interface à différents contextes linguistiques et culturels européens. À terme, le cercle pourra s’étendre à davantage de langues européennes selon les retours d’expérience de ces pays pilotes. L’objectif est de construire progressivement un véritable commun numérique européen pour l’évaluation humaine des IA conversationelles, avec une gouvernance collaborative qui reste encore à définir entre les différents pays participants.