Parmi les nombreux domaines dans lesquels l’intelligence artificielle intervient, celui du langage est prolifique. En effet, on ne cesse de voir apparaître divers modèles, toujours plus innovants les uns que les autres. Parmi eux, on retrouve le modèle Gopher, développé par DeepMind.
Deepmind est une entreprise appartenant à Google et spécialisée dans l’intelligence artificielle (IA). Elle fut créée en 2010, au Royaume-Uni, et dispose d’une étonnante renommée du fait de son logiciel AlphaFold, ainsi que son programme de jeu de Go Alpago. Et justement, elle est à l’origine de ce nouveau modèle d’intelligence artificielle de langage.
Gopher, qu’est-ce que c’est ?
Gopher, créé par l’entreprise Deepmind, est un nouveau modèle d’intelligence artificielle de langage. Il faut savoir que le domaine du langage est l’un des plus concurrentiels pour les entreprises. En effet, les modèles de langages ne cessent d’évoluer : on peut par exemple penser aux chatbots qui revêtent désormais de multiples paramètres de personnalisation.
D’ailleurs, Gopher est le fruit du questionnement suivant : les modèles de langage, toujours plus innovants, ont-ils atteint leur limite de développement ?
Gopher a donc eu pour mission de mettre en perspective tous les modèles d’IA existants dans ce domaine, ainsi que de tester les limites des grands systèmes linguistiques d’IA. Grâce à la création de Gopher, les chercheurs de Deepmind ont remarqué que les modèles les plus complexes sont les plus performants. Ainsi, il convenait de créer un modèle extra-performant. Pour parvenir à cette conclusion, ils ont fait des tests et ont réalisé un modèle de langage avec 280 milliards de paramètres différents. De plus, Gopher fut testé en comparaison avec d’autres modèles beaucoup moins performants, et les chercheurs ont réalisé que Gopher était en capacité de réaliser les tâches lui étant demandées avec 80 pour-cent de réussite. Cependant, en comparaison, cela demeure toujours en dessous des 530 milliards de paramètres du Megatron-Turing Natural Language Generation (MT-NLP), développé par Microsoft et Nvidia. Gopher entre toutefois sur le terrain des plus grands modèles de langage.
Quelles sont les limites ?
Malgré la réelle avancée que représente Gopher, il subsiste plusieurs limites, et pas des moindres. En effet, Deepmind assume elle-même ne pas avoir su créer le modèle « parfait » car elle n’est pas parvenue à régler tous les défauts que comporte une IA de langage. En termes de « défauts », on pense à la propagande, au langage violent, aux spams, à la diffusion d’informations erronées, à la pérennité de biais racistes, sexistes ou encore homophobes.
En conséquence, les chercheurs se sont rendu compte d’une chose : la grandeur du modèle ne remédiera jamais au problème des discriminations. Au contraire, elle semble les accentuer du fait de son déploiement à grande échelle.
De ce fait, comment corriger des biais dans une base de données ? Pour cela, les utilisateurs humains, pourraient être d’une grande aide, de par leur feedback.
En conclusion, ce nouveau modèle développé par DeepMind est à saluer, car il représente une avancée et apporte de nouveaux éléments permettant de contribuer à de futurs modèles toujours plus améliorés. Néanmoins, on ne peut faire fi des limites qui demeurent. Espérons que l’alliance entre technologie et collaboration humaine nous permettent d’y remédier.
Linda Ragot
Sources :
- https://www.lebigdata.fr/deepmind-gopher
- https://intelligence-artificielle.com/deepmind-modele-de-langage-gopher/
- https://siecledigital.fr/2021/12/09/ia-deepmind-explore-les-limites-des-modeles-de-langage/
- Lien photo libre de droits : https://pixabay.com/fr/illustrations/silver-surfer-artificial-intelligence-3499405/
