Selon Geoffrey Hinton, pionnier de l’IA, les formes d’intelligence artificielle basées sur l’apprentissage automatique (machine learning) vont révolutionner les systèmes informatiques en créant un nouveau type d’union entre le matériel et le logiciel. De quoi intégrer une IA dans votre grille-pain, par exemple.
Geoffrey Hinton a prononcé jeudi dernier le discours de clôture de la conférence NeurIPS (Neural Information Processing Systems) de cette année, à la Nouvelle-Orléans. Il a indiqué que la communauté des chercheurs en apprentissage automatique « a mis du temps à réaliser les implications de l’apprentissage profond (deep learning) sur la façon dont les ordinateurs sont construits ».
« Ce que je pense, c’est que nous allons voir arriver un type d’ordinateur complètement différent, et ce pas avant quelques années. Mais il y a toutes les raisons d’étudier d’ores et déjà ce type d’ordinateur complètement différent », a-t-il poursuivi.
Passer d’ordinateurs immortels à des ordinateurs mortels
Jusqu’à présent, tous les ordinateurs numériques ont été construits pour être « immortels », c’est-à-dire que le matériel est conçu pour être fiable afin que le même logiciel fonctionne partout. « Nous pouvons exécuter les mêmes programmes sur différents matériels physiques. Donc le savoir est immortel », explique Geoffrey Hinton.
Image : Geoffrey Hinton.
Selon le chercheur spécialiste de l’IA, cette exigence signifie que les ordinateurs numériques sont privés de « toutes sortes de propriétés variables, stochastiques, instables, analogiques, qui pourraient nous être très utiles ». Ces propriétés seraient trop peu fiables pour permettre à « deux types de matériels différents de se comporter exactement de la même manière au niveau des instructions ».
D’après lui, les futurs systèmes informatiques, dits analogiques, adopteront une approche différente. Ils seront « neuromorphiques » et « mortels », ce qui signifie que chaque ordinateur proposera un lien étroit entre le logiciel qui représente les réseaux neuronaux et le matériel qui est désordonné, dans le sens où il comporte des éléments analogiques plutôt que numériques, et qui peut intégrer des éléments d’incertitude, et se développer au fil du temps.
« Nous allons renoncer à la séparation du matériel et du logiciel »
« L’alternative à cela, que les informaticiens n’aiment pas vraiment parce qu’elle s’attaque à l’un de leurs principes fondamentaux, est de dire que nous allons renoncer à la séparation du matériel et du logiciel », précise le chercheur. « Nous allons faire ce que j’appelle du calcul mortel, où les connaissances que le système a apprises et le matériel sont inséparables. »
Ces ordinateurs mortels pourraient être « cultivés », ajoute-t-il, ce qui permettrait de se débarrasser des coûteuses usines de fabrication de puces. « Si nous faisons cela, nous pouvons utiliser un calcul analogique à très faible puissance et avoir un parallélisme à trois milliards de voies en utilisant des memristors pour les poids (des poids qui sont utilisés pour former les modèles d’IA, NDLR) », indique-t-il en faisant référence à un type de puce expérimentale vieux de plusieurs décennies, qui est basé sur des éléments de circuit non linéaires.
« Et aussi, nous pourrions faire croître le matériel sans connaître la qualité précise du comportement exact des différentes parties du matériel. »
« Vous pourrez avoir une conversation avec votre grille-pain »
Les nouveaux ordinateurs mortels ne remplaceront pas les ordinateurs numériques traditionnels, nuance Geoffrey Hinton. « Ce ne sera pas l’ordinateur qui s’occupe de votre compte bancaire et qui sait exactement combien d’argent vous avez. »
« Il servira à autre chose », souligne-t-il. « Il servira à mettre quelque chose comme GPT-3 dans votre grille-pain pour un euro, de sorte qu’en fonctionnant avec quelques watts, vous pourrez avoir une conversation avec votre grille-pain. »
Image : NeurIPS 2022.
Geoffrey Hinton a été invité à prendre la parole à la conférence en reconnaissance de son article publié il y a 10 ans, « ImageNet Classification with Deep Convolutional Neural Networks« , rédigé avec ses étudiants Alex Krizhevsky et Ilya Sutskever. L’article a reçu le prix Test of Time de la conférence pour son « impact considérable » dans le domaine de l’intelligence artificielle.
La prophétie d’un père fondateur de l’IA
Ce travail, publié en 2012, montrait pour la première fois qu’un réseau de neurones convolutifs (dit aussi CNN pour convolutional neural networks) pouvait avoir le niveau d’un humain dans le cadre du concours de reconnaissance d’images ImageNet. Et c’est clairement cet événement qui a déclenché l’ère actuelle de l’IA.
Le chercheur, qui a également reçu le prix Turing de l’ACM pour ses réalisations en informatique – l’équivalent du prix Nobel dans ce domaine – a créé la Deep Learning Conspiracy, un groupe qui a ressuscité le domaine moribond de l’apprentissage automatique avec ses collègues lauréats du prix Turing, Yann LeCun de Meta et Yoshua Bengio, de l’Institut MILA pour l’IA de Montréal.
En ce sens, Geoffrey Hinton est clairement un père fondateur de l’IA.
Vers des « forward-forward networks »
Dans son exposé, Geoffrey Hinton a aussi parlé d’une nouvelle approche des réseaux neuronaux, appelée réseau avant-arrière (forward-forward network en anglais), qui supprime la technique de rétropropagation utilisée dans presque tous les réseaux neuronaux. Il explique qu’en supprimant la rétropropagation, les réseaux forward-forward pourraient se rapprocher de manière plus précise ce qui se passe dans le cerveau dans la vie réelle.
Une version préliminaire des travaux sur les réseaux forward-forward est affichée sur la page du chercheur sur le site de l’Université de Toronto (PDF), où il est professeur émérite.
Et l’approche forward-forward pourrait être bien adaptée au matériel de calcul mortel, ajoute-t-il. « Pour que cela se produise, nous devons disposer d’une procédure d’apprentissage qui s’exécute sur un matériel particulier. Et nous apprenons à utiliser les propriétés spécifiques de ce matériel sans savoir quelles sont toutes ces propriétés. »
« Mais je pense que l’algorithme forward-forward est un candidat prometteur pour réaliser cette procédure. »
« Chaque smartphone devrait commencer sa vie comme un bébé smartphone »
L’un des obstacles à la construction des nouveaux ordinateurs analogiques mortels, détaille-t-il, est que les gens sont attachés à la fiabilité de l’exécution d’un logiciel sur des millions d’appareils. « Chaque smartphone devrait commencer sa vie comme un bébé smartphone, et il devrait apprendre à être un smartphone », suggère-t-il. « Et c’est très douloureux. »
Même les ingénieurs les plus compétents dans cette technologie mettront du temps à abandonner le paradigme des ordinateurs immortels parfaits et identiques, par peur de l’incertitude. « Parmi les personnes qui s’intéressent au calcul analogique, il y en a encore très peu qui sont prêtes à renoncer à l’immortalité », estime-t-il. Cela s’explique par l’attachement à la cohérence, à la prévisibilité, selon lui. « Si vous voulez que votre matériel analogique fasse la même chose à chaque fois […] vous avez un vrai problème avec cette nouvelle technologie. »
Source : ZDNet.com