Un nouveau matériel offre un calcul plus rapide pour l’intelligence artificielle, avec beaucoup moins d’énergie

Un processeur d’apprentissage en profondeur analogique alimenté par des protons ultra-rapides. Crédit : Studio Ella Maru, Murat Onen

Alors que les scientifiques repoussent les limites de l’apprentissage automatique, la quantité de temps, d’énergie et d’argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes monte en flèche. Un nouveau domaine de l’intelligence artificielle appelé apprentissage profond analogique promet des calculs plus rapides avec une fraction de la consommation d’énergie.

Les résistances programmables sont les principaux éléments constitutifs de l’apprentissage en profondeur analogique, tout comme les transistors sont les éléments centraux des processeurs numériques. En répétant des séries de résistances programmables dans des couches complexes, les chercheurs peuvent créer un réseau de “neurones” et de “synapses” artificiels analogiques qui effectuent des calculs, un peu comme un réseau neuronal numérique. Ce réseau peut ensuite être formé pour effectuer des tâches d’IA complexes, telles que la reconnaissance d’images et le traitement du langage naturel.

Une équipe multidisciplinaire de chercheurs du MIT a entrepris de trouver les limites de vitesse d’un type de synapse analogique artificielle qu’ils avaient précédemment développée. Ils ont utilisé un matériau pratiquement inorganique dans le processus de fabrication qui permet à leurs appareils de fonctionner 1 million de fois plus rapidement que les versions précédentes, ce qui est également environ 1 million de fois plus rapide que les synapses du cerveau humain.

De plus, ce matériau inorganique rend la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la version précédente de leur appareil, le nouveau matériau est compatible avec les techniques de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans du matériel informatique commercial pour des applications d’apprentissage en profondeur.

“Avec cette idée importante et les techniques de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu assembler ces pièces et montrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent à des tensions raisonnables”, a déclaré l’auteur principal Jesús A. del Alamo, professeur Donner au Département de génie électrique et d’informatique (EECS) du MIT. “Ce travail a vraiment amené ces appareils à un point où ils semblent maintenant vraiment prometteurs pour de futures applications.”

“Le mécanisme d’action de l’appareil est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Parce que nous travaillons avec des appareils très fins, nous pouvons accélérer le mouvement de cet ion à travers un fort champ électrique. , et poussent ces dispositifs ioniques dans le régime de fonctionnement de la nanoseconde », explique l’auteur principal Bilge Yildiz, professeur Breene M. Kerr aux départements de science et génie nucléaires et de science et génie des matériaux.

“Le potentiel d’action dans les cellules biologiques augmente et diminue sur une échelle de temps de quelques millisecondes car la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau”, a déclaré l’auteur principal Ju Li, professeur de science et d’ingénierie nucléaires de la Battelle Energy Alliance et professeur de science et technologie des matériaux: “Ici, nous appliquons jusqu’à 10 volts à un film de verre solide spécial d’une épaisseur nanométrique qui conduit les protons sans les endommager de manière permanente. Et plus le champ est fort, plus les dispositifs ioniques sont rapides.”

Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau de neurones est entraîné, tout en réduisant considérablement le coût et l’énergie nécessaires pour effectuer cet entraînement. Cela pourrait aider les scientifiques à développer des modèles d’apprentissage en profondeur beaucoup plus rapidement, qui peuvent ensuite être appliqués dans des applications telles que les voitures autonomes, la détection de fraude ou l’analyse d’images médicales.

“Une fois que vous avez un processeur analogique, vous ne formez plus des réseaux sur lesquels tout le monde travaille. Vous formez des réseaux avec des complexités sans précédent que personne d’autre ne peut se permettre, les surpassant ainsi tous. En d’autres termes, ce n’est pas une voiture plus rapide, ce est un vaisseau spatial », ajoute Murat Onen, auteur principal et post-doctorant au MIT.

L’étude a été publiée aujourd’hui dans La science.

Accélérer l’apprentissage en profondeur

L’apprentissage en profondeur analogique est plus rapide et plus économe en énergie que son homologue numérique pour deux raisons principales. “Tout d’abord, le calcul est effectué en mémoire afin que d’énormes quantités de données ne soient pas transférées de la mémoire vers un processeur.” Les processeurs analogiques effectuent également des opérations en parallèle. Au fur et à mesure que la matrice grandit, un processeur analogique n’a pas besoin de plus de temps pour effectuer de nouvelles opérations car tous les calculs ont lieu en même temps.

L’élément clé de la nouvelle technologie de processeur analogique du MIT est connu sous le nom de résistance protonique programmable. Ces résistances, qui se mesurent en nanomètres (un nanomètre est un milliardième de mètre), sont disposées en réseau, à la manière d’un échiquier.

Dans le cerveau humain, l’apprentissage se produit en renforçant et en affaiblissant les connexions entre les neurones, appelées synapses. Les réseaux de neurones profonds ont depuis longtemps adopté cette stratégie, où les poids du réseau sont programmés via des algorithmes de formation. Dans le cas de ce nouveau processeur, l’augmentation et la diminution de la conductivité électrique des résistances protoniques permettent l’apprentissage automatique analogique.

La conduction est régulée par le mouvement des protons. Pour augmenter la conductivité, plus de protons sont poussés dans un canal de la résistance, tandis que pour diminuer la conductivité, les protons sont retirés. Ceci est réalisé en utilisant un électrolyte (similaire à celui d’une batterie) qui conduit les protons mais bloque les électrons.

Pour développer une résistance protonique programmable ultra-rapide et très économe en énergie, les chercheurs ont examiné différents matériaux pour l’électrolyte. Alors que d’autres appareils utilisaient des composés organiques, Onen s’est concentré sur le verre de phosphosilicate inorganique (PSG).

Le PSG est essentiellement du dioxyde de silicium, le déshydratant en poudre contenu dans de petits sachets fournis dans la nouvelle boîte de meubles pour aider à éliminer l’humidité. C’est également l’oxyde le plus connu utilisé dans le traitement du silicium. Pour fabriquer du PSG, une petite quantité de phosphore est ajoutée au silicium pour lui donner des propriétés particulières pour la conduction protonique.

Onen a émis l’hypothèse qu’un PSG optimisé pourrait avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en fait un électrolyte solide idéal pour cette application. Il avait raison.

Vitesse surprenante

Le PSG permet un mouvement ultrarapide des protons car il contient un grand nombre de pores de taille nanométrique dont les surfaces fournissent des voies de diffusion des protons. Il peut également supporter de très forts champs électriques pulsés. Ceci est essentiel, explique Onen, car l’application de plus de tension à l’appareil permet aux protons de se déplacer à des vitesses fulgurantes.

“La vitesse était certainement surprenante. Normalement, nous n’appliquerions pas des champs aussi extrêmes aux appareils, afin de ne pas les transformer en cendres. Au lieu de cela, les protons se sont déplacés à travers la pile de l’appareil à des vitesses énormes, en particulier un million de fois plus vite qu’auparavant. ” ” Et ce mouvement n’endommage rien, grâce à la petite taille et à la faible masse des protons. C’est presque comme une téléportation “, dit-il.

“L’échelle de temps de la nanoseconde signifie que nous sommes proches du régime d’effet tunnel balistique ou même quantique pour le proton, dans un champ aussi extrême”, ajoute Li.

Parce que les protons n’endommagent pas le matériau, la résistance peut fonctionner pendant des millions de cycles sans se casser. Ce nouvel électrolyte a activé une résistance protonique programmable qui est un million de fois plus rapide que leur appareil précédent et peut fonctionner efficacement à température ambiante, ce qui est important pour son intégration dans le matériel informatique.

Grâce aux propriétés isolantes du PSG, presque aucun courant électrique ne traverse le matériau lorsque les protons se déplacent. Cela rend l’appareil extrêmement économe en énergie, ajoute Onen.

Maintenant qu’ils ont démontré l’efficacité de ces résistances programmables, les chercheurs prévoient de les reconcevoir pour une production à haut volume, explique del Alamo. Ils peuvent ensuite étudier les propriétés des réseaux de résistances et les mettre à l’échelle afin qu’ils puissent être intégrés dans des systèmes.

Dans le même temps, ils prévoient d’étudier les matériaux pour supprimer les goulots d’étranglement qui limitent la tension nécessaire pour transporter efficacement les protons depuis, à travers et depuis l’électrolyte.

“Une autre direction passionnante que ces dispositifs ioniques permettent est un matériel économe en énergie pour imiter les circuits neuronaux et les règles de plasticité synaptique déduites en neurosciences, au-delà des réseaux de neurones profonds analogiques”, a ajouté Yildiz.

“La collaboration que nous avons sera essentielle pour innover à l’avenir. La voie à suivre sera toujours difficile, mais en même temps c’est très excitant”, a déclaré del Alamo.

Les co-auteurs incluent Frances M. Ross, professeure Ellen Swallow Richards au Département de science et génie des matériaux ; les post-doctorants Nicolas Emond et Baoming Wang ; et Difei Zhang, un étudiant diplômé de l’EECS.


Concevoir des chipsets analogiques de nouvelle génération pour les applications d’IA


Plus d’information:
Murat Onen et al, Résistances programmables protoniques nanosecondes pour l’apprentissage en profondeur analogique, La science (2022). DOI : 10.1126/science.abp8064. www.science.org/doi/10.1126/science.abp8064

Fourni par le Massachusetts Institute of Technology

Devis: Un nouveau matériel offre un calcul plus rapide pour l’intelligence artificielle, avec beaucoup moins d’énergie (2022, 28 juillet) récupéré le 29 juillet 2022 sur https://techxplore.com/news/2022-07-hardware-faster-artificial-intelligence-energy .html

Ce document est protégé par copyright. En dehors de l’utilisation équitable à des fins d’étude ou de recherche personnelle, rien ne peut être reproduit sans autorisation écrite. Le contenu est fourni à titre informatif uniquement.

Leave a Reply

Your email address will not be published.