La plus grosse puce du monde

Aug 23, 2021

Laisser un message

Dans la course à l'accélération de l'intelligence artificielle, l'entreprise de la Silicon Valley Cerebras adopte une stratégie inhabituelle : Go big.


Alors qu'une puce informatique typique a la taille d'un ongle, Cerebras' la puce a la taille d'une assiette.


L'apprentissage en profondeur, une technologie d'IA qui alimente les assistants vocaux, les voitures autonomes et les champions de Go, repose sur un"réseau neuronal" logiciels disposés en couches. Les systèmes d'apprentissage en profondeur peuvent fonctionner sur un seul ordinateur, mais les plus grands systèmes sont répartis sur des milliers de machines connectées, parfois dans de grands centres de données, tels que ceux exploités par Google. Dans un grand cluster, jusqu'à 48 serveurs de la taille d'une boîte à pizza se glissent dans des racks d'une seule personne ; Les étagères sont alignées en rangées et remplissent un bâtiment de la taille d'un entrepôt. Les réseaux de neurones de ces systèmes peuvent résoudre des problèmes redoutables, mais ils sont également confrontés à des défis évidents. Un réseau qui prolifère dans un cluster est comme un cerveau dispersé dans une pièce et connecté ensemble. Les électrons se déplacent rapidement, mais même ainsi, la communication entre les puces est lente et consomme beaucoup d'énergie.


Eric Vishria, associé général de la société de capital-risque Benchmark de San Francisco, s'est rendu compte pour la première fois du problème lorsqu'il a entendu Cerebras Systems, une nouvelle société de puces informatiques, s'exprimer au printemps 2016. Benchmark est connu pour être un des premiers investisseurs dans des sociétés comme Twitter, Uber et ebay - c'est-à-dire dans le logiciel, pas dans le matériel. L'entreprise examine environ 200 start-up par an et investit dans une."Nous jouions à ce jeu d'embrasser mille grenouilles," Vishria me l'a dit. Au début de son discours, il a décidé de jeter la grenouille en arrière."Je me suis dit, pourquoi ai-je accepté cela ?" Nous'n'allons pas investir dans le matériel, se souvient&penser."C'est'idiot."


Le co-fondateur de Cerebras, Andrew Feldman, a commencé avec la couverture de la diapositive de son équipe et a attiré l'attention de Vishria': son talent était impressionnant. Feldman a ensuite comparé les deux types de puces informatiques. Tout d'abord, il s'est penché sur les unités de traitement graphique, ou Gpus, des puces conçues spécifiquement pour créer des images 3D. Aujourd'hui, les systèmes d'apprentissage automatique de&s'appuient sur ces puces graphiques pour diverses raisons. Ensuite, il a examiné les unités centrales de traitement, ou processeurs, les puces à usage général qui effectuent la plupart du travail dans un ordinateur typique."La troisième diapositive portait sur'Gpus,' qui sont en fait mauvais pour l'apprentissage en profondeur - il se trouve qu'ils sont cent fois meilleurs que les processeurs." Cerebras a mis au point un nouveau type de puce qui n'est pas conçue pour les graphiques mais spécifiquement conçue pour l'intelligence artificielle.


Vishria a l'habitude d'entendre les arguments d'entreprises qui prévoient d'utiliser l'apprentissage en profondeur dans la cybersécurité, l'imagerie médicale, les chatbots et d'autres applications. Après la conférence de Cerebras', il s'est entretenu avec des ingénieurs d'entreprises financées par Benchmark, notamment Zillow, Uber et Stitch Fix ; Ils lui ont dit qu'ils avaient des problèmes avec l'IA parce qu'il fallait trop de temps pour"entraîner" le réseau de neurones. Google a commencé à utiliser des"unités de traitement de tenseur ultra-rapides," ou Tpus, puces spéciales conçues pour l'intelligence ARTIFICIELLE. Vishria savait qu'il y avait une ruée vers l'or et que quelqu'un devait faire les pioches et les pelles.


Cette année-là, Benchmark et Foundation Capital, une autre société de capital-risque, ont mené une levée de fonds de 27 millions de dollars pour Cerebras, qui a levé près de 500 millions de dollars. D'autres entreprises fabriquent également des accélérateurs dits d'intelligence artificielle ; Cérébrales' ; les concurrents groq, Graphcore et Sambanova ont levé plus de 2 milliards de dollars de capital à eux deux. Mais Cerebras' approche est unique. Au lieu d'imprimer des dizaines de plaquettes sur un gros morceau de silicium, de les couper et de les connecter les unes aux autres, la société a créé un géant"wafer level" ébrécher. Alors qu'une puce informatique typique a la taille d'un ongle, Cerebras a à peu près la taille d'une assiette et est la plus grande puce informatique au monde.


Même les concurrents ont trouvé l'exploit impressionnant."C'est une nouvelle science," Nigel Toon, directeur général et co-fondateur de Graphcore', m'a dit."C'est'une incroyable pièce d'ingénierie. C'est'un chef-d'œuvre." Pendant ce temps, un autre ingénieur à qui j'ai parlé l'a décrit comme un projet scientifique - grand pour grand's l'amour. Dans le passé, la société a essayé sans succès de fabriquer des puces géantes ; Cérébrales' ; plan revient à parier que surmonter les défis d'ingénierie est possible et en vaut la peine."Pour être honnête, pour moi, l'ignorance est un avantage," dit Vishria."Je ne sais pas'si je savais à quel point il est difficile de faire ce qu'ils font, j'aurais le courage d'investir."


Il est facile de tenir pour acquis que les ordinateurs deviennent de plus en plus rapides. Ceci est souvent expliqué par la loi de Moore&: le modèle établi en 1965 par le pionnier des semi-conducteurs Gordon Moore, selon lequel le nombre de transistors sur une puce double chaque année ou tous les deux ans. Bien sûr, la loi de Moore&n'est pas vraiment une loi, et les ingénieurs travaillent sans relâche pour rétrécir les transistors tout en améliorant l'architecture" de chaque puce pour créer des conceptions plus efficaces et plus puissantes.


Les architectes de puces se sont longtemps demandé si une seule puce informatique à grande échelle pouvait être plus efficace qu'un tas de puces plus petites, tout comme une ville avec des ressources concentrées et des blocs denses est plus efficace qu'une banlieue. L'idée a été essayée pour la première fois dans les années 1960, lorsque Texas Instruments a limité la production de puces à quelques centimètres de large. Mais les ingénieurs de la société'se sont heurtés à des problèmes de rendement. Sur une plaquette de silicium donnée, les défauts de fabrication mettent inévitablement en danger un certain nombre de circuits. Si une plaquette contient 50 puces, l'entreprise peut jeter les mauvaises et vendre les bonnes. Mais si chaque puce réussie dépendait des circuits de travail d'une seule plaquette, de nombreuses plaquettes coûteuses seraient mises au rebut. Texas Instruments a trouvé une solution, mais la technologie et le besoin n'étaient pas encore là.


Dans les années 1980, un ingénieur du nom de Gene Amdahl a de nouveau tenté de résoudre le problème avec une entreprise qu'il a fondée appelée Trilogy Systems. Elle est devenue la plus grande startup de l'histoire de la Silicon Valley &, avec un financement d'environ 250 millions de dollars. Pour résoudre le problème de rendement, Trilogy a imprimé des composants redondants sur la puce. Cette méthode augmente la production mais réduit la vitesse de la puce. Pendant ce temps, Trilogy se débat d'autres manières. Amdahl a écrasé un motocycliste avec sa Rolls Royce, causant des problèmes juridiques; Son président est mort d'une tumeur au cerveau ; De fortes pluies ont retardé la construction d'usines, la rouille des systèmes de climatisation et l'accumulation de poussière sur les copeaux. En 1984, Trilogy abandonne."Je n'avais pas réalisé'à quel point ce serait difficile," Le fils d'Amdahl' a déclaré au Times.


Si la technologie de Trilogy's réussit, elle pourrait désormais être utilisée pour le deep learning. Au lieu de cela, les GPU (puces utilisées dans les jeux vidéo) résolvent des problèmes scientifiques dans les laboratoires nationaux. La réutilisation des GPU pour l'IA dépend du fait que les réseaux de neurones, bien que très complexes, reposent sur de nombreuses multiplications et additions. Lorsque les"neurones" dans le réseau, ils s'amplifient ou se réduisent les uns les autres's signaux, en les multipliant par des coefficients appelés poids de connexion. Un processeur AI efficace calculera de nombreuses activations en parallèle ; Il les combine en une série de nombres appelés vecteurs, ou en grilles de nombres appelées matrices, ou en blocs de dimension supérieure appelés tenseurs. Idéalement, vous voulez multiplier une matrice ou un tenseur par un autre à la fois. Les GPU sont conçus pour faire quelque chose de similaire :


& quot;L'ombre de la trilogie est si grande," Feldman m'a dit récemment,"que les gens arrêtent de penser et commencent à dire,'C'est'impossible.' ;" Les sociétés de GPU, dont Nvidia, ont saisi l'opportunité de personnaliser leurs puces pour un apprentissage en profondeur. En 2015, Feldman et un groupe d'architectes informatiques ont commencé à discuter de l'idée de puces plus grosses après avoir cofondé un fabricant de serveurs informatiques, Seamicro, qu'ils ont vendu au fabricant de puces AMD pour 334 millions de dollars. Ils ont travaillé sur la question pendant quatre mois dans un bureau emprunté à une société de capital-risque. Lorsqu'ils ont eu un aperçu d'une solution viable, ils ont parlé à huit entreprises ; J'ai obtenu un financement de Benchmark, Foundation Capital et Eclipse, et j'ai commencé à embaucher.


Cérébrales' ; La première tâche consiste à résoudre les problèmes de fabrication qui affligent les grosses puces. La puce était à l'origine un lingot cylindrique de silicium cristallin d'environ un pied de diamètre, et le lingot d'acier était découpé en plaquettes de moins d'un millimètre d'épaisseur. Le circuit est alors"imprimé" sur la plaquette par un processus appelé lithographie. Les produits chimiques sensibles aux UV sont soigneusement déposés sur la surface, puis un faisceau de lumière UV est projeté à travers un modèle détaillé appelé masque. Ces produits chimiques réagissent pour former des circuits.


Normalement, la zone couverte par la lumière projetée à travers le masque devient une puce. Ensuite, la puce se déplace et la lumière est à nouveau projetée. Une fois que des dizaines ou des centaines de puces ont été imprimées, elles sont découpées au laser dans la plaquette."La façon la plus simple de le faire est que ta mère sorte une pâte à biscuits ronde," dit Feldman."Elle a un moule à biscuits et elle coupe soigneusement les biscuits." Les lois de la physique et de l'optique rendent impossible la fabrication d'un plus gros emporte-pièce. En conséquence,&"nous avons développé une technologie pour que vous puissiez communiquer à travers un peu de pâte entre deux cookies."


Dans le système d'impression Cerebras développé en collaboration avec TSMC, la société qui fabrique la puce, les bords des cookies se chevauchent pour que leurs fils soient connectés. Le résultat est un seul"wafer size" plaquette, carré couleur cuivre et 21cm de côté. (Les plus gros Gpus mesurent un peu moins de 3 cm de diamètre.) Cerebras a produit sa première puce, Wafer-scale Engine 1, en 2019. Wse-2, introduit cette année, utilise un circuit plus dense, avec 2 600 milliards de transistors regroupés dans 850 000 unités de traitement. , ou"noyaux". (Les meilleurs GPU n'ont que quelques milliers de cœurs, alors que la plupart des CPU en ont moins de 10.)


& quot ; 2 600 milliards de transistors, c'est incroyable," ; a déclaré Aart de Geus, Président et co-PDG de Synopsys. Synopsys fournit des logiciels que Cerebras et d'autres fabricants de puces utilisent pour créer et valider leurs conceptions de puces. De Geus dit que lors de la conception des puces, les ingénieurs doivent d'abord considérer deux questions fondamentales :" ; D'où viennent les données ?" Où est-il traité ?" Lorsque les puces étaient plus simples, les concepteurs pouvaient répondre à ces questions avec un crayon sur une table à dessin ; Lorsque vous travaillez avec les puces les plus complexes d'aujourd'hui', entrez le code qui décrit l'architecture qu'ils souhaitent créer, puis passez aux outils de visualisation et de codage."Pensez à l'apparence de la maison depuis le toit," dit de Geus."Le garage est-il près de la cuisine ? Ou est-ce près de la chambre ? Vous le voulez près de la cuisine - sinon, vous' devrez transporter vos courses dans tous les coins de la maison." Après avoir conçu le plan d'étage, il a expliqué,"vous pouvez utiliser des équations pour décrire ce qui se passe dans la pièce."


La complexité de conception des puces est ahurissante."Il y a plusieurs couches ici," a déclaré de Geus, avec des circuits entrecroisés et superposés, comme un viaduc routier majeur. Pour les ingénieurs de Cerebras, travaillant à l'échelle d'une plaquette, la complexité est accrue. Synopsis' le logiciel aide sous forme d'intelligence artificielle : les algorithmes de correspondance de formes identifient les problèmes courants et proposent des solutions ; Le programme d'optimisation déplace la pièce vers un agencement plus rapide et plus efficace. Si trop de voies tentent de se faufiler dans un bâtiment à deux blocs, le logiciel permet aux ingénieurs de jouer Robert Moses et de déplacer le bloc.


En fin de compte, dit Feldman, les conceptions de puces surdimensionnées présentent plusieurs avantages. Lorsque les cœurs sont sur la même puce, ils communiquent plus rapidement : le cerveau de l'ordinateur'est désormais concentré dans un seul crâne, plutôt que dispersé dans une pièce. Les puces plus grosses gèrent également mieux la mémoire. Typiquement, une petite puce prête à traiter un fichier doit d'abord obtenir le fichier à partir d'une puce de mémoire partagée située ailleurs sur la carte de circuit imprimé ; Seules les données les plus couramment utilisées sont mises en cache plus près de chez vous. En décrivant l'efficacité des puces au niveau des plaquettes, Feldman a proposé une analogie : il m'a demandé d'imaginer un groupe de colocataires (noyau) vivant dans un dortoir (puce) qui voulaient regarder un match de football (faire du travail informatique). Pour regarder le match, dit feldman, les colocataires doivent stocker de la bière dans le réfrigérateur (les données sont stockées en mémoire); Cerebras garde un réfrigérateur dans chaque chambre afin que les colocataires n'aient pas à risquer d'aller à la cuisine commune du dortoir ou à Safeway. Cela a l'avantage supplémentaire de permettre à chaque cœur de traiter différentes données plus rapidement."Je peux donc avoir Bud dans mon dortoir," dit Feldman."Dans votre dortoir, vous pouvez avoir Schlitz."


Enfin, Cerebras doit surmonter des problèmes de rendement. Les ingénieurs de la société's utilisent l'astuce de Trilogy': la redondance. Mais ici, ils ont un avantage sur leurs prédécesseurs. Trilogy essaie de fabriquer des puces génériques avec de nombreux composants différents, de sorte que le câblage autour d'un seul composant défaillant peut nécessiter une connexion à un remplacement distant. Sur Cerebras' puce, tous les cœurs sont identiques. Si un biscuit est mauvais, ceux qui l'entourent sont tout aussi bons.