Google dévoile les TPU 8tx et TPU 8i Max et élargit sa gamme de puces IA

Google a ajouté lundi deux systèmes de calcul d'intelligence artificielle, le TPU 8tx et le TPU 8i Max, qui complètent une gamme d'unités de traitement tensoriel de huitième génération offrant désormais aux clients quatre configurations pour entraîner et faire tourner des modèles d'IA. Google dit servir près de 100 clients TPU, des laboratoires d'IA aux universités, et il a annoncé les deux systèmes dans une seule année de quatre lancements TPU, une première pour l'entreprise.

L'annonce compte pour ce que chaque système est fait pour faire. L'un est construit autour de la vie privée pendant que le travail tourne. L'autre est construit autour de la mémoire, la limite qui, selon Google, freine maintenant les gros travaux d'IA.

TPU 8tx: la vie privée pendant le travail

Le TPU 8tx utilise l'informatique confidentielle au niveau matériel pour isoler les données client et les paramètres propriétaires des modèles même pendant qu'un travail est en cours, selon l'annonce rapportée par Decrypt. Il combine le silicium TPU 8t avec des processeurs AMD EPYC de cinquième génération et le réseau Boardfly de Google.

Google affirme que la conception peut réduire la latence jusqu'à moitié par rapport au TPU 8t, presque sans perte de performance. Cette comparaison est celle de Google, mesurée face à son matériel antérieur. Les reportages sont clairs sur une limite de l'annonce: les chiffres de performance de Google comparent les nouveaux systèmes au matériel antérieur de Google, pas aux produits les plus récents de Nvidia.

TPU 8i Max: construit pour le mur de la mémoire

Le TPU 8i Max combine deux puces TPU 8i dans un seul boîtier. Cela double la puissance de calcul, la SRAM sur puce et le débit de mémoire à large bande par rapport au TPU 8i, selon les reportages. Les chiffres rapportés par TechTarget situent la mémoire à 768 Mo de SRAM et 17,2 To/s de débit de mémoire à large bande.

Amin Vahdat, technologue en chef de Google et vice-président senior de l'IA et de l'infrastructure, a posé le système en une phrase citée dans les reportages: "Notre quatrième système, le TPU 8i Max, est construit pour un autre problème: le mur de la mémoire."

Google a aussi dit qu'il met en open source TPU Sync, un logiciel qui déplace la mémoire de travail de l'IA entre puces, serveurs et stockage. Mettre ce logiciel en libre accès fait partie de la même offre: les clients qui construisent sur le matériel Google reçoivent des outils pour déplacer la mémoire de travail dont dépendent leurs modèles.

Ce que Google n'a pas dit

Google n'a pas révélé les prix des deux nouvelles configurations, et il n'a pas donné de dates de disponibilité. Les clients qui comparent les systèmes au matériel rival reçoivent lundi l'architecture et les affirmations de performance de Google, mais pas les deux chiffres qui décident de la plupart des achats: combien les systèmes coûtent et quand ils peuvent être livrés.

Le moment a donné au lancement un arrière-plan de marché. Les actions Nvidia ont chuté de 9,3 pour cent jeudi et encore de 5 pour cent dans les échanges de lundi, dans des reportages qui lient la pression sur le titre à l'enquête du conseil de Nvidia impliquant son directeur général. L'annonce de Google est arrivée dans cette fenêtre, ses deux nouveaux systèmes visant les mêmes clients qui achètent de la puissance de calcul IA en grandes quantités.

L'attribution compte ici. Les chiffres de latence et de mémoire ci-dessus sont des affirmations et des spécifications rapportées de l'annonce de Google, repris par les reportages de Decrypt et de TechTarget. Ce ne sont pas des résultats de tests indépendants, et l'annonce de lundi ne comprenait pas de comparaison directe avec le matériel Nvidia.