Google anunció dos nuevos sistemas TPU el 9 de noviembre —TPU 8tx y TPU 8i Max— ampliando su cartera de TPU de octava generación a cuatro sistemas en un solo año, algo que la compañía dice que es la primera vez que ocurre. Se suman a la TPU 8t para entrenamiento a gran escala y a la TPU 8i para inferencia en tiempo real, ambas presentadas en Google Cloud Next en abril.

La TPU 8tx está pensada para inferencia segura y confidencial y entrenamiento a pequeña escala. Combina el silicio 8t con procesadores host AMD EPYC de quinta generación y la red de baja latencia Boardfly de Google, y Google afirma que reduce la latencia hasta a la mitad frente a la TPU 8t, con una penalización de rendimiento casi nula gracias a su computación confidencial respaldada por hardware, que protege los datos y los pesos del modelo mientras están en uso. La TPU 8i Max ataca el cuello de botella de la memoria: dos chips TPU 8i en un solo paquete, duplicando la computación, la SRAM en chip y el ancho de banda de la memoria de alto ancho de banda frente a una sola 8i, pensada para ventanas de contexto enormes e inferencia con mucha memoria.

Google insiste en que son sistemas nuevos, no silicio nuevo: el cambio está en el empaquetado, la red, la configuración de memoria y la seguridad, no en una arquitectura de chip nueva. La compañía no ha publicado precios, fecha de disponibilidad general ni detalles de despliegue para ninguno de los dos sistemas, y las cifras anteriores son datos de Google, no benchmarks independientes.

Los dos sistemas apuntan a las limitaciones que Google ve frenando a los agentes de IA empresariales en producción: mantener los datos sensibles protegidos mientras los modelos los usan, y alimentar contextos de trabajo enormes a los agentes sin dejar a los procesadores sin datos. La TPU 8tx se dirige a empresas reguladas y cargas de trabajo gubernamentales que ejecutan modelos propios con datos sensibles; la TPU 8i Max, a agentes que trabajan con grandes bases de código o vídeos largos.

Fuentes