Google Cloud anunció poderosas innovaciones en infraestructura para su futuro centrado en la IA, incluyendo la TPU de sexta generación, Trillium, las máquinas virtuales A3 Ultra con GPUs NVIDIA H200 Tensor Core, Hypercompute Cluster, las máquinas virtuales C4A basadas en procesadores Axion personalizados, mejoras en la red del centro de datos Jupiter y la capacidad de descarga del host Titanium, y el servicio de almacenamiento Hyperdisk ML. Estas mejoras buscan optimizar el rendimiento, la facilidad de uso y la eficiencia de costos de la infraestructura de IA para los clientes. Trillium ofrece mejoras de rendimiento significativas con respecto a la TPU v5e, incluyendo una mejora de más de 4 veces en el rendimiento del entrenamiento, un aumento de hasta 3 veces en el rendimiento de inferencia y un aumento del 67% en la eficiencia energética. Las máquinas virtuales A3 Ultra están diseñadas para ofrecer un salto significativo en el rendimiento con respecto a las generaciones anteriores, con el doble de ancho de banda de red de GPU a GPU y un rendimiento de inferencia LLM hasta 2 veces mayor. Hypercompute Cluster simplifica la administración de clústeres de aceleradores de IA, permitiendo implementaciones confiables y repetibles a través de una sola llamada a la API. Las máquinas virtuales C4A ya están disponibles de forma general, ofreciendo un rendimiento y una eficiencia mejorados para una amplia gama de cargas de trabajo de propósito general. Titanium y la red Jupiter se han mejorado para admitir cargas de trabajo de IA, con el nuevo adaptador de red Titanium ML que ofrece 3,2 Tbps de tráfico de GPU a GPU a través de RoCE. Hyperdisk ML ya está disponible de forma general, proporcionando almacenamiento de alto rendimiento para cargas de trabajo de IA y HPC, con tiempos de carga de datos más rápidos y una mayor eficiencia de costos.