Microsoft ha lanzado sus últimas máquinas virtuales Azure optimizadas para supercomputación de IA, la serie ND H200 v5.

A medida que el panorama de la IA evoluciona rápidamente, la necesidad de una infraestructura escalable y de alto rendimiento continúa creciendo exponencialmente. Los clientes de Microsoft confían en la infraestructura de Azure AI para desarrollar soluciones innovadoras basadas en IA, razón por la cual la compañía está ofreciendo nuevos clústeres de supercomputación de IA basados en la nube creados con máquinas virtuales (VM) de la serie Azure ND H200 v5. Estas VM ya están disponibles de forma general y están diseñadas para manejar la creciente complejidad de las cargas de trabajo de IA avanzadas, desde el entrenamiento de modelos fundamentales hasta la inferencia generativa.

Uno de los aspectos más interesantes de la ND H200 v5 es su capacidad para abordar el cuello de botella causado por el crecimiento de las GPU en capacidad computacional bruta a un ritmo mucho más rápido que la memoria adjunta y el ancho de banda de la memoria. Las VM de la serie ND H200 v5 ofrecen un aumento significativo en la capacidad y el ancho de banda de la memoria de alto ancho de banda (HBM), lo que permite que las GPU accedan a los parámetros del modelo más rápido. Esto da como resultado una latencia general de la aplicación reducida, lo cual es fundamental para aplicaciones en tiempo real como agentes interactivos.

Además, las VM ND H200 v5 pueden alojar modelos de lenguaje grandes (LLM) más complejos dentro de la memoria de una sola VM. Esto elimina la necesidad de ejecutar trabajos distribuidos en varias VM, lo que mejora el rendimiento y reduce la complejidad.

Finalmente, la ND H200 v5 viene preintegrada con servicios de Azure como Azure Batch, Azure Kubernetes Service, Azure OpenAI Service y Azure Machine Learning. Estas integraciones facilitan que las empresas comiencen a utilizar las nuevas VM, lo que las convierte en una opción atractiva para las organizaciones que buscan aprovechar el poder de la supercomputación de IA.