Llega Azure Managed Lustre para cargas de trabajo de HPC e IA

Microsoft ha anunciado la disponibilidad de Azure Managed Lustre para cargas de trabajo de IA y computación de alto rendimiento. Lustre es un sistema de archivos alternativo (como NTFS o FAT) que es popular en las supercomputadoras, incluida Frontier .

Según Microsoft, Azure Managed Lustre ofrece el sistema de archivos Lustre a los clientes como un servicio administrado propio en Azure. Decía:

“Los usuarios locales de Lustre desde hace mucho tiempo ahora pueden aprovechar los beneficios de una solución HPC completa, que incluye procesamiento y almacenamiento de alto rendimiento, entregados en Azure. Los usuarios se benefician de las capacidades de alto rendimiento y rendimiento de Lustre como una experiencia administrada perfecta y ahora pueden concentrarse en sus imperativos comerciales”.

El sistema de archivos Lustre ya es muy popular en las supercomputadoras más importantes del mundo, pero gracias a la llegada de la IA generativa, existe un interés renovado en Lustre. Al describir los beneficios de Azure Managed Lustre, Microsoft enumera:

• Una experiencia PaaS administrada para la implementación y el consumo sin preocupaciones del sistema de archivos Lustre.
• TCO reducido con precios de pago por uso.
• Opciones de rendimiento a diferentes niveles de precios para diferentes cargas de trabajo.
• Fácil implementación de clústeres independientes con un rendimiento predecible, lo que elimina el problema de los vecinos ruidosos que comúnmente se experimenta en las implementaciones locales de Lustre.
• Implementación rápida en unos minutos, lo que alivia la necesidad de planificar con meses o años de anticipación y cumple con los requisitos de cumplimiento y residencia de datos.
• Región de elección para implementaciones en muchas regiones de Azure, compatible con los requisitos de cumplimiento y residencia de datos.
• Escalabilidad a cientos de petabytes (PB), con la durabilidad, la disponibilidad y los beneficios de costos asociados de la organización en niveles con Azure Blob Storage.
• Integración perfecta con los servicios informáticos de Azure existentes, incluidos los servicios HPC de Azure, Machine Learning de Azure y el servicio Kubernetes de Azure.
• Protección de la inversión para la automatización y el desarrollo de plataformas existentes de los clientes al migrar desde implementaciones locales de Lustre.

A partir de hoy, Microsoft tiene dos instancias duraderas persistentes para que las usen los clientes. Son AMLFS Estándar (125 MB/s) y AMLFS Premium (250 MB/s).

Los paquetes de cliente de Lustre se pueden descargar desde packages.microsoft.com para varias distribuciones de Linux y versiones de kernel. Microsoft dice que tendrá soporte para imágenes HPC preconstruidas con paquetes de cliente Lustre para Ubuntu 18.04 , 20.04 y 22.04 , así como para Alma 8.7.

Puede obtener más información en la página del producto Azure Managed Lustre .