Microsoft의 ND H100 v5 VM은 일반적으로 사용할 수 있으며 Azure OpenAI 서비스는 더 많은 지역에 있습니다.

3월에 Microsoft는 Azure ND H100 v5 가상 머신(VM) 시리즈를 만들기 위해 NVIDIA와 협력한다고 발표했습니다 . 오늘 Microsoft는 이러한 새로운 슈퍼컴퓨터가 이제 일반 공급되어 생성 AI 작업을 위한 더 빠른 성능에 대한 비즈니스 액세스를 제공한다고 발표했습니다.

새로운 VM은 NVIDIA의 NVIDIA Tensor Core H100 GPU 및 NVIDIA Quantum-2 InfiniBand 네트워킹을 사용합니다. 현재 미국 동부 및 서부 Azure 지역 모두에서 액세스할 수 있습니다. 기업이 새롭고 빠른 AI 기반 VM에 액세스하기 위해 가입할 때 기대할 수 있는 사항은 다음과 같습니다.

• 슈퍼컴퓨팅 GPU: 8개의 NVIDIA Tensor Core H100 GPU가 장착된 이 VM은 이전 세대보다 훨씬 더 빠른 AI 모델 성능을 약속하여 타의 추종을 불허하는 연산 능력으로 비즈니스를 강화합니다.
• 차세대 컴퓨터 처리 장치(CPU): AI 교육 및 추론을 위한 CPU 성능의 중요성을 이해하고 이러한 VM의 기반으로 4세대 Intel Xeon Scalable 프로세서를 선택하여 최적의 처리 속도를 보장합니다.
• 지연 시간이 짧은 네트워킹: 400GB/s의 교차 노드 대역폭을 갖춘 NVIDIA Quantum-2 CX7 InfiniBand가 포함되어 있어 전 세계적으로 최고 성능을 자랑하는 슈퍼컴퓨터의 기능과 일치하는 GPU 전반에서 원활한 성능을 보장합니다.
• 최적화된 호스트-GPU 성능: GPU당 64GB/s 대역폭을 제공하는 PCIe Gen5를 통해 Azure는 CPU와 GPU 간에 상당한 성능 이점을 얻습니다.
• 대규모 메모리 및 메모리 대역폭: DDR5 메모리는 이러한 VM의 핵심으로, 더 빠른 데이터 전송 속도와 효율성을 제공하므로 더 큰 데이터 세트가 있는 워크로드에 이상적입니다.

Microsoft는 내년에 VM용으로 수십만 개의 새로운 GPU를 추가하기 위해 노력하고 있다고 덧붙였습니다.

새로운 생성 AI Azure 가상 머신 외에도 Microsoft는 Azure OpenAI 서비스의 확장을 발표했습니다. 이제 캐나다 동부, 미국 동부 2, 일본 동부 및 영국 남부 지역에서 사용할 수 있습니다.

이전에 보고한 바와 같이 이 서비스는 기업이 자체 AI 기반 앱을 만드는 데 도움이 될 것입니다. 3월에 처음 발표된 이후 Microsoft는 기업으로부터 큰 반응을 얻었다고 말했습니다.

이제 자랑스럽게 11,000명 이상의 고객에게 서비스를 제공하여 이번 분기에 매일 평균 100명의 신규 고객을 유치하고 있습니다. 이러한 놀라운 성장은 고유한 요구 사항에 AI의 잠재력을 활용하려는 기업에 당사 서비스가 제공하는 가치와 확장성에 대한 증거입니다.

Microsoft는 또한 ChatGPT AI 플랫폼의 가장 강력한 버전인 GPT-4를 새로운 Azure OpenAI 서비스 지역에서도 사용할 수 있다고 덧붙였습니다.