Microsoft admite que necesita agregar más GPU para tiempos de respuesta más rápidos de Bing Chat

Microsoft ahora permite que cualquier persona consulte su chatbot de Bing Chat sin lista de espera . Por supuesto, eso significa que muchas personas ahora están revisando y usando el servicio por primera vez. Sin embargo, algunos usuarios de Bing Chat ahora dicen que las respuestas son cada vez más lentas.

En un intercambio de Twitter con un usuario que dijo que quería ver tiempos de respuesta más rápidos, agregó que «a veces tengo que esperar tanto que es ridículo». Mikhail Parakhin, jefe de Publicidad y Servicios Web de Microsoft, respondió con una disculpa y afirmó que «el uso sigue creciendo, no estamos agregando GPU lo suficientemente rápido». Sin embargo, agregó que esta situación actual se solucionará.

Sorry about the latency: the usage keeps growing, we are not adding GPUs fast enough. We’ll get it fixed.

— Mikhail Parakhin (@MParakhin) May 8, 2023

Esta situación es uno de los mayores obstáculos para la IA generativa, ya que estos servicios necesitan GPU cada vez más especializadas en los servidores de datos. Actualmente, el fabricante líder de estos chips es NVIDIA. Sin embargo, informes no confirmados afirman que AMD y Microsoft se están uniendo para desarrollar nuevos chips de IA que podrían eliminar parte de la dependencia del uso de NVIDIA.

Parakhin también se tomó el tiempo este fin de semana para responder algunas preguntas más de Bing Chat de otros usuarios de Twitter. Le dijo a un usuario que la tan esperada función del historial de chat de Bing llegará en «días». También le dijo a otro usuario que se están discutiendo más relaciones de aspecto en Bing Image Creator, pero es posible que no suceda «inmediatamente». Finalmente, le dijo a otro usuario que espera que Bing Chat sea compatible con Code Interpreter en algún momento, pero agregó: «Debe hacerse de forma segura, no es una tarea trivial».