Microsoft admet qu’il doit ajouter plus de GPU pour des temps de réponse Bing Chat plus rapides

Microsoft permet désormais à quiconque de consulter son chatbot Bing Chat sans liste d’attente . Bien sûr, cela signifie que de nombreuses personnes consultent et utilisent le service pour la première fois. Cependant, certains utilisateurs de Bing Chat disent maintenant que les réponses deviennent plus lentes.

Dans un échange sur Twitter avec un utilisateur qui a déclaré qu’il voulait voir des temps de réponse plus rapides, ajoutant « parfois, je dois attendre si longtemps que c’est ridicule ». Mikhail Parakhin de Microsoft, responsable de ses services de publicité et Web, a répondu par des excuses, déclarant que « l’utilisation ne cesse de croître, nous n’ajoutons pas de GPU assez rapidement ». Cependant, il a ajouté que cette situation actuelle serait corrigée.

Sorry about the latency: the usage keeps growing, we are not adding GPUs fast enough. We’ll get it fixed.

— Mikhail Parakhin (@MParakhin) May 8, 2023

Cette situation est l’un des plus grands obstacles à l’IA générative, car ces services nécessitent de plus en plus de GPU spécialisés dans les serveurs de données. Le principal fabricant de ces puces est actuellement NVIDIA. Cependant, des rapports non confirmés affirment qu’AMD et Microsoft s’associent pour développer de nouvelles puces IA qui pourraient supprimer une partie de la dépendance à l’utilisation de NVIDIA.

Parakhin a également pris le temps ce week-end de répondre à d’autres questions sur Bing Chat d’autres utilisateurs de Twitter. Il a dit à un utilisateur que la fonctionnalité d’historique de chat Bing tant attendue arrivera dans « jours ». Il a également dit à un autre utilisateur que d’autres rapports d’aspect dans Bing Image Creator étaient en cours de discussion, mais que cela pourrait ne pas arriver « immédiatement ». Enfin, il a dit à un autre utilisateur qu’il espérait que Bing Chat prendrait en charge Code Interpreter à un moment donné, mais a ajouté : « Cela doit être fait en toute sécurité – ce n’est pas une tâche triviale ».