Microsoft ammette che è necessario aggiungere più GPU per tempi di risposta più rapidi di Bing Chat

Microsoft ora consente a chiunque di controllare il suo chatbot Bing Chat senza lista d’attesa . Naturalmente, ciò significa che molte persone ora effettuano il check-out e utilizzano il servizio per la prima volta. Tuttavia, alcuni utenti di Bing Chat ora affermano che le risposte stanno diventando più lente.

In uno scambio su Twitter con un utente che ha dichiarato di voler vedere tempi di risposta più rapidi, aggiungendo “alcune volte devo aspettare così tanto che è ridicolo”. Mikhail Parakhin di Microsoft, il capo dei suoi servizi pubblicitari e web, ha risposto con delle scuse, affermando che “l’utilizzo continua a crescere, non stiamo aggiungendo GPU abbastanza velocemente”. Tuttavia, ha aggiunto che questa situazione attuale verrà risolta.

Sorry about the latency: the usage keeps growing, we are not adding GPUs fast enough. We’ll get it fixed.

— Mikhail Parakhin (@MParakhin) May 8, 2023

Questa situazione è uno dei maggiori ostacoli per l’IA generativa, poiché questi servizi richiedono GPU sempre più specializzate nei server di dati. Il principale produttore di questi chip è attualmente NVIDIA. Tuttavia, rapporti non confermati affermano che AMD e Microsoft stanno collaborando per sviluppare nuovi chip AI che potrebbero eliminare parte della dipendenza dall’utilizzo di NVIDIA.

Parakhin ha anche dedicato del tempo questo fine settimana per rispondere ad altre domande di Bing Chat da parte di altri utenti di Twitter. Ha detto a un utente che la tanto attesa funzione di cronologia chat di Bing arriverà tra “giorni”. Ha anche detto a un altro utente che sono in discussione più proporzioni in Bing Image Creator, ma potrebbe non accadere “immediatamente”. Infine, ha detto a un altro utente che spera che Bing Chat supporterà Code Interpreter a un certo punto, ma ha aggiunto: “Deve essere fatto in modo sicuro, non un compito banale”.