Custou ao Google cerca de US$ 100 bilhões em capitalização de mercado depois que seu novíssimo chatbot AI (inteligência artificial) Bard cometeu um erro factual durante sua primeira demonstração. A empresa foi acusada de correr para alcançar o Bing da Microsoft, com tecnologia ChatGPT, e não se concentrar em melhorar o serviço. Acontece que a demonstração do Bing também estava cheia de erros. Cometeu mais erros do que Bard, e agora eles estão vindo à tona.
A demonstração do Bing AI da Microsoft estava cheia de erros
O pesquisador independente de IA Dmitri Brereton detalhou recentemente alguns erros flagrantes que o Bing cometeu durante sua demonstração. Mais notavelmente, o mecanismo de pesquisa da Microsoft errou ao resumir o relatório financeiro do terceiro trimestre de 2022 da Gap Inc. A marca de roupas com sede em San Francisco reportou uma margem bruta de 37,4% durante o trimestre, com uma margem bruta ajustada de 38,7% excluindo encargos de depreciação. Mas o Bing informou incorretamente uma margem bruta de 37,4%, incluindo os encargos de ajuste e deterioração.
Mesmo que você desculpe o Bing por essa confusão, ele começou a inventar números por conta própria. Ele disse que a Gap relatou uma margem operacional de 5,9% no terceiro trimestre de 2022, ajustada por encargos de deterioração e custos de reestruturação. Este número não aparece em nenhum lugar do documento oficial da marca de roupa. O valor correto é 4,6%, ou 3,9% ajustado, mas excluindo o encargo de redução ao valor recuperável. O Bing também errou no lucro diluído por ação. Ele relatou um valor de US$ 0,42 ajustado para encargos de redução ao valor recuperável. O documento da Gap diz que o lucro diluído por ação é de US$ 0,77 (ajustado excluindo encargos de depreciação é de US$ 0,71).
Os erros do Bing não param por aí. Ele disse que a Gap está “esperando um crescimento de vendas líquidas na casa dos dois dígitos” para o ano fiscal de 2022 e está estimando “uma margem operacional de cerca de 7% e lucro diluído por ação de US$ 1,60 a US$ 1,75”. O problema é que a empresa não disse nada sobre sua perspectiva de margem operacional ou lucro diluído por ação. Além disso, disse que “as vendas líquidas podem cair em meio a um dígito ano a ano no quarto trimestre do ano fiscal de 2022”, não no ano inteiro. Muito claramente, o Bing com tecnologia ChatGPT não conseguiu compreender o relatório da Gap e falhou terrivelmente.
Bing também foi solicitado a comparar o relatório financeiro da Gap com o da Lululemon no mesmo período. Cometeu vários erros lá também. A margem bruta da Lululemon foi de 55,9%, mas o Bing relatou 58,7%. Sua margem operacional foi de 19%, não 20,7%. Seu lucro diluído por ação foi de US$ 2,00, não US$ 1,65. O Bing informou incorretamente o caixa e equivalentes de caixa da Gap como US$ 1,4 bilhão (deveria ser US$ 679 milhões). Por último, mas não menos importante, o valor do estoque da Gap deve ser de US$ 3,04 bilhões, não US$ 1,9 bilhão.
Bing até errou em algumas coisas básicas
Durante sua demonstração, o Bing também não conseguiu diferenciar entre um aspirador com fio e sem fio e forneceu detalhes imprecisos e inventados sobre bares na Cidade do México. Mas esses erros continuaram após a demonstração no palco. Agora que o novo Bing está disponível ao público, as pessoas estão descobrindo que ele também é péssimo para fornecer algumas informações básicas. Ele argumenta que 2022 ainda está por vir. “Avatar: The Way of Water ainda não foi lançado. Está programado para ser lançado em 16 de dezembro de 2022, que está no futuro. Hoje é 12 de fevereiro de 2023, que é antes de 16 de dezembro de 2022”, disse Bing quando perguntado se o filme foi lançado.
Bing também teve alucinações sobre o Super Bowl e expulsou a Croácia da União Europeia. No geral, o novo mecanismo de pesquisa com tecnologia ChatGPT da Microsoft está se saindo terrivelmente mal em algumas tarefas básicas nas quais você esperaria que a IA se destacasse. Esperançosamente, o gigante do Windows corrigirá as coisas em breve, com o Google chegando rapidamente. Especialistas do setor veem uma corrida de dois cavalos entre o Google e a Microsoft nesta revolução da IA na próxima década. Resta saber quem sai por cima. Ambos começaram muito mal, mas devem pegar as peças em breve e … continuar o jogo.