O que você precisa saber
- Os trabalhadores contratados que treinam o Bard do Google afirmam que as condições de trabalho são frustrantes e as instruções de tarefa de seis pontos são “complicadas”.
- Os funcionários geralmente recebem a tarefa de auditar uma resposta em três minutos.
- Os empreiteiros estão preocupados com as imprecisões de Bard, no entanto, as diretrizes afirmam que não precisam realizar uma “verificação rigorosa dos fatos”.
O software de IA ainda precisa de pessoas reais para garantir que esteja no caminho certo. No entanto, esses treinadores estão supostamente enfrentando condições insuportáveis no Google.
De acordo com a Bloomberg, documentos recentes obtidos pela publicação sugerem que os treinadores humanos do chatbot de IA do Google, Bard, receberam “instruções complicadas”. Seis dos atuais contratados da empresa se manifestaram sobre as condições de trabalho menos do que estelares, com um dizendo: “Do jeito que está agora, as pessoas estão assustadas, estressadas, mal pagas, não sabem o que está acontecendo”.
Com isso pesando sobre eles, os trabalhadores declararam que muitas vezes são incumbidos de auditar uma resposta em três minutos. Para contextualizar, esses trabalhadores contratados são essencialmente avaliadores: pessoas encarregadas de determinar a relevância, autenticidade e coerência de uma resposta que Bard pode oferecer uma consulta com base em uma diretriz de seis pontos.
Esses treinadores também são obrigados a garantir que as respostas não contenham nada ofensivo ou prejudicial. Dado esse fato, as diretrizes afirmam que os treinadores “não precisam realizar uma verificação rigorosa dos fatos”. Isso pode parecer bom, no entanto, os treinadores descobriram que o Bard do Google tende a entender os “fatos principais” errados sobre um assunto.
É um quebra-cabeça que as diretrizes mencionadas anteriormente afirmam que certas imprecisões factuais, como errar uma data, são “menores”.
Além disso, os avaliadores mencionaram tarefas como determinar a dosagem apropriada para quem procura tratar a pressão alta. Devido à restrição de tempo, os funcionários estão preocupados que Bard esteja oferecendo respostas que parecem corretas quando não estão.
Em comunicado, o Google enfatiza que os avaliadores são apenas uma das várias maneiras pelas quais a empresa testa as respostas quanto à precisão e qualidade das respostas:
“Empreendemos um trabalho extensivo para construir nossos produtos de IA com responsabilidade, incluindo testes rigorosos, treinamento e processos de feedback que aprimoramos há anos para enfatizar a factualidade e reduzir os vieses”.
A empresa acrescenta que existem outras áreas além da precisão, como tom e apresentação, para as quais alguns funcionários preocupados podem ter treinado.
O Google aparentemente correu de cabeça para desenvolver seu próprio chatbot de IA após o sucesso do ChatGPT da OpenAI para o mecanismo de busca Bing da Microsoft. Os treinadores humanos não apenas afirmaram que tiveram trabalho de preparação de IA desde janeiro para prepará-lo para seu lançamento público, mas um ex-engenheiro do Google afirmou que Bard foi treinado usando seu concorrente, o que pode ter levado a seu lançamento rápido.