O Google tem feito algumas coisas bem legais com IA, mas uma das aplicações mais legais da tecnologia deve ser o recém-revelado Projeto Gameface, um mouse para jogos com IA mãos-livres que a empresa anunciou no Google I/O 2023.
Com a ajuda de uma webcam, pode-se usar o Project Gameface para jogar jogos de PC que normalmente exigiriam um mouse para movimento, graças à tecnologia AI. Ele funciona utilizando a webcam para escanear o rosto e procurar movimentos da cabeça e gestos faciais. Esses movimentos e gestos se traduzem em movimentos do personagem no jogo.
Os controles são bastante robustos e intuitivos também. O software Gameface permite que você configure teclas e mouse para praticamente tudo. Abrir a boca, por exemplo, pode ser configurado para clicar com o botão esquerdo do mouse. Embora existam todos os tipos de outras opções de movimento ou gesto também. Incluindo sorrir, olhar para a esquerda ou levantar a sobrancelha esquerda. Você pode até definir o quão proeminentes esses movimentos ou gestos precisariam ser para retransmitir a entrada. O que deve ajudar o software a ser mais adaptável às necessidades de diferentes usuários.
O Project Gameface usa a solução MediaPipe de código aberto do Google, que vincula diferentes modelos de IA para fornecer uma saída. A saída é “uma malha de 468 pontos em seu rosto que são então convertidos em telemetria, como movimento ou cliques do mouse”, diz Laurence Moroney, principal advogado de IA do Google.
Moroney diz que roda nativamente em dispositivos e “uma das coisas mais incríveis sobre a tecnologia é que só precisa de uma entrada de uma webcam”.
Projeto Gameface é co-projetado com o streamer de jogos Lance Carr
Você pode estar se perguntando quem é Lance Carr. Bem, deixe-nos apresentá-lo. Lance Carr é um streamer de games que vive com distrofia muscular. Se você está familiarizado com a doença, sabe que ela enfraquece seus músculos e pode tornar mais difícil fazer quase tudo. Incluindo jogos. É aqui que entra o Google. A casa de Lance pegou fogo em 2021 enquanto jogava Diablo II. Junto com todo o seu equipamento caro, incluindo o mouse de rastreamento de cabeça adaptável que lhe permitia jogar.
O Google ficou sabendo da história e entrou em contato com Lance. O trabalho logo começou entre Google e Lance para co-projetar o Projeto Gameface. A esperança de Lance é que esta tecnologia possa ser dada a todos que possam usá-la para tornar suas vidas mais fáceis.
O Google também tornou o código da tecnologia de código aberto e está disponível em uma prévia a partir de hoje para quem quiser conferir no repositório GitHub do Google.