O que você precisa saber
- O Projeto Starline é uma nova forma de se conectar remotamente com as pessoas, proporcionando a sensação de estar presente com elas, conhecido como telepresença.
- O estande usa um display de 8K com um conjunto de lentes parecidas com uma barreira de paralaxe para exibir imagens 3D sem o uso de óculos.
- O movimento e o áudio do usuário são rastreados por meio de 3 “pods” que são usados para renderizar uma versão 3D real de uma pessoa para transmitir sem fio.
Quando o Google anunciou o Projeto Starline no Google I / O 2021 em maio, ninguém tinha a ilusão de que a tecnologia por trás dele era simples. Um novo papel branco publicado pela pesquisa do Google, identificado por 9to5Google, detalhes apenas Como as complicada, a tecnologia realmente é.
Tudo começa com o design do estande, que é semelhante a um estande de restaurante familiar e oferece aos usuários um lugar confortável para se sentar enquanto se encontram ou conversam com outras pessoas remotamente. O Google diz que escolheu um design baseado principalmente para esse propósito.
Como o conforto era fundamental para o design, o Google optou por desenvolver uma tecnologia que não exigia que os usuários usassem nada – como qualquer um dos melhores fones de ouvido de realidade virtual ou óculos 3D – e ainda fossem capazes de ver e ouvir a pessoa do outro lado como realisticamente quanto possível.
O Google também queria garantir que os usuários tivessem a liberdade de se mover um pouco, esticar as pernas e ainda obter uma visão completa da pessoa do outro lado da linha, da cabeça à cintura.
O Google construiu estandes do Project Starline com a capacidade de exibir uma recriação 3D realista da pessoa do outro lado, completa com a capacidade de visualizá-los de vários ângulos, manter contato visual e até mesmo ouvir o áudio como se viesse da outra pessoa boca.
Para conseguir isso, o Projeto Starline grava e rastreia indivíduos com um conjunto de três “pods” – dois localizados acima da tela nos lados esquerdo e direito e um centralizado abaixo da tela – que contém quatro câmeras monocromáticas sincronizadas 1280 × 1024 operando a 120 Hz, com filtros para bloquear a luz quase infravermelha para que as informações extras do display não sejam coletadas erroneamente.
Pense em como um Wii remote iria surtar quando a luz do sol entrava em uma sala e você entenderá rapidamente a importância de bloquear esse tipo de luz.
O pod inferior contém uma câmera RGB extra que captura a cor necessária para replicar adequadamente um indivíduo no espaço 3D. Quatro microfones cardióides também são encontrados nesses pods, ajudando o sistema a replicar exatamente de onde o som vem, quando eventualmente recria a pessoa do outro lado.
As informações visuais e de áudio capturadas por essas câmeras são renderizadas em um PC Lenovo P920 com quatro GPUs – duas GPUs NVIDIA Quadro RTX 6000 e duas GPUs NVIDIA GeForce Titan RTX – e enviadas pela Internet via WebRTC. Basicamente, uma imagem composta é criada usando todas as imagens dos pods combinadas em uma grande parte.
A recriação renderizada em 3D da pessoa sentada no estande do Project Starline permite que o Google não apenas envie uma imagem de maior qualidade do que a que pode ser entregue via vídeo 2D como você encontraria no Zoom, Skype ou FaceTime, mas também concede a capacidade para mover e girar o modelo 3D para criar a ilusão de uma pessoa tridimensional sentada na sua frente.
Essa tela é um painel 8K personalizado de 65 polegadas com lentes estereoscópicas, que pelo menos tem uma semelhança passageira com a tela encontrada em um Nintendo 3DS, que usa uma barreira de paralaxe. Ao contrário de uma barreira de paralaxe, que tem um pequeno “ponto ideal” onde a imagem 3D é criada, as lentes no Project Starline são usadas para enviar uma imagem diferente para cada olho, recriando a visão 3D de uma forma totalmente natural.
Pode-se argumentar que a RV pode criar uma experiência semelhante de várias maneiras, mas o Google aponta que os headsets de RV existentes não têm um campo de visão amplo o suficiente e têm problemas para recriar corretamente um rosto, já que um headset de RV bloqueia grande parte dele quando usado.
Latência e outros problemas comuns que ainda afetam a comunicação na Internet também podem afetar um pouco a Starline, mas parece que ela pode fazer um trabalho melhor do que o que esperamos das soluções de vídeo 2D atuais.
O Projeto Starline foi usado pelo Google por muitos motivos, incluindo integração e reuniões, mas não está claro quão amplamente usado veremos o Starline em escritórios ou outras áreas comerciais no futuro. Por enquanto, confira o vídeo de anúncio original do Google abaixo para vê-lo em ação.