Agora você pode modificar o Grok-1
xAI, a empresa por trás do Grok-1, disponibilizou uma versão aberta da IA no repositório Github. No dia 17 de março, anunciaram no site oficial. Eles também deixaram instruções sobre como usá-lo. Para esclarecer, os desenvolvedores podem aproveitar a base do Grok-1 e melhorar suas capacidades. Por exemplo, você pode querer integrá-lo a um sistema de reconhecimento de imagem. Você pode modificar a IA para funcionar de uma forma que permita aos usuários apontar seus telefones para monumentos históricos e ver informações sobre eles.
Ao que tudo indica, a versão de código aberto do Grok-1 é o modelo básico da fase de pré-treinamento da IA que terminou em outubro de 2023. Resumindo, não está limitado a nenhum caso de uso específico – como apenas conversas.
Estamos divulgando os pesos e a arquitetura do nosso modelo de mistura de especialistas de 314 bilhões de parâmetros.
xAI
Os modelos de IA normalmente ajustam parâmetros durante o treinamento, que funcionam como mostradores para processar dados e gerar resultados. Mais parâmetros significam maior complexidade e captura de detalhes. Portanto, os enormes 314 bilhões de parâmetros do Grok-1 sugerem que ele possui capacidades de processamento de linguagem altamente avançadas.
Sua arquitetura MoE combina vários modelos de IA em um só e faz com que funcionem juntos de maneira eficaz. Em vez de utilizar todos os modelos para cada tarefa, o MoE decide quais utilizar com base na situação.
Em uma situação hipotética, você pode configurar o Grok-1 para melhorar a personalização no X. A IA analisa suas interações anteriores (contas que você segue, hashtags com as quais você interage e conteúdo que você retweeta ou gosta). Depois, ele combina o conteúdo e o interesse do usuário para fazer recomendações melhores.
Grok-1 oferece uma lousa em branco
O xAI começou do zero com o Grok-1, em vez de se basear em modelos de linguagem pré-existentes – uma abordagem incomum. Os modelos de IA pré-existentes foram sobrepostos aos modelos GPT-3 ou Jurassic-1 como base porque já receberam treinamento em conjuntos de dados massivos. Mesmo o Gemini não foi construído do zero. Em vez disso, o Google usou seu próprio Modelo de Linguagem para Aplicações de Diálogo (LaMDA) para desenvolvê-lo.
Com esses modelos básicos, você só precisa combiná-los para criar uma nova IA, economizando tempo e recursos. A desvantagem óbvia é que a arquitetura e os dados de treinamento do modelo subjacente limitam você. Enquanto isso, Grok-1 combina Jax, uma biblioteca de computação numérica de alto desempenho, e Rust, uma linguagem de programação, em seu núcleo.
Por que Musk tornou o Grok de código aberto?
No início deste mês, Elon Musk processou a OpenAI e o CEO Sam Altman por supostamente violar o acordo. O CEO conheceu Musk e propôs desenvolver IA para o benefício da humanidade. A medida de Musk visa responsabilizá-los pela mudança de foco para a obtenção de lucros.
Musk alegou que a OpenAI violou o acordo ao lançar o GPT-4 como um produto da Microsoft. Agora, ele quer obrigar a OpenAI a compartilhar sua tecnologia com o público. Sua decisão de tornar o código aberto do Grok está alinhada com a missão original que ele compartilhou com Altman.