Um novo modelo de inteligência artificial (IA) está dando o que falar nas redes sociais, chamando a atenção com sua velocidade e tecnologia capaz de desafiar o Grok de Elon Musk e o ChatGPT.
Chamado Groq, essa ferramenta vem conquistando usuários e especialistas após seus testes públicos virarem sucesso na plataforma X. Vídeos compartilhados por internautas mostram o desempenho da nova IA, superando em processamento o conhecido chatbot da OpenAI.
Mas o que realmente diferencia o Groq é o desenvolvimento, pela própria equipe, de um chip ASIC voltado especificamente para LLMs.
Esse chip permite ao Groq gerar 500 tokens por segundo, comparado aos modestos 40 tokens da versão pública do ChatGPT (ChatGPT-3.5). A Groq Inc., empresa por trás dessa IA, afirma ter alcançado um marco com a criação da primeira unidade de processamento de linguagem do mundo, o motor que impulsiona o modelo.
Wow, that's a lot of tweets tonight! FAQs responses.
— Groq Inc (@GroqInc) February 19, 2024
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP
Ao contrário dos modelos tradicionais de inteligência artificial, que dependem fortemente de GPUs escassas e caras, o LPU do Groq oferece uma solução alternativa com velocidade e eficiência sem precedentes.
Confusão de nomes: Groq x Grok
A Groq Inc. não é exatamente uma novata no mercado.
Fundada em 2016, a empresa garantiu a marca registrada do nome “Groq”. Porém, em novembro passado, quando Musk apresentou seu próprio modelo de IA, batizado de Grok (com “k”), os criadores originais do Groq publicaram um blog chamando a atenção para a escolha do nome.
Com tom divertido, mas assertivo, destacaram as semelhanças e pediram a Musk que optasse por outra opção, considerando a associação com a marca Groq já estabelecida. Apesar da repercussão nas redes sociais, nem o bilionário nem a página do Grok no X se pronunciaram sobre o assunto.
Chip LPU pode ser o game changer
Alguns especialistas sugerem que os LPUs do Groq podem representar uma melhoria significativa em relação às GPUs, desafiando o hardware de alto desempenho de chips como o Nvidia A100 e H100.
“O Groq criou uma unidade de processamento inovadora chamada Processador de Streaming de Tensor (TSP), que eles categorizam como Unidade de Processamento Linear (LPU). Ao contrário das GPUs tradicionais, que são processadores paralelos com centenas de núcleos projetados para renderização gráfica, as LPUs são arquitetadas para oferecer desempenho determinístico para cálculos de IA”, escreveu Jay Scambler, usuário do X.
Scambler acrescenta que isso significa que “o desempenho pode ser previsto e otimizado com precisão, o que é crítico em aplicações de IA em tempo real.”
