Groq revela chip proprietário muito mais rápido que as soluções da Nvidia

Acabada de chegar ao topo a Nvidia acaba de ver “nascer” uma nova concorrência, e que promete ser feroz, e estamos a falar da Groq. Na passada terça-feira, dia 20 de fevereiro, a startup americana revelou um chip verdadeiramente revolucionário dedicado à IA.

Este chip é na verdade o primeiro LPU (Language Processing Unit), um processador que acelera especificamente os cálculos dos LLMs (como ChatGPT, Llama, Gemini, etc.), e os primeiros resultados são mais que espetaculares já que as solicitações enviadas para um LLM baseado na tecnologia Groq são processadas quase instantaneamente, às vezes em menos de um segundo.

Também é possível ver essas performances com os seus próprios olhos, já que o Groq abriu uma página que permite usar livremente um chatbot baseado nos seus LPUs. O chatbot indica o número de palavras enviadas de volta ao utilizador a cada segundo, e muitas vezes atinge uma pontuação superior a 500 palavras/segundo, algo simplesmente brutal.

A Groq afirma que num teste, a sua solução esmagou o chatbot Lama 2 (Meta) executado na infraestrutura de nuvem Azure, com o Groq a provar ser 20 vezes mais rápido que o seu concorrente direto. Durante este mesmo teste, a empresa produziu 100 tokens (palavras) em apenas 0,8 segundos (em comparação com 10,1 segundos do Lama 2), mas os resultados podem ser ainda mais espetaculares dependendo das consultas feitas.

Groq chega para fazer frente à Nvidia

Observe que o fundador e atual CEO da empresa não é outro senão Jonathan Ross, que anteriormente trabalhou na Google para o desenvolvimento de chips especializados em aprendizagem de máquina (ML). A Nvidia pode ter algumas preocupações, mesmo que este chip agora revelado ainda não tenha atingido a fase comercial.

Joel Pinto

Website

Fundador do Noticias e Tecnologia, e este foi o seu segundo projeto online, depois de vários anos ligado a um portal voltado para o sistema Android, onde também foi um dos seus fundadores.