Pesquisadores lançam o modelo de IA de raciocínio mais barato da história

Pesquisadores do Sky Computing Lab, da Universidade da Califórnia em Berkeley, lançaram o Sky-T1-32B-Preview, um modelo de inteligência artificial de raciocínio que se destaca por seu baixo custo de desenvolvimento e por ser totalmente open source. De acordo com o time da NovaSky, o Sky-T1 foi treinado por menos de US$ 450, um valor extremamente acessível em comparação aos milhões de dólares normalmente gastos no treinamento de modelos com capacidades semelhantes.

O modelo, que possui 32 bilhões de parâmetros, é competitivo com versões anteriores do modelo o1 da OpenAI em benchmarks importantes, como o MATH500 e o LiveCodeBench, que avaliam desempenho em desafios matemáticos e de codificação.

Open Source e Treinamento

O Sky-T1 marca um avanço importante na democratização de tecnologias avançadas de IA. Além de disponibilizar o modelo, a NovaSky tornou público o conjunto de dados utilizado no treinamento e o código necessário para replicá-lo do zero. O treinamento foi realizado utilizando oito GPUs Nvidia H100, com duração de 19 horas, e envolveu a geração de dados sintéticos por meio de outro modelo de raciocínio, o QwQ-32B-Preview da Alibaba.

Os pesquisadores destacam que o uso de dados sintéticos foi um dos fatores que possibilitaram a redução significativa de custos. Essa abordagem tem sido uma tendência crescente no setor de IA, como no caso do modelo Palmyra X 004, da Writer, que foi treinado quase inteiramente com dados gerados por outros modelos e custou US$ 700 mil — ainda muito mais caro que o Sky-T1.

Benefícios e Limitações

Modelos de raciocínio como o Sky-T1 oferecem vantagens significativas em comparação aos modelos tradicionais, incluindo maior confiabilidade em domínios como física, ciência e matemática. Isso ocorre porque eles têm a capacidade de "auto-verificação" durante os processos de cálculo, o que reduz erros comuns. No entanto, esse nível de precisão geralmente vem com a desvantagem do tempo de processamento mais longo, levando de segundos a minutos para chegar a uma solução.

Apesar das conquistas, o Sky-T1 ainda é superado por versões mais avançadas de modelos como o o1 da OpenAI e pelo próximo lançamento, o o3. Mesmo assim, o lançamento do Sky-T1 é visto como um marco por ser o primeiro modelo de raciocínio avançado acessível e replicável por meio de uma plataforma aberta.

Próximos Passos

A equipe da NovaSky afirma que o Sky-T1 é apenas o início de seus esforços para criar modelos de IA de raciocínio eficientes e acessíveis. Em comunicado, os pesquisadores declararam que planejam desenvolver modelos ainda mais precisos e rápidos, explorando técnicas avançadas que aumentem a eficiência e a precisão nos testes.

Fonte: TechCrunch

------------------------------------------------------------------------------------------------------------------------------

🚀 Gostou do conteúdo? Então continue lendo as principais notícias do mercado de IA.

📩 Assine a nossa newsletter e fique por dentro de tudo sobre a Inteligência Artificial.

Foto: Reprodução