Microsoft está desenvolvendo a Longnet, IA até 250 mil vezes mais poderosa que ChatGPT

Uma inovação com o potencial de aprimorar o desempenho de modelos de linguagem de grande escala, podendo ser até 250 mil vezes mais rápido que o ChatGPT . Sim, você não leu errado. É assim que a gigante da tecnologia Microsoft apresentou uma inovadora arquitetura de Inteligência Artificial (IA) em desenvolvimento chamada LongNet.

Desafios Atuais e a Inovação do Microsoft LongNet

Atualmente, modelos de linguagem em grande escala enfrentam o desafio de processar sequências de dados cada vez maiores. Estes dados são interpretados por modelos transformadores, onde a correlação entre o tamanho da sequência e a demanda computacional cresce exponencialmente. Na prática, isso significa que quanto maior a sequência de dados, mais recursos de hardware são necessários para o processamento. Essas informações são divididas em unidades menores, chamadas tokens, para que os transformadores possam processá-las. Porém, os modelos atuais têm uma capacidade de leitura limitada e não conseguem processar todos os tokens de uma vez sem perda de dados ou diminuição da velocidade. A nova arquitetura da Microsoft, LongNet, visa abordar este problema com uma solução inovadora que escala o processamento de informações.

O Mecanismo da Atenção Dilatada

A LongNet emprega um mecanismo de "atenção dilatada", inspirado pela lógica neural. Neste sistema, a "atenção" ou foco dado a cada token diminui conforme a distância entre eles aumenta. Os tokens próximos são processados com mais atenção, enquanto os mais distantes recebem uma atenção mais reduzida. Isso permite que o processamento seja mais eficaz ao concentrar-se nas relações mais próximas.

O Poder de LongNet Comparado ao ChatGPT

O ChatGPT da OpenAI pode processar 4.096 tokens por vez, que são aproximadamente 3 mil palavras. No entanto, existem variantes deste modelo que podem lidar com 8 mil tokens e até 32 mil tokens. Em contrapartida, o LongNet tem a capacidade de processar até 1 bilhão de tokens, o que se traduz em cerca de 750 milhões de palavras processadas simultaneamente. Dessa forma, a Microsoft LongNet tem potencial para aumentar a capacidade de leitura dos modelos de linguagem de grande escala até 250 mil vezes em comparação com o ChatGPT disponível gratuitamente.

Próximos Passos para o Microsoft LongNet

Por enquanto, a LongNet permanece em fase de pesquisa. Os detalhes do modelo foram publicados em um artigo acadêmico pela Universidade Cornell, nos Estados Unidos. No caso dessa arquitetura se provar viável, ela pode proporcionar um enorme avanço tecnológico na capacidade de processamento dos modelos que impulsionam a IA.

---

🚀Gostou do conteúdo? Continue lendo as principais notícias do mercado de IA. 📩Assine a nossa newsletter e fique por dentro de tudo sobre a Inteligência Artificial. Imagem: UN Photo/Kim Haughton