Destilação: o método da DeepSeek que revoluciona a IA mundial

A destilação, técnica utilizada pela DeepSeek para desenvolver modelos de inteligência artificial (IA) mais eficientes, está ganhando destaque entre as big techs, como OpenAI, Microsoft e Meta. Esse processo, que permite a transferência de conhecimento de modelos maiores para menores, está revolucionando a forma como a IA é construída e aplicada.

O que é a destilação e como ela funciona?

A técnica consiste em usar um modelo de linguagem grande, chamado de “professor”, para gerar dados que treinam um modelo “aluno” menor. Isso permite que empresas criam sistemas de IA poderosos e econômicos, capazes de rodar em dispositivos como laptops e smartphones. A DeepSeek, startup chinesa, foi uma das primeiras a adotar a destilação em larga escala, desafiando a liderança das gigantes do Vale do Silício.

“A destilação é mágica”, afirmou Olivier Godement, chefe de produto da OpenAI. “Ela pega um modelo grande e inteligente e o usa para ensinar outro menor, que é rápido, barato e altamente eficiente em tarefas específicas.” Essa abordagem tem sido crucial para empresas que buscam reduzir custos sem sacrificar desempenho.

Leia mais:

• Jornal italiano publica edição feita 100% por IA
• IA Google Gemini é capaz de remover marcas d’água em imagens
• Google agora transforma documentos em podcasts com IA

O impacto da destilação no mercado de IA

Grandes modelos de linguagem, como o GPT-4 da OpenAI e o Llama da Meta, exigem investimentos milionários em dados e poder computacional. A destilação, no entanto, permite que desenvolvedores acessem capacidades semelhantes por uma fração do custo. Isso tem impulsionado startups e empresas menores a competir no mercado de IA.

YouTube Music anuncia rádio gerada por IA no iPhone

A Microsoft, por exemplo, usou o GPT-4 para destilar sua família de modelos Phi, enquanto a DeepSeek aparentemente utilizou modelos da OpenAI para treinar seus próprios sistemas. A OpenAI alega que essa prática viola seus termos de serviço, mas não apresentou provas concretas. A DeepSeek, por sua vez, não comentou as acusações.

Vantagens e limitações dos modelos destilados

Especialistas destacam que, embora a destilação permita criar modelos de alto desempenho, eles são mais limitados em comparação aos sistemas originais. “Se você torna os modelos menores, inevitavelmente reduz sua capacidade”, explicou Ahmed Awadallah, da Microsoft Research.

Meta testa comentários gerados por IA, mas não explica motivo

Ainda assim, modelos destilados são ideais para tarefas específicas, como chatbots de atendimento ao cliente ou resumo de e-mails. “Sempre que você pode reduzir custos e manter o desempenho desejado, há pouca razão para não fazê-lo”, afirmou David Cox, da IBM Research.

Destilação e o movimento de código aberto

A destilação também beneficia defensores de modelos abertos, onde a tecnologia é disponibilizada gratuitamente para desenvolvedores. A DeepSeek, por exemplo, tornou seus modelos recentes abertos, seguindo a filosofia do código aberto. “Vamos usar a destilação e colocá-la em nossos produtos imediatamente”, disse Yann LeCun, cientista-chefe de IA da Meta.

Desafios para as grandes empresas de IA

Conteúdo Relacionado

Mais seguro!

Nova IA do Google facilita informações sobre doenças

A técnica representa um desafio para o modelo de negócios das grandes empresas de IA. Modelos destilados geram menos receita, pois são mais baratos para criar e rodar. A OpenAI, por exemplo, cobra menos pelo uso de modelos destilados, que exigem menos poder computacional.

Apesar disso, Godement acredita que grandes modelos de linguagem ainda serão essenciais para tarefas de alta complexidade. “Empresas pagarão mais por precisão e confiabilidade em cenários de alto risco”, afirmou. Além disso, grandes modelos são necessários para descobrir novas capacidades que podem ser destiladas para sistemas menores.

A batalha contra a destilação não autorizada

A OpenAI tem monitorado o uso de seus modelos para evitar que concorrentes os utilizem para treinar sistemas rivais. A empresa já removeu o acesso de contas suspeitas, mas reconhece que é difícil impedir completamente a destilação.

IA do Google resolve em 2 dias dúvida científica que durava uma década

Para a indústria, a destilação representa um avanço significativo, mas também um cenário complexo. “Você pode gastar bilhões desenvolvendo um modelo, e logo depois o resto do campo estará logo atrás”, comentou Cox. “É um jogo de negócios interessante e desafiador.”

Conteúdo Relacionado

ENFIM

Drone DJI Mini 4 Pro tem SDK liberado

Fonte: Forbes