Neste artigo
  1. Por que o baixo custo do modelo R1 da DeepSeek surpreende o mercado?
  2. Como a DeepSeek conseguiu reduzir os custos de treinamento?
  3. Qual é a importância do modelo R1 para o cenário da IA?
  4. O que é "destilação" de modelos de IA e como a DeepSeek a utiliza?

A empresa chinesa DeepSeek causou impacto ao anunciar que o treinamento de seu modelo de IA, o R1, custou menos de US$ 300 mil. Este valor contrasta fortemente com os custos reportados por empresas americanas, reacendendo o debate sobre a competitividade da China no desenvolvimento de inteligência artificial.

Por que o baixo custo do modelo R1 da DeepSeek surpreende o mercado?

Em 2023, o CEO da OpenAI, Sam Altman, revelou que o treinamento de modelos de IA de ponta custava "muito mais" que US$ 100 milhões. A diferença gritante entre os valores reacende discussões sobre a eficiência e o acesso a recursos na indústria de IA global. O anúncio da DeepSeek gerou ondas de choque, levantando questões sobre as estratégias e tecnologias utilizadas pela empresa chinesa para alcançar tais economias.

O baixo custo de treinamento do R1 levanta questões sobre o futuro da competição no setor de IA, especialmente considerando as restrições de exportação de chips avançados para a China. A revelação pode influenciar estratégias de investimento e desenvolvimento em IA, incentivando a busca por alternativas mais acessíveis e eficientes.

Como a DeepSeek conseguiu reduzir os custos de treinamento?

A DeepSeek divulgou que utilizou 512 chips Nvidia H800 para treinar o modelo R1. Estes chips foram adaptados para o mercado chinês após os EUA proibirem a exportação de modelos mais avançados, como o H100 e o A100. A escolha dos chips H800 pode ter contribuído para a redução de custos, embora autoridades americanas tenham questionado se a DeepSeek também teria acesso a "grandes volumes" de chips H100.

A empresa reconheceu ter usado GPUs A100 em estágios preparatórios de desenvolvimento, antes de usar os chips H800 para o treinamento final do R1. Essa abordagem faseada pode ter otimizado o uso dos recursos de hardware, resultando em economia de custos. A estratégia de utilizar diferentes chips em diferentes fases do desenvolvimento também pode ter influenciado o resultado final.

Qual é a importância do modelo R1 para o cenário da IA?

O modelo R1 da DeepSeek é focado em raciocínio. A empresa descreve o sistema como um dos modelos de IA de menor custo. A divulgação do artigo com os custos de treinamento do R1 na revista Nature gerou grande repercussão, especialmente entre investidores globais. A capacidade de desenvolver modelos de IA eficientes e acessíveis pode democratizar o acesso à tecnologia e impulsionar novas aplicações em diversos setores.

O lançamento de sistemas de IA de menor custo pela DeepSeek em janeiro já havia levado investidores globais a vender ações de tecnologia, preocupados que os novos modelos pudessem ameaçar a dominância de líderes de IA, incluindo a Nvidia. A confirmação dos baixos custos de treinamento do R1 pode intensificar essa tendência, incentivando a busca por alternativas mais eficientes e acessíveis no mercado de IA. Além disso, o uso do modelo de IA Llama de código aberto da Meta para algumas versões destiladas de seus próprios modelos pode ter auxiliado na redução de custos.

O que é "destilação" de modelos de IA e como a DeepSeek a utiliza?

A destilação de modelos é uma técnica em que um sistema de IA aprende com outro, permitindo que o modelo mais novo aproveite os investimentos de tempo e poder computacional do modelo anterior, sem os custos associados. A DeepSeek defende a destilação como uma forma de melhorar o desempenho do modelo e reduzir os custos de treinamento e execução. Essa abordagem permite um acesso mais amplo às tecnologias baseadas em IA.

A DeepSeek reconheceu que os dados de treinamento para seu modelo V3 continham respostas geradas por modelos da OpenAI, o que pode ter levado o modelo base a adquirir conhecimento de outros modelos poderosos indiretamente. A empresa afirmou que isso não foi intencional, mas sim incidental. Essa revelação levanta questões sobre a ética e a transparência no desenvolvimento de modelos de IA, especialmente em relação ao uso de dados gerados por outros sistemas.

Via Folha de S.Paulo