Você já imaginou reduzir os custos de IA em até 90% e ainda melhorar o desempenho? Uma equipe de pesquisadores da Zoom Communications desenvolveu uma técnica inovadora chamada “chain of draft” (CoD) que promete revolucionar a forma como as empresas utilizam a inteligência artificial. Essa abordagem permite que modelos de linguagem grande (LLMs) resolvam problemas complexos com muito menos texto, otimizando recursos computacionais e reduzindo a latência. Vamos entender como essa novidade pode transformar o cenário da IA!
Como a “Chain of Draft” Transforma os Custos de IA
A técnica chain of draft (CoD) foi desenvolvida por pesquisadores da Zoom Communications e promete reduzir drasticamente os recursos computacionais necessários para sistemas de IA. O método permite que os LLMs resolvam problemas complexos utilizando uma quantidade mínima de palavras, chegando a usar apenas 7,6% do texto requerido por métodos atuais. E o melhor? Mantendo ou até mesmo aumentando a precisão das respostas.
Em um estudo publicado no arXiv, Silei Xu, pesquisador da Zoom, e sua equipe demonstraram que, ao reduzir a verbosidade e focar em insights cruciais, o CoD iguala ou supera o chain-of-thought (CoT) em termos de precisão. Isso acontece com uma fração dos tokens, o que diminui significativamente os custos de IA e a latência em diversas tarefas de raciocínio.
A inspiração para o CoD veio da forma como os humanos resolvem problemas complexos. Em vez de detalhar cada informação ao resolver um problema de matemática ou um quebra-cabeça lógico, as pessoas geralmente anotam apenas os dados essenciais de forma abreviada. Os pesquisadores explicam que, ao emular esse comportamento, os LLMs conseguem se concentrar no progresso em direção às soluções sem a sobrecarga de um raciocínio prolixo.
Para testar a eficácia da abordagem, a equipe realizou testes em diversos benchmarks, incluindo raciocínio aritmético (GSM8k), raciocínio de senso comum (compreensão de datas e esportes) e raciocínio simbólico (tarefas de lançamento de moedas). Os resultados foram surpreendentes e mostram o potencial da técnica para otimizar o uso da IA.
Resultados Impressionantes em Diferentes Áreas
Um dos exemplos mais notáveis ocorreu quando o Claude 3.5 Sonnet processou perguntas relacionadas a esportes. Utilizando o CoD, a saída média foi reduzida de 189,4 tokens para apenas 14,3 – uma redução de 92,4%. Surpreendentemente, a precisão também aumentou de 93,2% para 97,3%. Esses números mostram que a técnica não só economiza recursos, mas também melhora a qualidade das respostas.
Essa redução drástica nos custos de IA e a melhoria na precisão abrem um leque de possibilidades para empresas que buscam integrar sistemas de IA sofisticados em suas operações. A técnica CoD se apresenta como uma solução viável para superar as barreiras impostas pelos altos custos computacionais e tempos de resposta elevados.
Para ilustrar o impacto financeiro, o pesquisador de IA, Ajith Vallath Prabhakar, estimou que uma empresa que processa 1 milhão de consultas de raciocínio mensalmente poderia reduzir seus custos de US$ 3.800 (com CoT) para US$ 760 com o CoD. Essa economia de mais de US$ 3.000 por mês é um forte argumento para a adoção da nova técnica.
Em um cenário onde as empresas estão cada vez mais dependentes de sistemas de IA, a pesquisa surge como um farol de esperança. Ao tornar o raciocínio da IA mais acessível e econômico, o CoD pode democratizar o acesso a capacidades de IA sofisticadas, permitindo que organizações menores e com recursos limitados também se beneficiem dessa tecnologia. A capacidade de implementar o CoD sem a necessidade de grandes investimentos em infraestrutura ou treinamento especializado é um diferencial importante.
Implementação Simples e Impacto Imediato nos Custos de IA
Uma das grandes vantagens do CoD é a sua simplicidade de implementação. Ao contrário de muitas outras inovações em IA, que exigem o dispendioso retreinamento de modelos ou alterações na arquitetura, o CoD pode ser implementado imediatamente com os modelos existentes através de uma simples modificação no prompt. Isso significa que as empresas podem começar a economizar e melhorar o desempenho da IA sem grandes investimentos.
Prabhakar explica que organizações que já utilizam o CoT podem migrar para o CoD com uma simples alteração no prompt. Essa facilidade de transição torna o CoD uma opção atraente para empresas que buscam otimizar seus processos de IA sem interrupções significativas.
A técnica pode ser especialmente valiosa para aplicações sensíveis à latência, como suporte ao cliente em tempo real, IA móvel, ferramentas educacionais e serviços financeiros. Nesses casos, até mesmo pequenos atrasos podem ter um impacto significativo na experiência do usuário, e o CoD pode ajudar a garantir respostas rápidas e precisas.
Além da economia de custos, o CoD também pode democratizar o acesso a capacidades de IA sofisticadas, permitindo que organizações menores e com recursos limitados se beneficiem dessa tecnologia. Isso porque a técnica torna o raciocínio avançado da IA mais acessível e acessível para um público mais amplo.
Para aqueles que desejam se aprofundar e testar a técnica, o código de pesquisa e os dados estão disponíveis publicamente no GitHub. Isso permite que organizações implementem e testem a abordagem em seus próprios sistemas de IA, adaptando-a às suas necessidades específicas e explorando todo o seu potencial.
À medida que os sistemas de IA continuam a evoluir, técnicas como o CoD destacam uma crescente ênfase na eficiência, juntamente com a capacidade bruta. Para as empresas que navegam no cenário de IA em rápida mudança, tais otimizações podem ser tão valiosas quanto as melhorias nos modelos subjacentes.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via VentureBeat
