Como se treina um modelo de inteligência artificial

O treinamento dos modelos de inteligência artificial representa um dos desafios mais complexos no âmbito do desenvolvimento tecnológico contemporâneo. Muito mais do que uma simples questão algorítmica, o treinamento eficaz de um modelo requer uma abordagem metódica e multidisciplinar que integra dados, ciência de dados, conhecimento do domínio e engenharia de software. Como evidenciado por James Luke em seu fundamental texto "Beyond Algorithms: Delivering AI for Business", o sucesso de uma implementação de IA depende muito mais da gestão dos dados e do design sistêmico do que dos algoritmos em si. O panorama está em rápida evolução, com inovações como o modelo DeepSeek-R1 que estão redefinindo custos e acessibilidade.

A base: recolha e gestão de dados

Qualidade em vez de quantidade

Contrariamente ao que muitas vezes se pensa, a quantidade de dados nem sempre é o fator determinante para o sucesso. A qualidade e a representatividade dos dados são significativamente mais importantes. Neste contexto, é fundamental integrar diferentes fontes:

• Dados proprietários: Coletados e anonimizados de forma ética a partir das implementações existentes
• Dados licenciados: Provenientes de fornecedores confiáveis que atendem a rigorosos padrões de qualidade
• Conjuntos de dados open source: Cuidadosamente verificados para garantir diversidade e precisão
• Dados sintéticos: Gerados artificialmente para preencher lacunas e resolver problemas de privacidade

Esta integração cria uma base de formação abrangente que capta cenários do mundo real, mantendo os padrões éticos e de privacidade.

O desafio da preparação dos dados

O processo de "manipulação de dados" representa até 80 por cento do esforço necessário em projectos de inteligência artificial. Esta fase envolve:

• Limpeza dos dados: Eliminação de inconsistências, duplicações e valores anômalos
• Transformação dos dados: Conversão em formatos adequados para o processamento
• Integração dos dados: Fusão de fontes diversas que frequentemente utilizam esquemas e formatos incompatíveis
• Gestão dos dados ausentes: Estratégias como a imputação estatística ou o uso de dados proxy

Como destacado por Hilary Packer, CTO da American Express: "O momento aha! para nós, honestamente, foram os dados. Você pode fazer a melhor seleção de modelo do mundo... mas os dados são a chave. A validação e a precisão são o santo graal neste momento da IA generativa."

Arquitetura do modelo: dimensionamento correto

A escolha da arquitetura do modelo deve ser orientada pela natureza específica do problema a resolver, e não por tendências ou preferências pessoais. Diferentes tipos de problemas exigem abordagens diferentes:

• Modelos linguísticos baseados em transformadores para tarefas que exigem compreensão linguística profunda
• Redes neurais convolucionais para o reconhecimento de imagens e padrões
• Redes neurais gráficas para a análise de relações complexas entre entidades
• Aprendizado por reforço para problemas de otimização e decisão
• Arquiteturas híbridas que combinam múltiplas abordagens para casos de uso complexos

A otimização da arquitetura requer uma avaliação sistemática entre diferentes configurações, com ênfase no equilíbrio entre o desempenho e os requisitos computacionais, um aspeto que se tornou ainda mais relevante com o advento de modelos como o DeepSeek-R1, que oferecem capacidades de raciocínio avançadas a custos significativamente mais baixos.

Metodologias de formação avançadas

Modelo de destilação

A destilação surgiu como uma ferramenta particularmente poderosa no atual ecossistema de IA. Este processo permite criar modelos mais pequenos e específicos que herdam as capacidades de raciocínio de modelos maiores e mais complexos, como o DeepSeek-R1.

Como evidenciado no caso da DeepSeek, a Empresa destilou suas próprias capacidades de raciocínio em diversos modelos menores, incluindo modelos open-source da família Llama da Meta e da família Qwen da Alibaba. Esses modelos menores podem ser posteriormente otimizados para tarefas específicas, acelerando a tendência para modelos rápidos e especializados.

Sam Witteveen, programador de aprendizagem automática, observa: "Estamos a começar a entrar num mundo em que as pessoas utilizam vários modelos. Não utilizam apenas um modelo a toda a hora". Isto inclui modelos fechados de baixo custo, como o Gemini Flash e o GPT-4o Mini, que "funcionam muito bem em 80% dos casos de utilização".

Aprendizagem multi-tarefa

Em vez de treinar modelos separados para competências relacionadas, a aprendizagem multitarefa permite que os modelos partilhem conhecimentos entre diferentes funções:

• Os modelos otimizam simultaneamente para múltiplos objetivos correlacionados
• As funcionalidades básicas se beneficiam de uma exposição mais ampla a diferentes tarefas
• O desempenho melhora em todas as tarefas, particularmente naquelas com dados limitados
• A eficiência computacional aumenta graças ao compartilhamento dos componentes

Afinação supervisionada (SFT)

Para as empresas que operam em domínios muito específicos, onde a informação não está amplamente disponível na Web ou nos livros normalmente utilizados para treinar modelos linguísticos, a afinação supervisionada (SFT) é uma opção eficaz.

O DeepSeek demonstrou que é possível obter bons resultados com "milhares" de conjuntos de dados de perguntas e respostas. Por exemplo, o engenheiro da IBM Chris Hay mostrou como criou um pequeno modelo utilizando os seus próprios conjuntos de dados específicos de matemática e obteve respostas extremamente rápidas que excederam o desempenho do modelo o1 da OpenAI nas mesmas tarefas.

Aprendizagem por reforço (RL)

As empresas que pretendam treinar um modelo com um maior alinhamento com preferências específicas - por exemplo, tornar um chatbot de apoio ao cliente empático mas conciso - vão querer implementar técnicas de aprendizagem por reforço (RL). Esta abordagem é particularmente útil se uma empresa quiser que o seu chatbot adapte o seu tom e as suas recomendações com base no feedback do utilizador.

Geração Aumentada por Recuperação (RAG)

Para a maioria das empresas, a Geração Aumentada por Recuperação (RAG) é a via mais simples e mais segura. Trata-se de um processo relativamente simples que permite às organizações ancorar os seus modelos com dados proprietários contidos nas suas bases de dados, garantindo que os resultados são exactos e específicos do domínio.

Essa abordagem também ajuda a combater alguns dos problemas de alucinação associados a modelos como o DeepSeek, que atualmente alucinam em 14% dos casos em comparação com 8% do modelo o3 da OpenAI, segundo um estudo conduzido pela Vectara.

A combinação de destilação de modelos e RAG é onde reside a magia para a maioria das empresas, tendo-se tornado incrivelmente fácil de implementar, mesmo para aqueles com competências limitadas em ciência de dados ou programação.

Avaliação e aperfeiçoamento: para além dos indicadores de exatidão

Uma IA eficaz não se mede apenas em termos de precisão bruta, mas requer um quadro de avaliação abrangente que tenha em conta:

• Precisão funcional: Frequência com que o modelo produz resultados corretos
• Robustez: Consistência do desempenho com entradas e condições variáveis
• Equidade: Desempenho consistente entre diferentes grupos de usuários e cenários
• Calibração: Alinhamento entre pontuações de confiança e precisão real
• Eficiência: Requisitos computacionais e de memória
• Explicabilidade: Transparência dos processos decisórios, um aspecto em que os modelos destilados da DeepSeek se destacam, mostrando seu processo de raciocínio

O impacto da curva de custos

O impacto mais imediato do lançamento do DeepSeek é a sua agressiva redução de preços. O setor de tecnologia esperava que os custos caíssem com o tempo, mas poucos previram a rapidez com que isso aconteceria. O DeepSeek demonstrou que modelos poderosos e abertos podem ser baratos e eficientes, criando oportunidades para uma experimentação generalizada e uma implementação económica.

Amr Awadallah, CEO da Vectara, sublinhou este ponto, observando que o verdadeiro ponto de viragem não é apenas o custo da formação, mas o custo da inferência, que para o DeepSeek é cerca de 1/30 do custo dos modelos o1 ou o3 da OpenAI por inferência e por token. "As margens que a OpenAI, a Anthropic e a Google Gemini conseguiram captar terão agora de ser reduzidas em pelo menos 90%, porque não podem manter-se competitivas com preços tão elevados", afirmou Awadallah.

Para além disso, estes custos continuarão a diminuir. O Diretor Executivo da Anthropic, Dario Amodei, declarou recentemente que o custo de desenvolvimento de modelos continua a diminuir a um ritmo de cerca de quatro vezes por ano. Consequentemente, a taxa que os fornecedores de LLM cobram pela sua utilização também continuará a diminuir.

"Espero plenamente que o custo chegue a zero," disse Ashok Srivastava, CDO da Intuit, uma empresa que apostou fortemente na IA em suas ofertas de software fiscal e contábil como TurboTax e Quickbooks. "...e a latência chegue a zero. Elas simplesmente se tornarão capacidades básicas que poderemos utilizar."

Conclusão: O Futuro da IA empresarial é aberto, econômico e guiado por dados

O DeepSeek e o Deep Research da OpenAI são mais do que apenas novas ferramentas no arsenal da IA - são sinais de uma mudança profunda em que as empresas irão implementar massas de modelos criados especificamente para o efeito, que são extremamente rentáveis, competentes e enraizados nos dados e na abordagem da própria empresa.

Para as empresas, a mensagem é clara: as ferramentas para construir poderosas aplicações de IA específicas para um domínio estão ao alcance. Corre-se o risco de ficar para trás se não se aproveitarem essas ferramentas. Mas o verdadeiro sucesso virá de como se tratam os dados, se aproveitam técnicas como RAG e destilação e se inova além da fase de pré-treinamento.

Como Packer, da AmEx, afirmou: as empresas que gerem corretamente os seus dados serão as que liderarão a próxima vaga de inovação em IA.