Wie trainiert man ein Modell der künstlichen Intelligenz

Das Training von Modellen der künstlichen Intelligenz stellt eine der komplexesten Herausforderungen im Bereich der zeitgenössischen technologischen Entwicklung dar. Weit mehr als eine reine Frage der Algorithmen, erfordert das effektive Training eines Modells einen methodischen und multidisziplinären Ansatz, der Daten, Datenwissenschaft, Fachwissen und Softwareentwicklung integriert. Wie James Luke in seinem grundlegenden Werk „Beyond Algorithms: Delivering AI for Business“ hervorhebt, hängt der Erfolg einer KI-Implementierung viel stärker vom Datenmanagement und dem Systemdesign ab als von den Algorithmen selbst. Die Landschaft entwickelt sich rasant weiter, wobei Innovationen wie das Modell DeepSeek-R1 Kosten und Zugänglichkeit neu definieren.

Die Grundlage: Datenerhebung und -verwaltung

Qualität statt Quantität

Anders als oft angenommen, ist die Menge der Daten nicht immer der entscheidende Faktor für den Erfolg. Die Qualität und Repräsentativität der Daten sind wesentlich wichtiger. In diesem Zusammenhang ist es entscheidend, verschiedene Quellen zu integrieren:

• Proprietäre Daten: Ethisch gesammelt und anonymisiert aus bestehenden Implementierungen
• Lizenzierte Daten: Von zuverlässigen Anbietern, die strenge Qualitätsstandards erfüllen
• Open-Source-Datensätze: Sorgfältig geprüft, um Vielfalt und Genauigkeit zu gewährleisten
• Synthetische Daten: Künstlich generiert, um Lücken zu schließen und Datenschutzprobleme zu lösen

Diese Integration schafft eine umfassende Schulungsgrundlage, die reale Szenarien abbildet und gleichzeitig ethische und datenschutzrechtliche Standards einhält.

Die Herausforderung der Datenaufbereitung

Bis zu 80 Prozent des Aufwands bei Projekten der künstlichen Intelligenz entfallen auf den Prozess der "Datenverarbeitung". Diese Phase umfasst:

• Datenbereinigung: Beseitigung von Inkonsistenzen, Duplikaten und Ausreißern
• Datentransformation: Umwandlung in für die Verarbeitung geeignete Formate
• Datenintegration: Zusammenführung unterschiedlicher Quellen, die oft inkompatible Schemata und Formate verwenden
• Umgang mit fehlenden Daten: Strategien wie statistische Imputation oder die Verwendung von Proxy-Daten

Wie Hilary Packer, CTO von American Express, betont: „Der Aha-Moment für uns war ehrlich gesagt die Daten. Man kann die beste Modellauswahl der Welt treffen ... aber die Daten sind der Schlüssel. Validierung und Genauigkeit sind derzeit der heilige Gral der generativen KI.“

Modellarchitektur: richtige Dimensionierung

Die Wahl der Modellarchitektur muss sich an der spezifischen Natur des zu lösenden Problems orientieren und nicht an persönlichen Neigungen oder Vorlieben. Unterschiedliche Arten von Problemen erfordern unterschiedliche Ansätze:

• Transformer-basierte Sprachmodelle für Aufgaben, die ein tiefes Sprachverständnis erfordern
• Convolutional Neural Networks für die Bild- und Mustererkennung
• Graph Neural Networks für die Analyse komplexer Beziehungen zwischen Entitäten
• Reinforcement Learning für Optimierungs- und Entscheidungsprobleme
• Hybride Architekturen, die mehrere Ansätze für komplexe Anwendungsfälle kombinieren

Die architektonische Optimierung erfordert eine systematische Bewertung verschiedener Konfigurationen, wobei der Schwerpunkt auf einem ausgewogenen Verhältnis zwischen Leistung und Rechenanforderungen liegt. Dieser Aspekt hat mit dem Aufkommen von Modellen wie DeepSeek-R1, die fortschrittliche Argumentationsfähigkeiten zu deutlich geringeren Kosten bieten, noch an Bedeutung gewonnen.

Fortgeschrittene Schulungsmethoden

Modell Destillation

Die Destillation hat sich im derzeitigen KI-Ökosystem als besonders leistungsfähiges Werkzeug erwiesen. Dieses Verfahren ermöglicht die Erstellung kleinerer, spezifischerer Modelle, die die Schlussfolgerungsfähigkeiten größerer, komplexerer Modelle wie DeepSeek-R1 übernehmen.

Wie im Fall von DeepSeek deutlich wird, hat die Firma ihre Fähigkeiten im logischen Denken auf mehrere kleinere Modelle destilliert, darunter Open-Source-Modelle der Llama-Familie von Meta und der Qwen-Familie von Alibaba. Diese kleineren Modelle können anschließend für spezifische Aufgaben optimiert werden, was den Trend zu schnellen und spezialisierten Modellen beschleunigt.

Sam Witteveen, Entwickler für maschinelles Lernen, bemerkt: "Wir beginnen, eine Welt zu betreten, in der die Menschen mehrere Modelle verwenden. Sie verwenden nicht immer nur ein Modell." Dazu gehören kostengünstige geschlossene Modelle wie Gemini Flash und GPT-4o Mini, die "für 80 Prozent der Anwendungsfälle sehr gut funktionieren".

Multi-Task-Lernen

Anstatt separate Modelle für verwandte Fähigkeiten zu trainieren, ermöglicht das Multi-Task-Lernen den Modellen, Wissen zwischen verschiedenen Funktionen auszutauschen:

• Die Modelle optimieren gleichzeitig für mehrere zusammenhängende Ziele
• Die Kernfunktionen profitieren von einer breiteren Exposition gegenüber verschiedenen Aufgaben
• Die Leistung verbessert sich bei allen Aufgaben, insbesondere bei solchen mit begrenzten Daten
• Die Rechen­effizienz steigt durch die gemeinsame Nutzung von Komponenten

Überwachte Feinabstimmung (SFT)

Für Unternehmen, die in sehr spezifischen Bereichen tätig sind, in denen Informationen im Internet oder in den Büchern, die üblicherweise für das Training von Sprachmodellen verwendet werden, nicht in großem Umfang verfügbar sind, ist die überwachte Feinabstimmung (SFT) eine effektive Option.

DeepSeek zeigte, dass es möglich ist, mit "Tausenden" von Frage- und Antwortdatensätzen gute Ergebnisse zu erzielen. So zeigte beispielsweise der IBM-Ingenieur Chris Hay, wie er ein kleines Modell mit seinen eigenen mathematikspezifischen Datensätzen einrichtete und extrem schnelle Antworten erhielt, die die Leistung des o1-Modells von OpenAI bei denselben Aufgaben übertrafen.

Verstärkungslernen (RL)

Unternehmen, die ein Modell trainieren möchten, das noch stärker auf spezifische Präferenzen ausgerichtet ist - zum Beispiel, um einen Chatbot für den Kundensupport einfühlsam, aber prägnant zu machen -, werden Techniken des verstärkenden Lernens (Reinforcement Learning, RL) einsetzen wollen. Dieser Ansatz ist besonders nützlich, wenn ein Unternehmen möchte, dass sein Chatbot seinen Tonfall und seine Empfehlungen auf der Grundlage des Nutzerfeedbacks anpasst.

Retrieval-Augmented Generation (RAG)

Für die meisten Unternehmen ist die Retrieval-Augmented Generation (RAG) der einfachste und sicherste Weg. Es ist ein relativ unkomplizierter Prozess, der es Unternehmen ermöglicht, ihre Modelle mit proprietären Daten aus ihren Datenbanken zu verankern und so sicherzustellen, dass die Ergebnisse genau und bereichsspezifisch sind.

Dieser Ansatz hilft auch, einige der mit Modellen wie DeepSeek verbundenen Halluzinationsprobleme zu bekämpfen, die derzeit in 14% der Fälle halluzinieren, verglichen mit 8% beim o3-Modell von OpenAI, laut einer von Vectara durchgeführten Studie.

Die Kombination von Modell-Destillation und RAG ist für die meisten Unternehmen der Schlüssel zum Erfolg, denn sie ist unglaublich einfach zu implementieren, selbst für Personen mit begrenzten Kenntnissen in Data Science oder Programmierung.

Bewertung und Verfeinerung: Jenseits von Genauigkeitsmetriken

Wirksame KI lässt sich nicht nur an der reinen Genauigkeit messen, sondern erfordert einen umfassenden Bewertungsrahmen, der alle Aspekte berücksichtigt:

• Funktionale Genauigkeit: Häufigkeit, mit der das Modell korrekte Ergebnisse liefert
• Robustheit: Konsistenz der Leistung bei unterschiedlichen Eingaben und Bedingungen
• Fairness: Konsistente Leistung über verschiedene Nutzergruppen und Szenarien hinweg
• Kalibrierung: Übereinstimmung zwischen Konfidenzwerten und tatsächlicher Genauigkeit
• Effizienz: Rechen- und Speicheranforderungen
• Erklärbarkeit: Transparenz der Entscheidungsprozesse, ein Bereich, in dem die destillierten Modelle von DeepSeek glänzen, indem sie ihren Denkprozess offenlegen

Die Auswirkungen der Kostenkurve

Die unmittelbarste Auswirkung der Veröffentlichung von DeepSeek ist die aggressive Preissenkung. Die Technologiebranche hatte erwartet, dass die Kosten im Laufe der Zeit sinken würden, aber nur wenige hatten vorausgesehen, wie schnell dies geschehen würde. DeepSeek hat gezeigt, dass leistungsstarke, offene Modelle sowohl kostengünstig als auch effizient sein können, wodurch sich Möglichkeiten für weitreichende Experimente und eine kostengünstige Implementierung ergeben.

Amr Awadallah, CEO von Vectara, betonte diesen Punkt und merkte an, dass der wirkliche Wendepunkt nicht nur die Kosten für das Training sind, sondern auch die Kosten für die Inferenz, die bei DeepSeek etwa 1/30 der Kosten von OpenAIs o1 oder o3 Modellen pro Inferenz pro Token betragen. "Die Margen, die OpenAI, Anthropic und Google Gemini erzielen konnten, müssen nun um mindestens 90 Prozent reduziert werden, da sie mit solch hohen Preisen nicht wettbewerbsfähig bleiben können", so Awadallah.

Und nicht nur das, diese Kosten werden weiter sinken. Der Geschäftsführer von Anthropic, Dario Amodei, erklärte kürzlich, dass die Kosten für die Entwicklung von Modellen weiterhin jedes Jahr um das Vierfache sinken. Infolgedessen werden auch die Preise, die LLM-Anbieter für ihre Nutzung verlangen, weiter sinken.

"Ich erwarte fest, dass die Kosten auf null sinken", sagte Ashok Srivastava, CDO von Intuit, einem Unternehmen, das KI stark in seine Steuer- und Buchhaltungssoftware wie TurboTax und Quickbooks integriert hat. "...und die Latenz auf null sinkt. Sie werden einfach zu Grundfähigkeiten, die wir nutzen können."

Fazit: Die Zukunft der Unternehmens-KI ist offen, kostengünstig und datengetrieben

DeepSeek und Deep Research von OpenAI sind mehr als nur neue Werkzeuge im KI-Arsenal - sie sind Anzeichen für einen tiefgreifenden Wandel, bei dem Unternehmen massenhaft eigens entwickelte Modelle einsetzen werden, die extrem kosteneffizient, kompetent und in den eigenen Daten und Ansätzen des Unternehmens verwurzelt sind.

Für Unternehmen ist die Botschaft klar: Die Werkzeuge zum Aufbau leistungsstarker, domänenspezifischer KI-Anwendungen liegen griffbereit. Wer diese Werkzeuge nicht nutzt, riskiert, ins Hintertreffen zu geraten. Doch der wahre Erfolg wird davon abhängen, wie man Daten pflegt, Techniken wie RAG und Distillation nutzt und über die Vortrainingsphase hinaus innoviert.

Wie Packer von AmEx es ausdrückte: Unternehmen, die ihre Daten richtig verwalten, werden die nächste Innovationswelle im Bereich KI anführen.