Pre-Training
Auch bekannt als: Vortraining
Pre-Training ist die erste und aufwändigste Trainingsphase eines Sprachmodells, bei der es auf Milliarden von Texten lernt, Sprache zu verstehen und zu generieren. Kostet Millionen und dauert Wochen bis Monate.
Beim Pre-Training liest das Modell das Internet. Nicht wirklich, aber ungefähr: Bücher, Websites, Code, Foren, Wikipedia, Nachrichtenartikel. Es lernt Sprachstrukturen, Faktenwissen, Argumentationsmuster und Schreibstile.
Was dabei passiert
Das Modell lernt, das nächste Wort vorherzusagen. Milliarden Mal. Durch diesen einfachen Mechanismus entsteht ein überraschend fähiges System, das übersetzen, zusammenfassen, programmieren und analysieren kann.
Was nach dem Pre-Training kommt
RLHF (Feedback von Menschen), Instruction Tuning (Anweisungen befolgen lernen) und Safety Training (schädliche Outputs reduzieren). Erst diese Schritte machen aus einem Textvorhersage-System einen brauchbaren Assistenten.