Helix, Teil 1: Wir trainieren ein europäisches Sprachmodell

Warum ein Spielestudio ein Sprachmodell trainiert

NETBYTE baut Spiele, Apps und Websites. In solchen Produkten stecken immer öfter Sprachmodelle: als Figuren, die antworten, als Hilfe, die eine Frage versteht, als Werkzeuge, die etwas erledigen. Die meisten offenen Modelle denken zuerst Englisch; Estnisch, Irisch oder Maltesisch kommen am Rand vor. Wir wollten die ganze Kette selbst verstehen – Daten, Tokenizer, Architektur, Training – und herausfinden, wohin das Geld tatsächlich fließt.

Parameter

320 Mio.

Amtssprachen der EU

24

Trainings-Tokens

6,5 Mrd.

für die gemieteten GPUs

≈ 12 $

Helix begann als Forschungsprototyp. Alles Folgende ist eine Entscheidung, die das Modell geprägt hat, jede mit einer Messung belegt – dazu die Fehler, die uns am meisten Zeit gekostet haben.

Vier Ideen, eine bleibt

Der Prototyp ging vier bekannte Schwächen heutiger Textgeneratoren an. Er schreibt in Blöcken von 16 Tokens statt Token für Token, er kann einen gemeinsamen Kern von Schichten mehrfach durchlaufen, er sagt für jeden Block einen kompakten „Plan“ voraus, und er mischt günstige lokale Attention mit linearer Attention für weite Strecken.

Das Blockschreiben funktionierte sofort: Ein kleines Testmodell schrieb 64 Tokens in 13 Durchläufen durch das Netz, wo ein herkömmliches Modell einen Durchlauf pro Token braucht – etwa ein Fünftel der Arbeit. Die anderen drei Ideen scheiterten an einem härteren Test. Wir bauten Aufgaben, bei denen die Antwort weit außerhalb des lokalen Fensters steht, sodass das Modell über den ganzen Text zurückblicken muss.

Gelöst hat sie nur exakte Attention über die ganze Distanz. Lineare Attention, Plan und Schleifen blieben auf Zufallsniveau; der Optimierer hatte das lineare Gedächtnis sogar auf eine Halbwertszeit von weniger als einem Token heruntergeregelt. Zwei exakte globale Heads reichten, um volle Attention einzuholen.

Das finale Modell behält deshalb in jeder Schicht acht lokale Heads mit einem Fenster von 256 Tokens und ergänzt in jeder zweiten Schicht zwei exakte globale Heads; die Schichten dazwischen behalten zwei gated lineare Attention-Heads. Plan und Schleifen sind abgeschaltet. Sie stecken weiterhin im Code und sind getestet, haben auf echtem Text aber ihre Kosten nicht eingespielt.

Messen statt vermuten

Jeden Trainingskniff haben wir an einem Modell mit 94 Millionen Parametern getestet, mit demselben Budget pro Lauf: 29,5 Millionen Tokens, derselbe Seed, dieselbe Datenreihenfolge. Zwei Läufe derselben Konfiguration unterscheiden sich um ±0,03; alles darunter ist Rauschen.

Der Muon-Optimierer war der einzige große Hebel, und er lässt sich mit einem Warmup-Stable-Decay-Lernratenplan kombinieren. Embedding und Ausgabeschicht zurück auf AdamW zu legen, wie es die Muon-Autoren empfehlen, brachte weitere 0,12 und machte das Training 5 % schneller. Kombinationen addieren sich nicht einfach: Ein tieferes, schmaleres Netz half unter AdamW und schadete unter Muon. Deshalb bekam jede vielversprechende Kombination ihren eigenen Lauf.

24 Sprachen, 6,5 Milliarden Tokens

Helix liest Webtext aus FineWeb-Edu für Englisch und aus FineWeb-2 für die übrigen 23 Sprachen – bei den größeren aus dessen qualitätsgefiltertem oberstem Zehntel. Code, Mathematik und ein kleiner synthetischer Chat-Strom vervollständigen die Mischung. Englisch bekommt ein Drittel. Die anderen Sprachen sind danach gewichtet, wie viel Text es gibt, so geglättet, dass Irisch und Maltesisch nicht untergehen, und keine Quelle wird öfter als viermal wiederholt – bis dahin ist Wiederholung etwa so gut wie frische Daten.

Der Chat-Strom ist extraktiv: Antworten werden aus echten Absätzen übernommen, Werkzeugergebnisse werden berechnet statt erfunden. Er bringt Format bei, kein Wissen. Der Tokenizer ist ein Byte-Level-BPE mit 64.000 Einträgen; er packt für jede Sprache in lateinischer Schrift zwischen 3,3 und 4 Bytes Text in ein Token.

Drei Bugs, die man erzählen sollte

• Das Modell, das die Antwort las. In einem Codepfad ignorierten die globalen Heads die kausale Maske und konnten zukünftige Tokens sehen. Der Loss fiel in 75 Schritten von 6,85 auf 1,71, und ein 16-stündiger Lauf war wertlos. Ein verdächtig guter Loss ist ein Fehlerbericht; ein Regressionstest bewacht jetzt genau das.
• Zeichen sind keine Bytes. Die Kompression wurde in Zeichen statt in UTF-8-Bytes gezählt. Das erfand eine „Schwäche“ im Chinesischen und ließ Griechisch und Bulgarisch fast doppelt so schlecht aussehen, wie sie sind.
• Dokumente, an jeder Leerzeile zerbrochen. Der Encoder trennte Dokumente an jeder leeren Zeile – und leere Zeilen stehen mitten in fast jeder Quelldatei. Bis zu 35 % des Code- und Mathematiktexts gingen verloren. Wir haben das Trennzeichen repariert und am 31. Oktober den gesamten Korpus neu gebaut; das dauerte 2 Stunden und 12 Minuten.

Vom Schreibtisch auf eine gemietete Maschine

Die ersten 1,66 Milliarden Tokens liefen auf einer einzelnen AMD Radeon RX 7800 XT. Zwei Dinge machten das brauchbar: ein Kernel-Flag für Attention, das standardmäßig aus ist – ohne es war Attention 12-mal langsamer –, und das Kompilieren jeder Schicht mit torch.compile. Bei einem Median von 11.800 Tokens pro Sekunde hätte der Rest noch fast fünf Tage gedauert.

Also schrieben wir einen Autopiloten. Er mietet GPUs bei Vast.ai, lädt Code, Korpus und Checkpoint hoch, trainiert, holt alle drei Stunden einen Checkpoint nach Hause und hört auf, bevor das Guthaben aufgebraucht ist. Am 2. November ging er durch drei Maschinen, deren Anbieter sie nie starteten, und landete dann bei zwei RTX 4070 Ti Super in Deutschland für 0,363 $ pro Stunde. Der Upload von 15,4 GiB dauerte 40 Minuten.

41.400 Tokens pro Sekunde sind das 3,5-Fache des Schreibtischs. Der gemietete Teil – 4,8 Milliarden Tokens in rund 33 Stunden – kostet etwa 12 $.

Wo Helix heute steht

Stand 3. November 2026 hat Helix 5,35 seiner 6,5 Milliarden Tokens gelesen. Seit 5,2 Milliarden läuft der Cooldown: Die Lernrate sinkt, und die Mischung verschiebt sich zu Mathematik, Code und Chat. Auf zurückgehaltenem Text aus allen Strömen liegt der Loss bei 3,12 Nats pro Token.

Was das praktisch heißt, zeigt am besten eine unbearbeitete Probe aus einem Checkpoint bei etwa 4,9 Milliarden Tokens. Der Anfang stammt von uns, der Rest von Helix:

Grammatik, Wortwahl und Thema halten; die Fakten nicht. Das ist ungefähr, was man von 320 Millionen Parametern und 6,5 Milliarden Tokens erwarten kann: ein flüssiges Modell, das Dinge erfindet.

Wie es weitergeht

Das Vortraining endet in wenigen Stunden. Danach folgen eine Langkontext-Phase mit Büchern aus dem Project Gutenberg und EU-Rechtstexten aus EUR-Lex, ein Feintuning für Gespräche und Werkzeugnutzung sowie ein kleines Entwurfsmodell, das die Generierung beschleunigt.

Zurück zu allen Beiträgen