Kutatás
Helix, 1. rész: európai nyelvi modellt tanítunk
Saját nyelvi modellt tanítunk. Kicsi – 320 millió paraméter –, de az Európai Unió mind a 24 hivatalos nyelvén olvas, és játékokra készült videokártyákon tanul. Ez az első rész arról szól, hogyan jutottunk idáig; a második a tanítás végén következik.
Miért tanít egy játékstúdió nyelvi modellt
A NETBYTE játékokat, alkalmazásokat és weboldalakat készít. Az ilyen termékekben egyre gyakrabban ott vannak a nyelvi modellek: válaszoló szereplőként, a kérdést értő súgóként, valamit elvégző eszközként. A legtöbb nyílt modell elsősorban angolul gondolkodik; az észt, az ír vagy a máltai csak a peremen jelenik meg. Az egész láncot magunk akartuk megérteni – adatok, tokenizáló, architektúra, tanítás –, és kideríteni, valójában hová megy a pénz.
- paraméter
- 320 millió
- hivatalos uniós nyelv
- 24
- tanítótoken
- 6,5 milliárd
- a bérelt GPU-kért
- ≈ 12 $
A Helix kutatási prototípusként indult. Minden, ami következik, egy-egy döntés, amely formálta, mindegyik méréssel alátámasztva – és a hibák, amelyek a legtöbb időnkbe kerültek.
Négy ötlet, egy maradt
A prototípus a mai szöveggenerátorok négy ismert gyengeségét vette célba. Egyetlen token helyett 16 tokenes blokkokban ír, egy közös rétegmagot többször is be tud járni, minden blokkhoz tömör „tervet” jósol, és az olcsó helyi figyelmet lineáris figyelemmel ötvözi a nagy távolságokhoz.
A blokkos írás azonnal működött: egy kis tesztmodell 64 tokent 13 hálózati futással írt meg, ahol egy hagyományos modellnek tokenenként egy futás kell – nagyjából az ötödannyi munka. A másik három ötlet elbukott egy keményebb teszten. Olyan feladatokat építettünk, amelyekben a válasz messze a helyi ablakon kívül van, így a modellnek az egész szövegen végig kell visszanéznie.
Adatok megjelenítése
| Változat | Helyes |
|---|---|
| Csak helyi ablak | 23,1% |
| + lineáris figyelem, terv és ciklusok | 23,1% |
| + 2 pontos globális fej | 49,4% |
| Teljes figyelem (kontroll) | 49,0% |
| Véletlen (25%) | 25,0% |
Ezeket csak a teljes távolságon át pontos figyelem oldotta meg. A lineáris figyelem, a terv és a ciklusok a véletlen szintjén maradtak; az optimalizáló a lineáris memóriát egy tokennél rövidebb felezési időre szabályozta le. Két pontos globális fej elég volt ahhoz, hogy utolérje a teljes figyelmet.
A végleges modell ezért minden rétegben nyolc helyi fejet tart meg 256 tokenes ablakkal, és minden második rétegben két pontos globális fejet ad hozzá; a köztes rétegek két kapuzott lineáris figyelemfejet tartanak meg. A terv és a ciklusok ki vannak kapcsolva. Továbbra is benne vannak a kódban, és tesztelve vannak, de valódi szövegen nem hozták vissza a költségüket.
- Helyi, 256 tokenes ablak
- Pontos globális figyelem
- Kapuzott lineáris figyelem
Adatok megjelenítése
| Fejtípus | Rétegek | Fej rétegenként |
|---|---|---|
| Helyi, 256 tokenes ablak | 1–12 | 8 |
| Pontos globális figyelem | 1, 3, 5, 7, 9, 11 | 2 |
| Kapuzott lineáris figyelem | 2, 4, 6, 8, 10, 12 | 2 |
Mérni, nem feltételezni
Minden tanítási trükköt egy 94 millió paraméteres modellen próbáltunk ki, futásonként azonos kerettel: 29,5 millió token, ugyanaz a seed, ugyanaz az adatsorrend. Ugyanannak a konfigurációnak két futása ±0,03-mal tér el, így minden ennél kisebb különbség zaj.
Adatok megjelenítése
| Változtatás | Δ veszteség (nat) |
|---|---|
| Muon + WSD-ütemezés | -0,587 |
| Muon optimalizáló | -0,347 |
| Mélyebb, keskenyebb háló | -0,099 |
| WSD-ütemezés | -0,080 |
| Értékreziduum | -0,007 |
| z-loss | +0,029 |
| Csoportosított lekérdezéses figyelem | +0,088 |
A Muon optimalizáló volt az egyetlen nagy emelő, és jól kombinálható egy warmup-stable-decay tanulásiráta-ütemezéssel. Az embedding és a kimeneti réteg visszaadása az AdamW-nek, ahogy a Muon szerzői javasolják, további 0,12-t hozott, és 5%-kal gyorsította a tanítást. A kombinációk nem egyszerűen összeadódnak: a mélyebb, keskenyebb háló AdamW mellett segített, Muon mellett ártott. Ezért minden ígéretes kombináció saját futást kapott.
24 nyelv, 6,5 milliárd token
A Helix webes szöveget olvas: angolul a FineWeb-Edu, a többi 23 nyelven a FineWeb-2 adatkészletből – a nagyobb nyelveknél annak minőség szerint szűrt felső tizedéből. Kód, matematika és egy kis szintetikus csevegőfolyam egészíti ki a keveréket. Az angol egyharmadot kap. A többi nyelv súlya a rendelkezésre álló szöveg mennyiségét követi, úgy simítva, hogy az ír és a máltai ne vesszen el, és egyetlen forrás sem ismétlődik négynél többször – addig az ismétlés majdnem olyan jó, mint a friss adat.
Adatok megjelenítése
| Forrás | Arány |
|---|---|
| A többi 23 uniós nyelv | 51,6% |
| Angol | 33,0% |
| Kód és jelölőnyelvek | 10,0% |
| Matematika | 3,0% |
| Szintetikus csevegés és eszközök | 2,4% |
A csevegőfolyam kivonatoló: a válaszok valódi bekezdésekből származnak, az eszközök eredményeit pedig kiszámítjuk, nem kitaláljuk. Formát tanít, nem tudást. A tokenizáló bájtszintű BPE 64 000 bejegyzéssel; minden latin betűs nyelvnél 3,3–4 bájt szöveget tesz egy tokenbe.
Három hiba, amelyet érdemes elmesélni
- A modell, amely elolvasta a választ. Az egyik kódágban a globális fejek figyelmen kívül hagyták az oksági maszkot, és látták a jövőbeli tokeneket. A veszteség 75 lépés alatt 6,85-ről 1,71-re esett, egy 16 órás futás pedig értéktelen lett. A gyanúsan jó veszteség hibajelentés; most egy regressziós teszt őrzi pontosan ezt az esetet.
- A karakter nem bájt. A tömörítést karakterekben számoltuk UTF-8 bájtok helyett. Ez kitalált egy „gyengeséget” a kínaiban, a görögöt és a bolgárt pedig majdnem kétszer olyan rossznak mutatta, mint amilyenek.
- Minden üres sornál széttört dokumentumok. A kódoló minden üres sornál kettévágta a dokumentumokat – üres sor pedig szinte minden forrásfájl közepén akad. A kód- és matematikaszöveg akár 35%-a elveszett. Kijavítottuk az elválasztót, és október 31-én újraépítettük a teljes korpuszt; ez 2 óra 12 percig tartott.
Az asztaltól a bérelt gépig
Az első 1,66 milliárd token egyetlen AMD Radeon RX 7800 XT-n futott. Két dolog tette használhatóvá: egy alapból kikapcsolt figyelemkernel-kapcsoló – nélküle a figyelem 12-szer lassabb volt – és minden réteg lefordítása a torch.compile segítségével. Másodpercenként 11 800 tokenes mediánnal a maradék még majdnem öt napig tartott volna.
Ezért írtunk egy robotpilótát. GPU-kat bérel a Vast.ai oldalon, feltölti a kódot, a korpuszt és az ellenőrzőpontot, tanít, háromóránként hazahoz egy ellenőrzőpontot, és leáll, mielőtt elfogyna a kredit. November 2-án három gépen ment végig, amelyeket a szolgáltatók sosem indítottak el, aztán két németországi RTX 4070 Ti Super mellett maradt óránként 0,363 dollárért. A 15,4 GiB feltöltése 40 percig tartott.
Adatok megjelenítése
| Felállás | Token/s |
|---|---|
| Helyben, optimalizálás előtt | 8319 |
| Helyben, fordítva | 11 830 |
| Bérelt, 2 GPU | 41 367 |
Másodpercenként 41 400 token az asztali gép 3,5-szerese. A bérelt rész – 4,8 milliárd token nagyjából 33 óra alatt – körülbelül 12 dollárba kerül.
Hol tart ma a Helix
- Félretett
- Tanítás
Veszteség (nat tokenenként)
Elolvasott tokenek milliárdban
Adatok megjelenítése
| Elolvasott tokenek milliárdban | Félretett | Tanítás |
|---|---|---|
| 0,06 | 4,571 | 4,261 |
| 0,55 | 3,776 | 3,574 |
| 1,04 | 3,694 | 3,469 |
| 1,54 | 3,596 | 3,421 |
| 2,03 | 3,426 | 3,238 |
| 2,52 | 3,329 | 3,143 |
| 3,01 | 3,291 | 3,113 |
| 3,50 | 3,263 | 3,076 |
| 3,99 | 3,225 | 3,079 |
| 4,49 | 3,244 | 3,076 |
| 4,98 | 3,218 | 3,036 |
| 5,35 | 3,123 | 2,884 |
2026. november 3-án a Helix 6,5 milliárd tokenjéből 5,35-öt olvasott el. 5,2 milliárd óta a lehűtési szakaszban van: a tanulási ráta csökken, a keverék pedig a matematika, a kód és a csevegés felé tolódik. Az összes folyam félretett szövegén a veszteség tokenenként 3,12 nat.
Adatok megjelenítése
| Nyelv | Bit bájtonként |
|---|---|
| görög | 0,721 |
| bolgár | 0,844 |
| francia | 1,065 |
| angol | 1,086 |
| spanyol | 1,135 |
| portugál | 1,219 |
| német | 1,257 |
| holland | 1,268 |
| olasz | 1,277 |
| lengyel | 1,355 |
| dán | 1,364 |
| magyar | 1,407 |
| szlovák | 1,412 |
| máltai | 1,415 |
| román | 1,416 |
| svéd | 1,418 |
| ír | 1,422 |
| szlovén | 1,431 |
| cseh | 1,444 |
| litván | 1,450 |
| lett | 1,451 |
| horvát | 1,507 |
| finn | 1,508 |
| észt | 1,727 |
Hogy ez mit jelent a gyakorlatban, azt egy szerkesztetlen minta mutatja meg legjobban, egy nagyjából 4,9 milliárd tokennél mentett ellenőrzőpontból. Az eleje tőlünk van, a többi a Helixtől:
Kezdőszöveg: The history of the printing press begins in the fifteenth century, when Johannes Gutenberg introduced movable type to Europe. Before that, books
A modell kimenete: for printing were usually in the form of texts, usually in the format of illustrations. In its introduction to the printing press, Gutenberg uses one line-of-action model to illustrate a series of printed pieces of a book.
A nyelvtan, a szóválasztás és a téma tart; a tények nem. Nagyjából ezt lehet várni 320 millió paramétertől és 6,5 milliárd tokentől: folyékonyan beszélő modellt, amely kitalál dolgokat.
Mi következik
Az előtanítás néhány órán belül véget ér. Utána jön egy hosszú kontextusú szakasz a Project Gutenberg könyveivel és az EUR-Lex uniós jogi szövegeivel, egy finomhangolás beszélgetésre és eszközhasználatra, valamint egy kis vázlatmodell, amely felgyorsítja a generálást.