Mallit

Mitä tässä kerroksessa tapahtuu

1. 01

   Esikoulutus tuottaa perusmallin (foundation model)

   Malli oppii kieltä, asioiden välisiä yhteyksiä, maailmaa koskevia säännönmukaisuuksia ja jonkin verran ongelmanratkaisua.

2. 02

   Jälkikoulutus ohjaa käyttäytymistä

   Esimerkkejä hyvistä vastauksista, vastausten vertailua, turvallisuusopetusta ja työkalujen käytön opettelua. Esikoulutus antaa kyvyt, jälkikoulutus suunnan.

3. 03

   Vastaus rakentuu palasista

   Teksti pilkotaan tokeneiksi, malli laskee seuraavan palasen todennäköisyydet ja valitsee sen. Sama toistuu, kunnes vastaus on valmis. Valmista vastausta ei haeta mistään taulukosta.

4. 04

   Perusmalli ei ole tietokanta

   Opittu tieto on hajallaan mallin lukuarvoissa, joten se ei osaa luotettavasti kertoa, mistä yksittäinen tieto on peräisin.

Yleinen harhaluulo

Inferenssi (inference)

Valmiin mallin käyttäminen. Jokainen kysymys ja vastaus kuluttaa laskentaa, ja siis rahaa.

Transformer

Verkkorakenne, jossa jokainen tokeni saa painottaa sitä, mitkä muut tokenit ovat sille merkityksellisiä.

Vastavirta-algoritmi (backpropagation)

Tapa selvittää, kuinka paljon kukin mallin lukuarvo vaikutti virheeseen.

Oppimisnopeus (learning rate)

Kuinka suuria säätöjä painoihin tehdään yhden virheen perusteella.

Perusmalli (foundation model)

Esikoulutuksen tuloksena syntynyt yleiskäyttöinen malli, foundation model.

Kärkimalli (frontier model)

Uusin ja kyvykkäin mallisukupolvi kulloisellakin hetkellä.

Parametri eli paino

Koulutuksessa opittu lukuarvo mallin sisällä.

Token

Teksti pilkottuna pieniin palasiin. Malli lukee ja kirjoittaa niitä, ja niistä myös laskutetaan.

Konteksti-ikkuna (context window)

Tiedon määrä, jonka malli voi huomioida yhden suorituksen aikana.

Kvantisaatio

Mallin lukujen esittäminen pienemmällä tarkkuudella.

Tislaus (distillation)

Suuren mallin kykyjen siirtäminen pienempään malliin.

Avoimet painot (open weights)

Mallin painot ovat ladattavissa ja ajettavissa omalla raudalla.

Artikkelit tästä aiheesta