Siirry sisältöön
Tekoälli

Kokeile

Katso miten kielimalli oikeasti valitsee sanansa

Alla on toimiva kielimalli, tarkemmin sanottuna pieni n-grammimalli. Se ratkaisee saman perustehtävän kuin suuret mallit, eli ennustaa todennäköistä jatkoa, mutta tekee sen eri tekniikalla: laskemalla mitkä sanat ovat aiemmin seuranneet toisiaan. Voit vaihtaa opetusaineiston ja nähdä omin silmin, miten paljon datan määrä ratkaisee.

Opetusaineisto

Aleksis Kiven romaani vuodelta 1870, noin 81 000 sanaa. Malli tuntee 21 759 sanaa ja 52 640 sanaparia.

Valitse sana, niin kone kertoo mitkä sanat sitä todennäköisimmin seuraavat.

Tämä on n-grammimalli: se muistaa kaksi edellistä sanaa, ja jos juuri sitä sanaparia ei ole nähty, se putoaa yhden sanan muistiin. Suuri kielimalli ratkaisee saman tehtävän mutta eri tekniikalla, neuroverkolla, ja ottaa huomioon tuhansia sanoja kerralla.

Mitä tässä oikeasti tapahtuu

  1. 01

    Kone laski sanaparit

    Se kävi tekstin läpi ja merkitsi muistiin, mikä sana seurasi mitäkin ja kuinka monta kertaa. Muuta se ei tiedä. Se ei tiedä, mitä sanat tarkoittavat.

  2. 02

    Sinä valitset, kone laskee

    Kone katsoo kahta viimeisintä sanaa ja etsii taulukostaan niiden jatkot. Jos juuri sitä sanaparia ei ole nähty, se tyytyy yhteen sanaan. Prosentti kertoo, kuinka usein jatko esiintyi aineistossa.

  3. 03

    Vaihda aineistoa ja katso ero

    Sama algoritmi, kaksi eri opetusaineistoa. Isolla aineistolla lause kuulostaa suomelta. Pienellä se hajoaa käsiin ja alkaa toistaa lähdetekstiä ulkoa. Algoritmi ei muuttunut, vain datan määrä.

Lue seuraavaksi