Tekoälyn ekosysteemi: sähköstä asiakkaan hyötyyn

Tekoäly ei ole yksi asia vaan pino kerroksia, joista jokaisessa tehdään eri työtä, kuluu eri raha ja syntyy eri arvo. Tämä teksti käy koko pinon läpi ilman markkinointipuhetta: sähköstä ja siruista malleihin, sovelluksiin ja siihen, kuka lopulta ansaitsee millä.

Tekoälyekosysteemiä kannattaa ajatella kerroksittain. Alimpana ovat sähkö, datakeskukset ja sirut. Keskellä ovat data, ohjelmistot ja tekoälymallit. Ylimpänä ovat sovellukset, yritysten prosessit ja asiakkaalle syntyvä hyöty.

1. Mitä tekoäly, koneoppiminen ja kielimallit ovat?

Näitä käsitteitä käytetään usein sekaisin, vaikka ne ovat eri tasoja.

• Tekoäly eli AI on kattotermi järjestelmille, jotka tekevät asioita, joiden on ajateltu vaativan ihmisälyä: tunnistamista, ennustamista, keskustelua, suunnittelua tai päätöksentekoa.
• Koneoppiminen on tapa rakentaa tekoälyä datan avulla. Ohjelmalle ei kirjoiteta kaikkia sääntöjä käsin, vaan se oppii esimerkeistä tilastollisia yhteyksiä.
• Syväoppiminen on koneoppimisen osa, jossa käytetään suuria monikerroksisia neuroverkkoja.
• Generatiivinen tekoäly tuottaa uutta sisältöä: tekstiä, kuvia, ääntä, videota tai ohjelmakoodia.
• Kielimalli käsittelee ja tuottaa kieltä.
• Suuri kielimalli eli LLM on erittäin suurella tekstimäärällä koulutettu neuroverkko.
• Monimodaalinen malli käsittelee useita sisältömuotoja, kuten tekstiä, kuvia ja ääntä.
• Agentti ei yleensä ole kokonaan uusi tekoälymalli. Se on järjestelmä, jossa malliin on liitetty työkalut, muisti, ohjeet ja toimintasilmukka.

Kaikki tekoäly ei siis ole kielimalleja. Esimerkiksi petosten tunnistus, kysynnän ennustaminen ja teollisuuden laadunvalvonta voivat käyttää paljon pienempiä koneoppimismalleja.

2. Fyysinen perusta: sähköstä laskentatehoon

Sähkö ja jäähdytys

Tekoälylaskenta kuluttaa sähköä ja tuottaa lämpöä. Suuri datakeskus tarvitsee siksi:

• luotettavan sähköliittymän
• varavoimaa
• jäähdytyksen
• fyysisen rakennuksen ja turvallisuuden
• nopeat tietoliikenneyhteydet.

Sähkö ei itsessään tee tekoälyä, mutta ilman sitä mitään ylempää kerrosta ei voida käyttää. Suurissa hankkeissa sähkön saatavuus voi olla yhtä tärkeä rajoite kuin sirujen saatavuus.

Sirut

Tärkeimpiä ovat:

• CPU: tavallinen yleiskäyttöinen suoritin
• GPU: alun perin grafiikkaan kehitetty, mutta sopii hyvin neuroverkkojen rinnakkaislaskentaan
• AI-kiihdytin: erityisesti tekoälylaskentaa varten suunniteltu siru
• muistisirut: säilyttävät laskennan aikana tarvittavia mallin painoja ja välituloksia
• verkkosirut: siirtävät tietoa tuhansien laskentapiirien välillä.

Pelkkä tehokas GPU ei riitä. Jos muisti tai verkkoyhteys on liian hidas, kallis laskentapiiri joutuu odottamaan.

Mitä laskentateho tarkoittaa?

Laskentateho tarkoittaa sitä, kuinka paljon matemaattisia operaatioita järjestelmä pystyy tekemään tietyssä ajassa.

Tekoälyssä olennaista ei ole vain yksittäisen sirun nopeus, vaan kokonaisuus:

• kuinka monta sirua on käytössä
• kuinka nopeasti ne keskustelevat keskenään
• kuinka paljon nopeaa muistia niillä on
• kuinka tehokkaasti ohjelmisto käyttää niitä
• kuinka suuren osan ajasta laitteet tekevät hyödyllistä työtä.

Mikä supertietokone on?

Tekoälyn supertietokone ei yleensä ole yksi valtava tietokone. Se on suuri joukko palvelimia, joissa voi olla tuhansia tai kymmeniätuhansia laskentapiirejä.

Ne on yhdistetty erittäin nopealla verkolla toimimaan yhtenä laskentaklusterina. Vertauskuvallisesti kyse on tuhansista työntekijöistä, joiden täytyy ratkaista sama tehtävä koordinoidusti. Jos tiedonkulku työntekijöiden välillä takkuaa, kokonaisuus hidastuu.

3. Pilvipalvelu

Pilvipalveluyhtiö rakentaa datakeskukset ja vuokraa niiden kapasiteettia muille.

Asiakas voi ostaa esimerkiksi:

• GPU-kapasiteettia tunneittain
• tallennustilaa
• tietokantoja
• valmiita tekoälymalleja rajapinnan kautta
• työkaluja mallien koulutukseen ja valvontaan.

Pilven liiketoiminnallinen tarkoitus on muuttaa valtava alkuinvestointi vuokrattavaksi palveluksi. Sovellusyrityksen ei tarvitse rakentaa omaa datakeskusta voidakseen käyttää tekoälyä.

Suuret toimijat voivat toimia monessa kerroksessa yhtä aikaa: ne voivat omistaa datakeskuksen, suunnitella omia siruja, tarjota pilvipalvelua, kouluttaa malleja ja myydä loppukäyttäjäsovelluksia.

4. Data: mistä malli oppii?

Koneoppimismalli oppii esimerkeistä. Data voi olla:

• tekstiä
• kuvia ja videoita
• ääntä
• ohjelmakoodia
• mittausdataa
• yrityksen tapahtuma- ja asiakastietoja
• ihmisten tuottamia kysymys–vastaus-esimerkkejä
• simuloitua tai tekoälyn tuottamaa synteettistä dataa.

Datan määrä ei yksin ratkaise. Tärkeitä ovat myös laatu, kattavuus, oikeellisuus, käyttöoikeudet ja se, edustaako data todellista käyttötilannetta.

Yrityksissä vaikein työ on usein oman datan järjestäminen:

• tiedot ovat eri järjestelmissä
• käsitteet eivät tarkoita kaikkialla samaa
• käyttöoikeudet ovat epäselviä
• data on vanhentunutta tai virheellistä
• arkaluonteista tietoa ei saa näyttää kaikille.

Siksi yrityksen oma data voi olla liiketoiminnallisesti arvokkaampaa kuin mahdollisuus kouluttaa vielä hieman suurempi malli.

5. Mallin koulutus

Mallin koulutus tarkoittaa sen sisäisten lukuarvojen eli painojen säätämistä.

Kielimallille näytetään valtava määrä tekstiä ja pyydetään sitä ennustamaan seuraavaa tekstin osaa. Kun ennustus menee pieleen, mallin painoja muutetaan hieman. Tätä toistetaan erittäin monta kertaa.

Mallin voi ajatella sisältävän miljardeja säädettäviä nuppia. Koulutus etsii niille arvot, joiden avulla malli pystyy tuottamaan uskottavia jatkoja erilaisiin syötteisiin.

Esikoulutus

Esikoulutuksessa eli pre-trainingissa malli oppii yleisiä rakenteita:

• kieltä ja kirjoitustyylejä
• käsitteiden välisiä yhteyksiä
• maailmaa koskevia tilastollisia säännönmukaisuuksia
• ohjelmakoodin rakenteita
• jonkin verran ongelmanratkaisua.

Tuloksena syntyy perusmalli eli foundation model.

Perusmalli ei ole tavallinen tietokanta. Sen oppima tieto on hajautunut mallin painoihin. Siksi se ei osaa luotettavasti kertoa, mistä jokin yksittäinen tieto on peräisin.

Jälkikoulutus

Perusmallista tehdään käyttökelpoisempi jälkikoulutuksella. Siihen voi kuulua:

• ihmisten tekemät hyvien vastausten esimerkit
• vastausten arviointi ja vertailu
• turvallisuuskoulutus
• työkalujen käytön opettaminen
• tietyn alan tai tehtävätyypin harjoittelu
• mallin opettaminen noudattamaan ohjeita.

Esikoulutus opettaa mallille yleisiä kykyjä. Jälkikoulutus muokkaa sitä, miten ja mihin tarkoituksiin kykyjä käytetään.

6. Inferenssi eli mallin suorittaminen

Inferenssi tapahtuu aina, kun koulutetulle mallille annetaan uusi syöte ja siltä pyydetään tulos.

Esimerkiksi keskustelupalvelussa:

1. Käyttäjän teksti pilkotaan tokeneiksi eli pieniksi tekstipalasiksi.
2. Tokenit muutetaan numeroiksi.
3. Malli laskee niiden perusteella seuraavan tokenin todennäköisyydet.
4. Järjestelmä valitsee seuraavan tokenin.
5. Sama toistetaan, kunnes vastaus on valmis.

Malli siis rakentaa vastausta pala palalta. Se ei yleensä hae valmista vastausta jostakin sisäisestä taulukosta.

Inferenssin kustannukseen vaikuttavat muun muassa:

• mallin koko
• syötteen pituus
• vastauksen pituus
• päättelykierrosten määrä
• käytetty laskentatarkkuus
• yhtä aikaa palveltavien käyttäjien määrä
• kuinka hyvin kyselyt voidaan käsitellä erissä
• laitteiden käyttöaste.

Koulutus ja inferenssi eivät ole sama asia

Malliyhtiölle koulutus voi olla valtava kertaluonteinen panostus. Kun palvelulla on paljon käyttäjiä, inferenssistä voi kuitenkin tulla pitkällä aikavälillä suurempi kokonaiskustannus.

7. Mitä mallin ympärille rakennetaan?

Pelkkä kielimalli ei yleensä vielä ole valmis yritystuote.

Prompti

Prompti on mallille annettu ohje ja taustatieto. Se voi sisältää käyttäjän kysymyksen lisäksi sovelluksen säännöt, esimerkit, dokumentteja ja työkalujen kuvaukset.

RAG

RAG tarkoittaa, että järjestelmä hakee ennen vastaamista tietoa ulkoisesta lähteestä, esimerkiksi yrityksen dokumenteista, ja antaa löydetyt kohdat mallille.

RAG:

• ei yleensä muuta mallin painoja
• auttaa käyttämään ajantasaista tai yrityskohtaista tietoa
• voi mahdollistaa lähteiden näyttämisen
• vaatii hyvän haun ja käyttöoikeuksien hallinnan.

Hienosäätö

Hienosäädössä eli fine-tuningissa mallin painoja muutetaan tiettyä tarkoitusta varten. Sillä voidaan opettaa esimerkiksi tietty vastaustyyli, luokittelutehtävä tai toimialan käyttäytymismalli.

Yksinkertaistettuna:

• Prompti: kerrotaan nyt, mitä pitää tehdä.
• RAG: tuodaan mukaan tarvittavat tiedot.
• Hienosäätö: muutetaan mallin vakiintunutta toimintatapaa.

Agentti

Agentti on yleensä kielimallin ympärille rakennettu toimintajärjestelmä. Se voi:

1. arvioida tehtävän
2. valita työkalun
3. hakea tietoa tai käyttää ohjelmistoa
4. tarkastella tulosta
5. korjata suunnitelmaa
6. jatkaa, kunnes tehtävä on valmis.

Työkalu voi olla esimerkiksi verkkohaku, kalenteri, sähköposti, tietokanta tai yrityksen oma järjestelmä.

Agentin ”älykkyys” syntyy mallin lisäksi sen työkaluista, ohjeista, käyttöoikeuksista, muistista ja tarkistusmekanismeista. Agentti ei saa automaattisesti toimia vapaasti: yrityskäytössä tarvitaan yleensä rajoituksia, hyväksyntöjä ja lokitietoja.

8. Varsinainen sovelluskerros

Sovellus tekee yleiskäyttöisestä mallista tiettyyn työhön sopivan tuotteen. Se sisältää esimerkiksi:

• käyttöliittymän
• käyttäjätunnistuksen ja käyttöoikeudet
• yrityksen tiedot
• työnkulut
• integraatiot muihin järjestelmiin
• virheiden käsittelyn
• laadun mittauksen
• tietoturvan
• laskutuksen ja asiakastuen.

Tässä kerroksessa ratkaistaan, syntyykö tekoälystä todellista hyötyä.

Huipputasoinenkaan malli ei vielä kerro:

• mitä käyttäjä todella yrittää saada aikaan
• mistä oikeat tiedot löytyvät
• kenellä on oikeus käyttää niitä
• milloin ihmisen pitää hyväksyä tulos
• miten tulos siirtyy seuraavaan työvaiheeseen
• kuka vastaa virheestä.

Tästä syystä paras malli ei aina tarkoita parasta tuotetta.

9. Ekosysteemin liiketoimintaroolit

10. Mistä raha tulee?

Yleisimmät ansaintamallit ovat:

• sirujen ja palvelimien myynti
• datakeskuskapasiteetin vuokraus
• pilvilaskennan tuntihinnoittelu
• mallirajapinnan veloitus käytön tai tokenien perusteella
• käyttäjäkohtainen kuukausitilaus
• yrityslisenssi
• avoimen mallin ympärille myytävä ylläpito ja hosting
• konsultointi ja järjestelmäintegraatio
• tulosperusteinen hinnoittelu, esimerkiksi käsitelty tapaus tai ratkaistu tehtävä
• mainonta tai muun ydintuotteen arvon kasvattaminen.

Sama euro voi kulkea ketjussa usean toimijan läpi. Sovellusyritys saa maksun asiakkaalta, maksaa mallipalvelusta, joka maksaa pilvikapasiteetista, joka puolestaan käyttää rahaa siruihin, sähköön ja datakeskukseen.

11. Miten kustannusten ja arvon ”osuudet” jakautuvat?

Yhtä yleispätevää prosenttijakoa ei ole. Tekninen työmäärä, kustannus ja asiakkaan kokema arvo ovat kolme eri asiaa.

Hyödyllinen periaate on: teknologisesti tärkein kerros ei välttämättä saa suurinta osaa liiketoiminta-arvosta.

Arvoa voi saada eniten se toimija, jolla on jokin niukka tai vaikeasti kopioitava asia:

• parhaat tai halvimmat laskentaresurssit
• vaikeasti rakennettava malli
• ainutlaatuinen data
• pääsy asiakkaisiin
• vahva jakelukanava
• syvä integraatio työprosesseihin
• luottamus, tietoturva tai viranomaishyväksynnät.

Kun jokin kerros muuttuu yleiseksi ja helposti vaihdettavaksi, sen hinnat ja katteet yleensä joutuvat paineeseen. Silloin arvoa voi siirtyä seuraavaan pullonkaulaan.

12. Miksi tekoälypalvelun kustannus voi yllättää?

Kustannukset jakautuvat kahteen pääryhmään.

Investoinnit:

• datakeskukset
• sirut ja palvelimet
• mallin koulutus
• datan hankinta
• tuotekehitys.

Jatkuvat kulut:

• inferenssi
• sähkö ja jäähdytys
• pilvipalvelut
• tallennus ja tiedonsiirto
• henkilöstö
• valvonta, tietoturva ja asiakastuki.

Halpa demo voi muuttua kalliiksi tuotantopalveluksi, jos:

• käyttäjiä tulee paljon
• jokainen syöte sisältää paljon dokumentteja
• vastaukset ovat pitkiä
• agentti tekee monta mallikutsua yhtä tehtävää varten
• järjestelmä joutuu käyttämään suurinta mallia kaikkeen
• kapasiteettia varataan enemmän kuin todella käytetään.

Kustannuksia pienennetään esimerkiksi käyttämällä pienempiä malleja helpoissa tehtävissä, lyhentämällä kontekstia, käsittelemällä kyselyjä erissä ja tallentamalla uudelleenkäytettäviä tuloksia.

13. Keskeiset käsitteet lyhyesti

• Parametri tai paino: koulutuksessa opittu lukuarvo mallin sisällä.
• Token: tekstin osa, jota malli käsittelee; sana voi koostua yhdestä tai useammasta tokenista.
• Konteksti-ikkuna: se määrä tietoa, jonka malli voi huomioida yhden suorituksen aikana. Se ei ole sama asia kuin pysyvä muisti.
• Embedding: sisällön numeerinen esitys, jonka avulla voidaan etsiä merkitykseltään samankaltaisia asioita.
• Vektoritietokanta: järjestelmä embeddingien tallentamiseen ja samankaltaisuushakuun.
• API eli rajapinta: sovelluksen tapa lähettää pyyntöjä mallipalvelulle.
• Latenssi: kuinka kauan yhden vastauksen saaminen kestää.
• Läpäisykyky: kuinka monta pyyntöä järjestelmä käsittelee tietyssä ajassa.
• Hallusinaatio: malli tuottaa vakuuttavan mutta virheellisen väitteen.
• Evaluaatio eli eval: järjestelmällinen testi mallin tai koko sovelluksen laadulle.
• Kvantisaatio: mallin lukujen esittäminen pienemmällä tarkkuudella, jotta suoritus olisi kevyempää.
• Tislaus: suuren mallin kykyjen siirtäminen pienempään malliin.
• Avoimet painot: mallin painot ovat ladattavissa. Tämä ei välttämättä tarkoita, että koulutusdata tai koko kehitysprosessi olisi avoin.
• MLOps: mallien julkaisemiseen, seurantaan, versionhallintaan ja ylläpitoon liittyvät käytännöt.
• Guardrails eli suojakaiteet: säännöt ja tarkistukset, joilla vaarallisia tai virheellisiä toimintoja rajoitetaan.

Kokonaisuuden tärkein ajatus

Tekoälymalli on ekosysteemissä hieman kuin auton moottori. Sirut ja datakeskukset mahdollistavat moottorin rakentamisen ja käyttämisen. Pilvi vuokraa tarvittavan infrastruktuurin. Malliyhtiö valmistaa moottorin. Sovellusyritys rakentaa sen ympärille auton, hallintalaitteet ja turvallisuusjärjestelmät.

Asiakas ei kuitenkaan yleensä halua ostaa moottoria eikä edes autoa teknologian vuoksi. Hän haluaa päästä johonkin: käsitellä hakemuksen nopeammin, löytää tiedon, vähentää virheitä, palvella asiakasta tai kasvattaa myyntiä.

Siksi tekoälyliiketoiminnan lopullinen arvo syntyy vasta, kun laskentateho, malli, yrityksen tieto, käyttöliittymä ja toimintaprosessi toimivat yhdessä.