Valinta
Prompti, RAG vai hienosäätö
Kolme tapaa saada kone tekemään, mitä haluat. Ja se, milloin kukin kannattaa.
Sisällys (5)
Kun valmis kielimalli ei tee sitä, mitä halutaan, vaihtoehtoja on kolme. Ne eivät ole toistensa kilpailijoita vaan eri työkaluja eri ongelmiin.
Kolme keinoa lyhyesti
- Prompti: kerrotaan mallille nyt, mitä pitää tehdä.
- RAG: tuodaan mukaan tarvittavat tiedot.
- Hienosäätö: muutetaan mallin vakiintunutta toimintatapaa.
Prompti
Prompti on mallille annettu ohje ja taustatieto: käyttäjän kysymys, sovelluksen säännöt, esimerkit, dokumentit ja työkalujen kuvaukset.
Prompti kannattaa aina kokeilla ensin. Se on nopein muuttaa, halvin testata ja helpoin peruuttaa. Yllättävän suuri osa ongelmista, jotka näyttävät vaativan mallin vaihtoa, ratkeaa sillä että ohje kirjoitetaan täsmällisemmin ja mukaan lisätään pari esimerkkiä hyvästä vastauksesta.
RAG
RAG tarkoittaa, että järjestelmä hakee ennen vastaamista tietoa ulkoisesta lähteestä, esimerkiksi yrityksen dokumenteista, ja antaa löydetyt kohdat mallille.
RAG:
- ei yleensä muuta mallin painoja
- auttaa käyttämään ajantasaista tai yrityskohtaista tietoa
- voi mahdollistaa lähteiden näyttämisen
- vaatii hyvän haun ja käyttöoikeuksien hallinnan.
Tärkein huomio: RAG-järjestelmän laatu ratkeaa yleensä haussa, ei mallissa. Jos haku palauttaa vääriä kappaleita, paraskaan malli ei pelasta vastausta. Käyttöoikeudet on myös pakko hoitaa hakuvaiheessa, koska malli ei osaa itse päätellä, kuka saa nähdä mitä.
Hienosäätö
Hienosäädössä eli fine-tuningissa mallin painoja muutetaan tiettyä tarkoitusta varten. Sillä opetetaan esimerkiksi tietty vastaustyyli, luokittelutehtävä tai toimialan käyttäytymismalli.
Hienosäätö sopii huonosti tiedon lisäämiseen. Jos tavoitteena on, että malli tuntee eilen päivitetyn hinnaston, RAG on oikea keino. Hienosäätö on oikea keino silloin, kun mallin pitää käyttäytyä johdonmukaisesti toisin kuin se oletuksena käyttäytyy.
Käytännön järjestys
- Kirjoita prompti kunnolla ja kokeile pienemmällä mallilla.
- Jos vastauksista puuttuu tietoa, lisää haku eli RAG.
- Jos tyyli, muoto tai tehtävätyyppi ei pysy kurissa ohjeistakaan, harkitse hienosäätöä.
- Mittaa jokainen askel samalla testijoukolla, jotta tiedät kumpi versio on parempi.
Ilman neljättä kohtaa kolme ensimmäistä ovat arvailua.
Harri Salomaa · 40 vuotta ohjelmistoalalla, siitä 20 Yhdysvalloissa ja Saksassa: prosessidatan keruusta ja verkkodatan analysoinnista immersiiviseen laskentaan ja viimeksi tekoälyyn.