Agentit, orkestrointi ja käyttötapaukset

Pyydä kielimallilta arvio 170 000 sanan romaanista, ja saat kohteliaan tiivistelmän. Teksti on "vahva ja moniääninen", henkilöhahmot "kiinnostavia", loppu "vaikuttava". Mitään näistä ei voi käyttää mihinkään. Vika ei ole mallissa vaan kysymyksessä: yhdellä kutsulla malli tuottaa keskiarvon kaikesta, mitä kirja-arvio yleensä sisältää.

Rakensin oman käsikirjoitukseni arviointiin työkalun, joka kysyy toisin. Malli kutsutaan monta kertaa, joka kerta eri roolissa, ja roolit pannaan keskustelemaan keskenään. Kutsun sitä lukupiiriksi. Sama rakenne toimii mille tahansa pitkälle aineistolle, jonka laatua ei voi tarkistaa testillä, ja esimerkkinä on tässä käsikirjoitus vain siksi, että siitä on olemassa mittausluvut.

Tämä artikkeli kertoo ensin, mitä monen agentin järjestelmillä yleensä tarkoitetaan ja miksi sellainen ylipäätään toimisi. Sen jälkeen tulee itse rakenne: montako jäsentä piiriin kannattaa panna, kannattaako niiden olla samaa mallia, mitä piiri tuotti ja mihin sen tulokseen ei pidä luottaa.

Ensin sanasto

Monen agentin puheessa samat sanat tarkoittavat eri asioita eri suussa. Näillä kuudella pärjää tämän artikkelin loppuun.

• Agentti. Kielimalli silmukassa: se saa tehtävän, valitsee askeleen, katsoo tuloksen ja korjaa. Yksi agentti on yksi silmukka eikä persoona, vaikka sille annettaisiin nimi ja ammatti.
• Monen agentin järjestelmä (multi-agent system). Useita tällaisia silmukoita kytkettynä toisiinsa niin, että yhden tuotos on toisen syöte.
• Orkestrointi (orchestration). Se osa, joka päättää, kuka ajetaan, missä järjestyksessä, millä syötteellä ja milloin lopetetaan. Tässä artikkelissa kuvatussa piirissä orkestroija on tavallista koodia, silmukka ja ehtolause. Orkestroija voi olla myös malli, joka päättää itse työnjaosta. Ero kannattaa tietää, koska koodin päätökset ovat toistettavia ja mallin päätökset eivät.
• Roolikehote (role prompt). Ohje, joka kertoo mallille mistä näkökulmasta se lukee. Rooli ei anna mallille uutta tietoa, vaan rajaa sitä, mihin se kiinnittää huomiota.
• Koonti (aggregation). Vaihe, jossa monta vastausta puristetaan yhdeksi: äänestys, keskiarvo, yhdistely tai erillinen tiivistävä kutsu.
• Tuomarimalli (LLM as a judge). Malli, joka arvioi toisen tuotosta annetuilla kriteereillä. Tämän artikkelin piiri on tuomarimalli moninkertaisena.

Yksi väärinkäsitys kannattaa oikaista heti, koska se on koko aiheen yleisin. Agentit eivät ajattele yhdessä eivätkä jaa mitään itsestään. Jokainen kutsu on erillinen, ja jäseneltä toiselle kulkee vain se, minkä orkestroija sinne siirtää. Tässä piirissä se on tekstiä, mutta yleisemmin se voi olla rakenteista dataa, kuvia, työkalujen tuloksia tai jaettua muistia. Yhteistä on, että siirron tekee järjestelmä eikä agentti itse. Kokous on lavastettu. "Tekoälytiimi" on kielikuva eikä kuvaus.

Neljä tapaa panna agentit yhteen

Rakenteita on käytännössä neljä, ja ne ratkaisevat eri ongelmaa.

Ero on suunnassa. Ketju ja työnjohtaja tuottavat jotain, ja niissä työ jaetaan osiin. Paneeli ja väittely arvioivat jotain, ja niissä sama työ tehdään monta kertaa eri suunnista. Ensimmäisiä kannattaa käyttää, kun tiedät, mitä pitää tehdä, jälkimmäisiä, kun et tiedä, mikä on vialla.

Lukupiiri on paneeli, johon on lisätty yksi väittelykierros ja äänestys. Se ei kirjoita mitään, vaan tuottaa listan.

Miksi paneeli toimii, kun se toimii

Ajatus on vanhempi kuin kielimallit. Koneoppimisessa sitä sanotaan kokoelmamenetelmäksi (ensemble): monta keskinkertaista mallia yhdessä osuu useammin oikeaan kuin yksikään niistä yksin. Sama tulos tunnetaan äänestämisen puolelta 1700-luvulta Condorcet'n jury-teoreemana.

Molemmat nojaavat kahteen ihanne-ehtoon. Käytännössä osittainenkin täyttyminen auttaa, mutta mitä kauempana ehdoista ollaan, sitä vähemmän yksimielisyys kertoo:

1. Jokaisen jäsenen pitää olla arvausta parempi. Jos jäsen on keskimäärin väärässä, joukon kasvattaminen tekee tuloksesta huonomman eikä paremman.
2. Jäsenten virheiden pitää olla riippumattomia. Jos kaikki erehtyvät samalla tavalla, enemmistö erehtyy yhtä varmasti kuin yksilö, mutta näyttää vakuuttavammalta.

Ensimmäinen ehto on kielimallilla yleensä kunnossa: se lukee huolellisemmin kuin satunnaisesti. Toinen ehto on se, jota tässä rikotaan, ja palaan siihen omassa luvussaan. Tästä syystä paneelin tulosta luetaan päällekkäisyytenä eikä ääninä: signaali ei ole mielipide vaan se, että eri suunnista tullaan samaan kohtaan.

Toinen syy koota useita arvioita on kielimallin taipumus myötäillä. Kun mallia pyytää arvioimaan tekstiä, se tuottaa arvion, joka sopii siihen, mitä se arvelee kysyjän toivovan. Yksittäisen arvion totuusarvoa on siksi vaikea päätellä. Myötäily ei katoa siitä, että arvioita on monta, mutta se kohdistuu eri suuntiin, kun jokaiselle jäsenelle on kerrottu eri asia siitä, mitä hän arvostaa.

Kannattaa myös huomata, mitä paneeli ei tee. Se ei tuota uutta tietoa. Kaikki, mitä piiri sanoo, on peräisin samasta mallista, joka olisi voinut sanoa sen yhdelläkin kutsulla. Rakenne ei lisää tietoa vaan valikoi ja painottaa sitä, ja se on koko hyöty.

Tämä on myös eri työ kuin oikoluku. Oikolukuagentti työskentelee rivitasolla: sijamuodot, anglismit, lauseet jotka eivät jäsenny. Paneeli työskentelee teoksen tasolla: valehteleeko avaus siitä millainen romaani tämä on, notkahtaako toinen näytös, missä kohtaa väsynyt iltalukija lopettaisi, ja kestääkö mikään tästä ääneen luettuna.

Kokoonpano on kehotteita, ei henkilöitä

Piirissä on viisi jäsentä ja puheenjohtaja. Jokainen on yksi kehote, jossa on kuvattu tausta ja se, mitä juuri tämä lukija panee merkille.

Roolit ovat tahallaan konkreettisia. "Ole kriittinen lukija" tuottaa laimeaa yleistekstiä, kun taas ammatti, vuosiluku ja oma vinouma pakottavat mallin valitsemaan, mihin se kiinnittää huomiota ja mihin ei. Tässä ei ole mitään maagista. Rooli on rajaus, ja rajaus on halvin keino saada samasta mallista aidosti eri vastauksia. Muita keinoja ovat eri aineisto kullekin jäsenelle, eri kysymys ja eri malli.

Kokoonpano on myös se kohta, jossa työkalu sovitetaan tarkoitukseen. Äänikirjan lukija on mukana siksi, että käsikirjoitus on matkalla puhesynteesiin. Toisessa käyttötarkoituksessa listalla olisi eri ammatit.

Viisi ei ole maaginen luku

Jäsenmäärä kannattaa johtaa aineistosta: montako aidosti eri linssiä sillä on. Testi on yksinkertainen. Jos et pysty nimeämään yhtä asiaa, jonka vain tämä rooli näkee, rooli on jonkun toisen kaksoiskappale.

Kaksoiskappale ei ole vain turha, vaan haitallinen, ja syy on äänestyksessä. Piiri asettaa ehdotukset järjestykseen kannatuksen mukaan, joten kokoonpano on peukalo vaa'alla. Jos piirissä on kolme rakennetta lukevaa roolia ja yksi kieltä lukeva, rakenneongelmat voittavat äänestyksen kokoonpanon takia eivätkä tekstin takia. Kokoonpanoa valitessa päättää siis sen, mikä lopputuloksessa painaa.

Käytännön haarukka, joka perustuu omiin ajoihin eikä mihinkään tutkittuun optimiin:

• Alle kolme jäsentä. Äänestys ei erota yhden lukijan makuasiaa yhteisestä havainnosta. Kaksi jäsentä on keskustelu, ei mittaus.
• Kolmesta seitsemään. Toimiva alue useimpaan aineistoon. Tarjoukselle riittää kolme, esimerkiksi asiakas, juristi ja toteuttaja. Laajalle koodimuutokselle sopii neljästä kuuteen: ylläpitäjä, tietoturva, uusi tekijä ja suorituskyky.
• Yli seitsemän. Kustannus kasvaa suoraan jäsenmäärän mukana, koska jokainen jäsen käy kaikki kierrokset, ja puheenjohtajan yhdistelytyö kasvaa nopeammin kuin hyöty. Ison piirin pöytäkirja alkaa muistuttaa keskiarvoa, eli juuri sitä, mistä lähdettiin pois.

Kirjalle viisi osui hyvin. Se ei tarkoita, että se osuisi tarjoukseen tai vaatimusmäärittelyyn.

Yksi malli vai monta?

Piiri on rakennettu niin, että kaikki jäsenet ovat samaa mallia eri kehotteessa. Se on yksinkertaista ja halpaa, ja se on rakenteen suurin heikkous.

Tässä rikotaan kokoelmamenetelmän toista ehtoa. Koko idea nojaa siihen, että päällekkäisyys kertoo aineistosta, mutta yhdellä mallilla osa päällekkäisyydestä kertoo mallista. Sama opetusaineisto tuottaa saman tavan lukea ja samat sokeat pisteet, joten jäsenten virheet ovat korreloituneita eivätkä riippumattomia. Yksimielisyys näyttää silloin vahvemmalta kuin se on.

Eri toimittajien mallit purkavat juuri tätä. Kun kaksi eri perhettä olevaa mallia päätyy samaan huomioon, yhteinen selitys on todennäköisemmin tekstissä. Sekoittaminen ei kuitenkaan kannata tehdä jäsenten kesken, ja syy on mittaustekninen: jos psykologi ajetaan eri mallilla kuin kustannustoimittaja, erimielisyyden syytä ei voi enää erottaa. Oliko se rooli vai malli? Sekamallinen piiri menettää sen ainoan asian, jonka vuoksi roolit alun perin määriteltiin.

Järkevämpi järjestys, halvimmasta kalleimpaan:

1. Vaihda puheenjohtaja toiseen malliin. Yhteenveto on se kohta, jossa yhden mallin taipumukset vahvistuvat, ja tarkistus maksaa yhden kutsun.
2. Aja koko piiri kahdesti eri mallilla. Jäsenten kesken vertailtavuus säilyy, koska yksi ajo on sisäisesti yhtenäinen. Pidä ne löydökset, jotka selvisivät molemmista ajoista. Kustannus kaksinkertaistuu. Täysin riippumattomia kaksi mallia eivät ole, koska ne on opetettu osin samasta verkosta löytyvästä aineistosta, mutta ero on selvästi suurempi kuin saman mallin kahdella kehotteella.
3. Aja rinnalle kolmas malli vain kiistakysymyksiin. Ratkaisematta jäänyt erimielisyys on halpa antaa ulkopuoliselle mallille, kun koko aineistoa ei tarvitse lukea uudelleen.

Sekoittamisella on myös arkinen hintansa. Jokainen malli noudattaa pyydettyä vastausrakennetta hieman omalla tavallaan, ja moniportaisessa kokouksessa yksi poikkeava kenttä kaataa seuraavan kierroksen. Lisäksi jokainen toimittaja tuo oman avaimensa, oman hinnastonsa ja oman tahtinsa vanhentaa malleja.

Yksi mittaustulos puoltaa vaivaa. Ajoin saman piirin samalla mallilla kahdelle kieliversiolle, ja kärkilöydös oli eri. Jos pelkkä kielen vaihto siirtää huomion toisaalle, mallin vaihto siirtää sitä enemmän.

Kokous kulkee neljässä kierroksessa

1. LUKEMINEN    5 rinnakkaista kutsua
   jokainen lukee yksin
        |
2. KESKUSTELU   5 rinnakkaista kutsua
   muiden muistiinpanot, ei omia
        |
3. EHDOTUKSET   5 rinnakkaista kutsua
   enintään 4 kpl + "tähän ei kosketa"
        |
4. ÄÄNESTYS     5 rinnakkaista kutsua
   kaikki pisteyttävät kaikki 1-5
        |
   PUHEENJOHTAJA   1 kutsu
   pöytäkirja koko aineistosta

Kierros 1, lukeminen. Jäsen kirjoittaa yhden lauseen kokonaisarvion, muutaman kappaleen lukukokemusta oman linssinsä läpi, pari vahvuutta ja muutaman huolenaiheen, kukin sidottuna johonkin täsmälliseen kohtaan, ja yhden kysymyksen muille. Kukaan ei tässä vaiheessa näe muiden tekstiä. Se on tarkoituksellista: jos jäsenet lukisivat toisiaan heti, ensimmäisenä valmistunut vastaus ohjaisi loput ja päällekkäisyys tarkoittaisi vain matkimista.

Kierros 2, keskustelu. Nyt jäsen saa kaikkien muiden muistiinpanot mutta ei omiaan. Tämäkin on tahallista, koska omat muistiinpanot nähdessään malli toistaa itseään sen sijaan, että vastaisi muille. Se puhuu nimeltä, kertoo, mitä kannattaa, mitä ei niele ja mitä kukaan huoneessa ei ole vielä sanonut.

Kierros 3, ehdotukset. Enintään neljä konkreettista muutosta jäsentä kohti: ongelma, muutos, hyöty, työmäärä, riski. Lisäksi jokainen nimeää sen, mitä puolustaisi viimeiseen asti. Nämä "tähän ei kosketa" -vastaukset ovat yhtä arvokkaita kuin ehdotukset, koska ne ovat ainoa kohta, jossa piiriä pyydetään puolustamaan teosta itseään vastaan. Ilman sitä arviointiagentti tuottaa aina korjauslistan, koska sitä siltä pyydettiin.

Kierros 4, äänestys. Jokainen pisteyttää jokaisen ehdotuksen välillä 1 ja 5, myös omansa, ohjeena "5 = tee tämä ensin, 1 = tämä vahingoittaisi teosta". Keskiarvo ja kannattajien määrä ratkaisevat järjestyksen. Vasta tämä kierros erottaa yhden jäsenen makuasian siitä, mistä koko piiri on samaa mieltä.

Kierroksen viisi kutsua ajetaan rinnakkain, joten kokous kestää suunnilleen yhtä kauan kuin sen hitain jäsen. Yhden jäsenen kaatuminen ei kaada kokousta, vaan hänen tuloksensa jää pois ja muut jatkavat.

Aineistoa ei syötetä sellaisenaan

170 000 sanan romaania ei kannata lukea viidesti neljällä kierroksella. Se olisi hidasta, kallista ja tarpeetonta, koska suurin osa kysymyksistä koskee rakennetta eikä yksittäisiä lauseita. Aineisto valmistellaan siksi kerran.

• Tiivistelmät. Jokaisesta luvusta tehdään lukutiivistelmä: mitä tapahtuu, kenelle, mitä istutetaan, muutama sanatarkka rivi, huomio tekniikasta ja se, mihin luku päättyy. Tiivistelmät säilötään levylle ja avaimena on luvun tekstin tiiviste. Kun muokkaat yhtä lukua, vain se luku luetaan uudelleen.
• Näytteet. Muutama luku menee läpi kokonaisena, jotta jäsenet arvioivat oikeaa proosaa eivätkä tiivistelmää siitä. Oletuksena kolme, tasavälein jaettuna, ja alku- ja loppuliitteet ohitetaan, koska esipuhe ei ole se paikka jossa romaanin proosa asuu.
• Rehellisyysohje. Jäsenille kerrotaan, mitkä luvut heillä on kokonaisina, ja heitä vaaditaan sanomaan ääneen, kun väite nojaa tiivistelmään.

Viimeinen kohta on tärkein ja helpoimmin unohtuva. Tiivistelmän perusteella tehty väite proosasta on väite tiivistelmästä. Ilman ohjetta malli ei tee tätä eroa itse, vaan kirjoittaa lauserytmistä yhtä vakuuttavasti riippumatta siitä, onko se nähnyt yhtään lausetta.

Lopputulos on noin 34 000 sanan lukupaketti jäsentä kohti. Se on murto-osa kirjasta ja silti riittävä siihen, mitä piiriltä kysytään.

Puheenjohtajan kolme sääntöä

Puheenjohtaja saa koko aineiston: muistiinpanot, keskustelun, ehdotukset pisteineen ja äänestäjien kommentit. Hän ei puolusta omaa linssiään vaan esittää sen, mitä piiri todella sanoi. Kolme sääntöä pitävät pöytäkirjan käyttökelpoisena.

1. Merkitse väitteet nimiin. Lukija näkee, kuka sanoi mitä, ja voi punnita sen sitä vasten, mitä kyseinen rooli ylipäätään pystyy näkemään.
2. Älä keskiarvoista erimielisyyttä pois. Riita raportoidaan riitana ja ratkaisematon riita ratkaisemattomana. Muuten yhteenveto on aina sovinnollisempi kuin keskustelu, josta se tehtiin.
3. Yhdistä päällekkäiset ehdotukset. Tämä sääntö lisättiin vasta ensimmäisen ajon jälkeen. Viisi jäsentä ehdotti samaa karsintaa, ja pöytäkirja listasi sen kymmenenä erillisenä kohtana. Viisi lukijaa pyytämässä samaa leikkausta on yksi kohta jolla on viisi kannattajaa, ei viisi kohtaa.

Kolmas sääntö on hyvä esimerkki siitä, mihin monen agentin järjestelmissä menee eniten aikaa. Yksittäiset kutsut toimivat heti. Se, että tulokset yhdistetään tavalla joka ei valehtele määristä, on erillinen ongelma ja usein työläämpi.

Mitä piiri löysi

Ajoin piirin omalle käsikirjoitukselleni kahdesti, erikseen englanninkieliselle ja suomenkieliselle laitokselle. Suomenkielinen piiri lukee suomenkielistä kirjaa, ei käännöstä englanninkielisestä keskustelusta.

Piirit päätyivät eri asioihin. Englanninkielisessä kokouksessa kaikki viisi ehdottivat itsenäisesti saman kiertelevän kerrontatavan karsintaa, ja se sai keskiarvon 5,0 sekä kaikkien kannatuksen. Suomenkielisen piirin kärkeen nousi aivan toinen asia: minäkertojan tietolähteiden merkitseminen niissä kohdissa, joissa kerronta seuraa henkilöitä kertojan tiedon ulkopuolella. Englanninkielinen piiri ei huomannut tätä lainkaan.

Sitten tarkistin löydökset tekstistä, ennen kuin muutin mitään. Mittaus muutti kolmea niistä:

• Yksi maneeri oli aito ja lisäksi takapuoliskon ilmiö: 84 osumaa, ja ensimmäisessä puolessa kirjaa lähes ei yhtään. Piiri oli oikeassa mutta ei osannut paikantaa sitä.
• Erästä toistuvaa piirrettä neljä jäsentä piti rakenteellisena ongelmana. Koko kirjassa esiintymiä oli 17. Mittaus ei tue väitettä.
• Suomenkielisen piirin kärkilöydös oli puoliksi väärä. Epäilty jakso oli jo kehystetty, mutta kehys loppui kesken ja kerronta jatkoi ilman lähdettä. Korjaus oli kaksi lausetta, ei se rakenneremontti jota ehdotettiin.

Tämä on koko käyttötavan ydin. Piiri tuottaa hypoteeseja, ei päätöksiä. Hypoteesit tarkistetaan aineistosta ennen kuin mihinkään kosketaan, ja tarkistus tehdään mieluiten tavallisella haulla ja laskemisella, ei uudella mallikutsulla.

Mitä se maksaa

30 luvun ja 169 000 sanan kirjalle yksi kokous on noin 51 mallikutsua: 30 lukutiivistelmää, viisi jäsentä neljällä kierroksella ja yksi puheenjohtaja. Aikaa kuluu reilut 20 minuuttia. Toinen ajo samalle kirjalle on 21 kutsua, koska tiivistelmät ovat tallessa ja vain muuttuneet luvut luetaan uudelleen.

Kustannuksen rakenne on tässä opettavainen ja pätee mihin tahansa monen agentin järjestelmään. Lasku ei ole yksi kutsu vaan kutsujen määrä kerrottuna sillä, kuinka paljon tekstiä kukin kutsu näkee. Piiri maksaa jäsenmääränsä verran enemmän kuin yksi arvio, ja juuri siksi lukupaketin koolla on väliä. Tiivistelmien välimuistitus ei ole optimointia vaan se, mikä tekee toistuvasta ajamisesta ylipäätään mahdollista.

Missä tämä pettää

Piiri on joukko kehotteita, ei joukko ihmisiä. Jos jäsenet ovat samaa mallia, eikä malli tunnista jotakin ilmiötä, sitä ei tunnista yksikään jäsen. Yksimielisyys näyttää silti vahvalta. Rakenne suojaa satunnaiselta hölynpölyltä, ei järjestelmälliseltä sokealta pisteeltä, ja siihen auttaa vain toinen malli.

Se on hyvä siinä, minkä huolellinen lukija huomaa toisella lukukerralla, ja huono siinä, minkä ensilukija tuntee kerran. Yllätys, tylsistyminen ja liikutus ovat kertaluonteisia kokemuksia, eikä niitä saa takaisin lukemalla tiivistelmiä.

Lainaukset pitää tarkistaa. Jäseniä vaaditaan lainaamaan tekstiä ja kertomaan, milloin he nojaavat tiivistelmään, mutta vaatimus ei poista hallusinaatiota. Tarkista ennen kuin leikkaat.

Äänestystä kannattaa punnita, ei äänenvoimakkuutta. Ehdotus, jota yksi jäsen rakastaa ja neljä pisteyttää kahdella, on makuasia eikä vika. Pöytäkirjan pisteytetty taulukko on rehellisin näkymä koko dokumentissa, ja se kannattaa lukea ennen kaunista yhteenvetoa.

Mihin mitäkin rakennetta kannattaa käyttää

Mikään edellä kuvatussa ei liity kaunokirjallisuuteen. Rakenne on yleinen: pitkä aineisto, useita rooleja, yksin lukeminen ennen keskustelua, rajattu määrä ehdotuksia, äänestys ja yhdistävä yhteenveto. Käyttötapaus ratkaisee, mikä neljästä muodosta on oikea.

Viimeinen rivi on se, joka useimmiten unohtuu. Monen agentin järjestelmä on rakenne ongelmaan, jota yksi hyvin ohjeistettu agentti ei ratkaise. Jos tehtävä on selvä ja tarkistettavissa, lisäagentit tuovat vain kustannusta ja uusia kohtia, joissa ketju voi katketa.

Arviointiin, siis paneeliin ja väittelyyn, kannattaa ryhtyä vasta kun kolme ehtoa täyttyy:

1. Aineisto on liian pitkä yhdellä silmäyksellä arvioitavaksi.
2. Laatu on tulkinnanvarainen, eli oikeaa vastausta ei voi tarkistaa testillä.
3. Virheen hinta on suurempi kuin ajon hinta.

Jos vastaus löytyy testistä tai mittauksesta, aja testi. Paneeli ei korvaa mittausta, vaan on tapa keksiä, mitä kannattaisi mitata.

Yhdellä lauseella

Monen agentin järjestelmä ei tee mallista viisaampaa, vaan orkestroinnista näkyvää: se ratkaisee, kuka lukee mitä, missä järjestyksessä ja miten erimielisyys käsitellään, ja juuri siitä käyttökelpoinen tulos syntyy.