Tekoälykehityksen käytännön näkökulmat: Kokemuksia ja parhaita käytäntöjä

Tekoälyn kehitys ja kielimallien hyödyntäminen vaativat uudenlaista lähestymistapaa ohjelmistokehitykseen. Tässä artikkelissa jaamme kokemuksiamme AI-projektien toteutuksesta ja käsittelemme seuraavia teemoja:

  • Asiakaslähtöinen kehitys: Miksi yksinkertaisempi on usein parempi, ja miten tukea asiakasorganisaation kasvua AI:n hyödyntämisessä
  • Kustannusrakenne: AI-mallien käyttö, pilvi-infrastruktuuri ja kehitystyö - mistä kulut muodostuvat ja miten niitä optimoidaan
  • Tehokas kehitysmalli: Pro-code-ytimen ja ketterän low-code AI-kehityksen yhdistäminen
  • Arvonluonti: Miten erottua pelkästä kielimallien peruskäytöstä muistin, tietoturvan ja integraatioiden avulla
  • Testaus ja jatkuva kehitys: Uusi lähestymistapa laadunvarmistukseen ja ylläpitoon

Asiakaslähtöinen lähestymistapa

Tekoälyn kehityksessä houkutus hypätä suoraan edistyneimpiin ratkaisuihin on suuri. Kehittäjinä näemme usein mielessämme monitahoisia järjestelmiä, jotka hyödyntävät tekoälyn uusimpia innovaatioita. Todellisuudessa monelle organisaatiolle jo perus AI-assistentin käyttöönotto on merkittävä askel, joka vaatii huolellista suunnittelua ja toteutusta. Alkeista ponnistava lähestymistapa tuottaa usein parempia tuloksia, kahdesta merkittävästä syystä.

Ensinnäkin, AI-projektissa keskeinen arvontuotto ei ole pelkästään AI-ratkaisujen toimittaminen, vaan asiakkaan kouluttaminen itsenäiseen AI-assistenttien kehittämiseen. Yksinkertaisempi järjestelmä toimii erinomaisena oppimisalustana, jonka kautta organisaatio sisäistää tekoälyn mahdollisuudet ja rajoitteet käytännössä.

Toiseksi, yllättävän usein yksinkertainen ratkaisu osoittautuu aidosti hyödyllisimmäksi vaihtoehdoksi. Perus-chatbot, joka osaa vastata yleisimpiin kysymyksiin tai ohjata oikean dokumentin äärelle, voi tuoda merkittävää lisäarvoa päivittäiseen työhön. Tällaisen järjestelmän päälle on myös luontevaa rakentaa lisätoiminnallisuuksia todellisten tarpeiden tarkentuessa.

Tekoälyprojektin kustannusrakenne

Tekoälyprojektin kustannukset muodostuvat kolmesta pääkomponentista, joiden ymmärtäminen on kriittistä onnistuneen projektin suunnittelussa: AI-mallin käyttökustannuksista, pilvi-infrastruktuurin kustannuksista, ja kehittäjätyön kustannuksista.

Kielimallien käyttökustannukset

Kielimallien käyttö hinnoitellaan tokeneina, jotka ovat tekstin perusyksiköitä. Yksi token vastaa karkeasti 4 merkkiä tekstiä - esimerkiksi sana "tekoäly" kuluttaa noin kaksi tokenia. Kustannukset muodostuvat sekä mallille lähetetystä tekstistä (input tokens) että mallin tuottamasta vastauksesta (output tokens).

Kustannusten suuruusluokan ymmärtämiseksi: GPT-4o:n käyttö Azure OpenAI:n kautta maksaa noin 2.5$ miljoonaa input-tokenia kohti ja 10$ miljoonaa output-tokenia kohti. Käytännössä tämä tarkoittaa, että yksi keskipitkä keskustelu voi maksaa muutamia senttejä. Tämä voi kuulostaa pieneltä, mutta kustannukset kertautuvat nopeasti käytön kasvaessa.

Merkittävä oivallus token-kustannusten hallinnassa on se, että lyhyemmät ja täsmällisemmät promptit tuottavat usein parempia tuloksia kuin pitkät ja monimutkaiset. Tämä johtuu siitä, että kielimallit prosessoivat tekstiä rajallisessa konteksti-ikkunassa. Mitä enemmän tilaa käytämme ohjeistukseen, sitä vähemmän jää varsinaiselle tehtävälle. Samalla kustannukset kasvavat turhaan. Pitkiltä prompteilta voidaan välttyä, jos isompi tehtävä jaetaan osiksi ja delegoidaan useammalle AI-agentille, joilla kaikilla on oma suppea roolinsa kokonaisuudessa.

Pilvi-infrastruktuurin kustannukset

AI-sovellusten julkaisu internetiin vaatii laskentakapasiteetin vuokraamista pilvipalveluista. Tämä tapahtuu tyypillisesti joko SaaS (Software as a Service) tai PaaS (Platform as a Service) -palveluina. Kustannustehokkuuden kannalta julkaisutavan valinta on merkittävä päätös.

Azuressa olemme havainneet container-pohjaiset ratkaisut (Container Apps) ja serverless-funktiot (Azure Functions) usein kustannustehokkaimmiksi vaihtoehdoiksi. Esimerkiksi Prompt Flow'n (Microsoft low-code AI-kehitystyökalu) siirtäminen virtuaalikoneesta container-pohjaiseen toteutukseen voi tuoda merkittäviä säästöjä. Tämä vaatii kuitenkin ymmärrystä eri julkaisuvaihtoehtojen ominaisuuksista ja rajoitteista.

Infrastruktuurikustannuksiin vaikuttavat myös muut komponentit kuten tietokannat datan tallennukseen ja vektorihakupalvelut (kuten Azure AI Search) semanttista hakua varten.

Kehitystyön kustannukset

Kehitystyön kustannukset ovat usein projektin suurin yksittäinen menoerä. Näiden optimoinnissa keskeistä on tehokas kehitysprosessi ja oikeat työkaluvalinnat. Moderni AI-kehitys hyödyntää sekä perinteistä ohjelmointia (pro-code) että low-code työkaluja tilanteen mukaan.

AI-kehityksen yksi merkittävimmistä haasteista on iteraatioiden määrä. Toisin kuin perinteisessä ohjelmistokehityksessä, AI-järjestelmän toimintaa ei voi täysin ennakoida suunnitteluvaiheessa. Jokainen prompti vaatii useita iteraatiokierroksia, ja pienetkin muutokset kontekstissa tai käyttötapauksissa voivat vaatia merkittävää hienosäätöä. Tämä iteratiivinen prosessi voi viedä merkittävästi kehitysaikaa, jos kehitysprosessia ei ole suunniteltu tehokkaaksi.

Olemme kehittäneet lähestymistavan, joka jakaa järjestelmän kahteen osaan: vakaaseen procode-ytimeen ja ketteriin low-code AI-komponentteihin. Tämä jako ei ole vain tekninen valinta, vaan fundamentaalinen ratkaisu AI-kehityksen ajankäytön optimointiin.

Järjestelmän ydin rakennetaan perinteisellä ohjelmointitavalla ja sisältää toiminnot, jotka vaativat vakautta ja tarkkaa kontrollia:

  • Käyttäjähallinta ja autentikaatio
  • Keskusteluhistorian tallennus
  • Integraatiorajapinnat
  • Tietoturvan perusrakenteet

Ytimen kehitykseen käytetään enemmän aikaa aluksi, mutta siihen tulee harvoin päivityksiä myöhemmin. Tämä mahdollistaa resurssien keskittämisen AI-toiminnallisuuksien kehittämiseen.

AI-toiminnallisuudet toteutetaan modulaarisina agentteina low-code työkaluilla. Tämä mahdollistaa:

  • Nopeat iteraatiot prompteihin ja toimintalogiikkaan
  • Muutosten tekemisen ilman raskasta julkaisuprosessia
  • Toiminnallisuuksien testaamisen tuotantoympäristöä vastaavissa olosuhteissa

Tämä arkkitehtuuri säästää merkittävästi kehittäjäaikaa usealla tavalla:

Low-code työkalut nopeuttavat iteraatioita. Kun promptimuutokset voidaan testata ja ottaa käyttöön nopeasti ilman raskasta julkaisuprosessia, kehittäjät voivat keskittyä AI:n toiminnan hiomiseen teknisen infrastruktuurin sijaan. Lisäksi kehitykseen voi osallistua tekijöitä, joilla ei ole vahvaa pro-code-osaamista.

Modulaarisuus mahdollistaa komponenttien uudelleenkäytön. Kerran hyväksi todettu agentti voidaan helposti ottaa käyttöön uusissa projekteissa tai skenaarioissa.

Julkaisuprosessin automaatio on yksinkertaisempaa, kun muuttuvat osat on eriytetty vakaasta ytimestä. Tämä vähentää regressiotestauksen tarvetta ja nopeuttaa muutosten viemistä tuotantoon.

Arvonluonti AI-kehityksessä

Nykyään huippuluokan kielimallit ovat kaikkien saatavilla - oli kyseessä sitten Azure OpenAI:n palvelut, Anthropicin Claude tai avoimen lähdekoodin mallit kuten Llama. Vaikka näiden käytöstä sellaisenaan on saavutettavissa valtavia tuottavuushyötyjä, on niiden päälle tehtävällä kehitystyölle vielä paikkansa. AI-projektin arvo syntyy siitä, miten mallia hyödynnetään osana laajempaa kokonaisuutta.

Muisti ja kontekstin hallinta

Yksi keskeisimmistä arvonluonnin elementeistä on tehokas muistinhallinta. Siinä missä peruskäyttäjän chatti ChatGPT:n kanssa säilyttää hyvin keskusteluhistorian ja pystyy helposti tulkitsemaan yksittäisiä kuvia tai dokumentteja, ei se aina riitä, jos volyymi on iso, tai jos automaation aste halutaan korkeaksi. ammattimainen AI-assistentti tarvitsee kyvyn säilyttää ja hyödyntää tietoa sekä keskustelun aikana että keskustelujen välillä useasta eri lähteestä. Tähän on useita lähestymistapoja ja käytännön ratkaisut yhdistävät usein näitä kaikkia.

Vektoridatatietokannat mahdollistavat älykkään tiedonhaun suurista tekstimassoista. Kun käyttäjä kysyy esimerkiksi yrityksen toimintatavoista, assistentti voi hakea relevanttia tietoa sadoista dokumenteista merkityksen, ei vain avainsanojen perusteella. Tämä tekee vastauksista huomattavasti kattavampia ja tarkempia kuin mitä pelkkä kielimalli yksin pystyisi tuottamaan.

Perinteiset tietokantakyselyt AI:n avulla tuovat mukaan strukturoidun datan. AI voi muodostaa täsmällisiä SQL-kyselyitä luonnollisen keskustelun pohjalta, mikä mahdollistaa esimerkiksi tarkan numerodatan tai raporttien haun olemassa olevista järjestelmistä. Tämä yhdistää tekoälyn joustavuuden ja perinteisten järjestelmien tarkkuuden.

Usein yksinkertaisin ja hyödyllisin muistin muoto ovat kuitenkin promptit, jotka syötetään ohjeeksi tekoälylle keskustelun yhteydessä. Tämän takia promptien räätälöinti on ensisijaista. Siinä missä peruskäyttäjä kysyy suoria kysymyksiä, ammattimainen toteutus sisältää tarkkaan harkitut promptit, jotka:

  • Ohjaavat AI:n vastauksia organisaation tarpeiden mukaisesti
  • Varmistavat yhtenäisen tyylin ja terminologian
  • Optimoivat token-käyttöä ja sitä kautta kustannuksia
  • Mahdollistavat monimutkaisten tehtävien pilkkomisen hallittaviin osiin

Tietoturva ja datan hallinta

Toinen merkittävä arvonluonnin elementti on tietoturva ja datan hallinta. Azure OpenAI:n kaltaiset palvelut mahdollistavat datan prosessoinnin organisaation omassa ympäristössä, mikä on usein kriittinen vaatimus yrityskäytössä. Tämä tarkoittaa, että arkaluontoinen data ei koskaan poistu organisaation hallinnasta.

Käytettävyys ja integraatiot

Kolmas arvonluonnin taso tulee käytettävyydestä ja integraatioista. Hyvin suunniteltu AI-assistentti integroituu saumattomasti olemassa oleviin työkaluihin ja prosesseihin. Se voi toimia Teamsin kautta, generoida dokumentteja yrityksen mallipohjille tai päivittää tikettijärjestelmää.

Tämä kokonaisuus - älykäs muistinhallinta, räätälöidyt promptit, turvallinen datan käsittely ja saumattomat integraatiot - tekee AI-assistentista huomattavasti arvokkaamman työkalun kuin mitä pelkkä kielimallin peruskäyttö voisi tarjota. Se muuttaa yksinkertaisen chatbotin aidosti älykkääksi assistentiksi, joka integroituu saumattomasti organisaation toimintaan.

Testaus ja laadunvarmistus AI-järjestelmissä

AI-järjestelmien testaus eroaa fundamentaalisesti perinteisestä ohjelmistotestauksesta. Siinä missä perinteisessä testauksessa voimme odottaa täsmälleen samaa vastausta samoilla syötteillä, AI-järjestelmissä vastausten laatu ja sisältö voivat vaihdella.

Tämä ei tarkoita, etteikö testausta voisi tehdä systemaattisesti. Keskeistä on määritellä selkeät kriteerit sille, mikä on "riittävän hyvä" kussakin käyttötapauksessa. Olemme kehittäneet kaksiportaisen lähestymistavan:

Kriittiset vaatimukset ovat ehdottomia. Näitä ovat esimerkiksi tietoturva, käyttöoikeuksien noudattaminen ja arkaluontoisen tiedon käsittely. Näissä ei ole varaa joustolle, ja ne testataan perinteisen ohjelmistotestauksen menetelmin.

Asiallisuus ja relevanssi muodostavat toisen tason. Vastausten pitää olla asiallisia ja vastata kysymykseen, mutta hyväksymme jonkin verran vaihtelua muotoilussa ja yksityiskohdissa. Tätä testataan systemaattisesti esimerkkitapausten avulla.

Käytännön testauksessa hyödynnämme Microsoftin Azure Machine Learning Prompt Flow:n testausominaisuuksia. Tämä mahdollistaa eri promptiversioiden systemaattisen vertailun ja auttaa löytämään optimaalisen tasapainon laadun ja kustannusten välillä. Erityisen arvokasta on mahdollisuus testata samaa promptia eri AI-malleilla, sillä mallien vahvuudet vaihtelevat käyttötapausten välillä.

Jatkuva kehitys ja ylläpito

Tekoälyjärjestelmä ei ole koskaan "valmis" perinteisessä mielessä. Kielimallit kehittyvät, käyttäjien tarpeet tarkentuvat ja uusia mahdollisuuksia avautuu jatkuvasti. Siksi järjestelmän arkkitehtuurin pitää tukea jatkuvaa kehitystä ja adaptaatiota.

Modulaarinen rakenne, jossa AI-komponentit ovat erillään ytimestä, mahdollistaa nopean iteroinnin ja kehityksen. Lowcode – työkalut kuten Microsoft Copilot tai Microsoft Prompt Flow tukevat tätä mahdollistamalla promptien ja toimintalogiikan muokkaamisen ilman raskasta julkaisuprosessia tai edistynyttä koodaustaitoa.

Järjestelmän suorituskyvyn ja kustannusten jatkuva monitorointi on myös tärkeää. Token-käytön, vasteaikojen ja käyttäjätyytyväisyyden seuranta auttaa tunnistamaan kehityskohteita ja optimointimahdollisuuksia. Tämä data ohjaa jatkuvaa kehitystä oikeaan suuntaan.

Onko sinulla omia kokemuksia tai kysymyksiä low-coden ja pro-coden yhdistämisestä AI-kehityksessä? Kuulisimme niistä mielellämme.

Artikkelin kirjoittaja: Mikko Kärkkäinen, Lead AI Architect

Submit a comment

You may also like

Kokemuksia asiakasportaalin kehittämisestä Power Pages -työkalulla
Kokemuksia asiakasportaalin kehittämisestä Power Pages -työkalulla
12 kesäkuuta, 2024

Kokemuksia asiakasportaalin kehittämisestä Power Pages -työkalulla Toteutimme asiakkaallemme vaativan Power Pages -pohja...

Toimivampia dokumentointi-ratkaisuja ketterän kehitysmallin avulla
Toimivampia dokumentointi-ratkaisuja ketterän kehitysmallin avulla
22 toukokuuta, 2024

Rakentamisen palveluyhtiö Fira kaipasi sopimusneuvottelujen dokumentointiin ratkaisuja, joilla dataa pystyttäisiin hyödy...

Prosessikehitys auttaa kokonaisvaltaisesti
Prosessikehitys auttaa kokonaisvaltaisesti
25 huhtikuuta, 2024

Tero Tomukorpi on leanista ja datasta innostuva konsultti, joka tuntee prosessien kehittämisen salat.