Kielimallijärjestelmien arviointi
Miten tiedämme, että tekoälyominaisuus toimii, miten tiedämme sen edelleen jokaisen muutoksen jälkeen ja miten luovutamme luvut sinulle.
Periaate
Jos emme voi mitata sitä, emme julkaise sitä. Jokaisen tekoälyominaisuuden mukana tulee arviointiaineisto, ajoympäristö, joka ajaa sen, ja pistemäärä, jonka voit lukea. Aineisto rakennetaan todellisista tapauksistasi, kasvaa työn aikana ja jää sinulle.
Aineiston rakentaminen
- Kerää todellisia syötteitä, rumat mukaan lukien: huonosti skannattu lasku, kolmikielinen tukipyyntö, kysymys kirjoitusvirheellä. Viisikymmentä on alku; muutama sata on mukava määrä.
- Kirjoita odotetut tulokset niiden ihmisten kanssa, jotka tekevät työn tänään. Tiedonpoiminnassa nämä ovat oikeat kentät; vastauksissa faktat, joiden on oltava mukana, ja ne, joita ei saa olla; luonnoksissa arviointikriteeristö.
- Merkitse tapaukset tyypin ja vaikeuden mukaan, jotta pisteiden lasku voidaan jäljittää luokkaan eikä vain lukuun.
Ajaminen
const report = await evals.run("support-drafts", {
model: "claude-opus-5-5",
cases: await evals.load("support-drafts@2026-10"),
graders: [factsPresent, noForbiddenClaims, toneRubric],
budget: { maxCostEur: 5 },
});
// report.score, report.byTag, report.regressionsAjoympäristö pyörii jatkuvassa integraatiossa jokaisen kehotteisiin, hakuun, työkaluihin tai malliversioon tehdyn muutoksen yhteydessä. Sovitun kynnyksen ylittävä lasku estää julkaisun, aivan kuten epäonnistuva yksikkötesti.
Mitä mittaamme
| Malli | Mittarit |
|---|---|
| Luokittelu | Tarkkuus, luokkakohtainen täsmällisyys ja saanti, sekaannukset kalliissa virheissä |
| Tiedonpoiminta | Kenttätason täsmällinen osuma, skeeman kelvollisuus, tarkistukseen lähetettyjen osuus, tarkistuskorjaukset ajan myötä |
| Haku ja vastaus | Haun osumatarkkuus, lähdeviitteiden oikeellisuus, vastauksen uskollisuus, "ei lähteissä" silloin kun se on totta |
| Luonnostelu | Hyväksymisaste, muokkausetäisyys, säästetty aika per kohde, kriteeristön pisteet |
| Työkalujen käyttö | Tehtävän suoritus, väärän työkalun osuus, askeleet ja kustannus per tehtävä, hyväksyntäporttien osumat |
Lisäksi aina: viiveen persentiilit ja kustannus per pyyntö.
Tuotannossa
Arviointi ei lopu julkaisuun. Otos todellisesta liikenteestä arvioidaan jatkuvasti, käyttäjäpalaute (peukut, muokkaukset, eskalaatiot) virtaa takaisin aineistoon, ja kuukausiraportti näyttää trendin. Kun toimittaja julkaisee uuden malliversion, aineisto kertoo tunnin sisällä, kannattaako vaihtaa.
Mitä saat
Tapaukset, arvioijat, ajoympäristön ja historian, koodivarastossasi, dokumentoituna. Joku teidän puolellanne voi lisätä tapauksen viidessä minuutissa. Se on todellinen toimitus; malli on vaihdettavissa.