Vienas dažniausių pažadų, kuriuos šiandien girdime apie dirbtinį intelektą, skamba maždaug taip:

„Prijunkite AI prie savo dokumentų, ir jis atsakys į visus vartotojų klausimus.“

Technologiškai tai įmanoma, tačiau praktikoje dažnai paaiškėja, kad vien prijungti daugybę dokumentų neužtenka.

Kodėl?

Nes dokumentai nėra žinios. Dokumentai yra informacijos šaltinis. Žinios atsiranda tada, kai aišku:

  • kuri informacija svarbi;
  • kaip ji susijusi tarpusavyje;
  • kokiame kontekste ji naudojama;
  • kokį sprendimą žmogus bando priimti.

Dažnai organizacijos turi tūkstančius dokumentų, bet dokumentuose nebūtinai yra aiškus atsakymas:

  • kuris iš jų yra pagrindinis;
  • kuri versija galiojanti;
  • kokie procesai pasikeitė;
  • kokie terminai skirtinguose skyriuose reiškia tą patį.

Šiuolaikiniai modeliai su tokiu informacijos chaosu susitvarko vis geriau. Jie gali perskaityti didžiulius tekstų kiekius, surasti juose informaciją ir susieti faktus iš skirtingų šaltinių. Vis dėlto tai neišsprendžia vienos fundamentalios problemos: reikalinga informacija pirmiausia turi pasiekti modelį, o ją gavęs modelis turi suprasti, kuri jos dalis svarbi.

Naudojant RAG, modelis paprastai nemato visos dokumentų bazės. Paieškos sistema atrenka, jos vertinimu, aktualiausius fragmentus ir tik juos perduoda modeliui.

Kai atsakymas aiškiai aprašytas vienoje vietoje, tai veikia gerai. Problema atsiranda, kai signalas silpnas arba išsklaidytas: viena atsakymo dalis yra viename dokumente, kita – kitame, o svarbi išimtis – trečiame.

Informacija organizacijoje egzistuoja, tačiau tai dar nereiškia, kad visa ji pateks į modelio kontekstą. O ko modelis negavo, tuo jis negali remtis.

Paiešką galima gerinti – naudoti hibridinę paiešką, reranking, query rewriting ar agentinį retrieval, bet pati signalo paieškos problema dėl to neišnyksta.

Kitas kelias – pateikti modeliui daug didesnę dalį dokumentų iš karto. Didėjant modelių konteksto langams tai tampa vis realesne alternatyva. Ir tada atsiranda priešinga problema: kuo daugiau informacijos pateikiame, tuo daugiau sprendimų paliekame pačiam modeliui. Jis turi nuspręsti, kas konkrečiam klausimui svarbu, ką galima ignoruoti, kaip susieti skirtinguose dokumentuose esančią informaciją ir ką daryti, jei šaltiniai vienas kitam prieštarauja.

Taigi tam tikra prasme renkamės tarp dviejų problemų:

  • RAG atveju rizikuojame, kad svarbus signalas modelio apskritai nepasieks.
  • Didelio konteksto atveju – kad svarbus signalas paskęs tarp mažiau reikšmingos informacijos.

Čia prasideda didžioji AI projekto dalis. Ji nėra nei stebuklingų promptų rašymas, nei vien skirtingų modelių lyginimas. Dažnai tai – organizacijos žinių, dokumentų ir procesų tvarkymas bei sprendimas, kaip reikiamos žinios pasieks modelį tada, kai jų reikės.

Reikia suprasti:

  • kokių klausimų vartotojai iš tikrųjų klausia;
  • kokius sprendimus jie priima;
  • kokios informacijos jiems tam reikia;
  • kaip ši informacija turi būti pateikta.

Kartais paaiškėja, kad užtenka kelių gerai sutvarkytų dokumentų, kartais reikia standartizuoti duomenis, o kartais reikia pakeisti patį procesą. Tada AI pradeda veikti taip, kaip buvo tikėtasi.

Taisyklė, kurią verta prisiminti

Jei norite sukurti AI asistentą, kuris patikimai atsakinėtų į klausimus apie jūsų organizaciją, pirmiausia reikėtų galvoti ne apie modelį, o apie pačias žinias.

Mano praktinė taisyklė paprasta:

Jei žmogui būtų sunku susigaudyti jūsų dokumentuose, greičiausiai sunku bus ir AI.

Žinios turėtų būti organizuotos panašiai kaip gera knyga ar kokybiška dokumentacija – aiški struktūra, nuosekli terminija, logiškas informacijos išdėstymas ir kuo mažiau pasikartojimų ar prieštaravimų.

Kitaip tariant, problema nebėra vien tai, ar AI gali perskaityti jūsų dokumentus. Šiuolaikiniai modeliai tai daro vis geriau.

Svarbesnis klausimas – ar reikiamu momentu modelį pasieks būtent ta informacija, kurios jam reikia, ir ar tarp visos pateiktos informacijos jis teisingai atpažins signalą.

Dokumentai savaime nėra žinių bazė. Žinių baze jie tampa tada, kai informacija organizuota taip, kad sistema galėtų patikimai rasti ir panaudoti reikalingas žinias.

Todėl AI diegime dokumentų kiekis retai yra didžiausias privalumas. Daug svarbiau tai, kaip organizacijos žinios yra sutvarkytos ir kaip jos pateikiamos modeliui. Nes modelio konteksto lango dydis pasako, kiek informacijos galime jam duoti.

Kuriant patikimą AI sistemą svarbesnis klausimas yra kitas:

Kaip užtikrinti, kad tarp visos tos informacijos modelis gautų ir panaudotų būtent tą signalą, kurio reikia konkrečiam sprendimui.