Suosnivači Miso.ai-a Lucky Gunasekara i Andy Hsieh raspravljaju o tome kako je za uslugu na nivou preduzeća ključno prevazilaženje osnova RAG-a radi procene konteksta pitanja i pretpostavki.
Autor: Sharon Machlis
Generativna AI nudi veliki potencijal kao interfejs koji omogućava korisnicima da postavljaju upite nad vašim podacima na jedinstvene načine kako bi dobili odgovore prilagođene njihovim potrebama. Na primer, kao pomoćnici za upite, generativni AI alati mogu da pomognu kupcima da se bolje snalaze u opsežnoj bazi znanja o proizvodima koristeći jednostavan format pitanja i odgovora.
Ali pre nego što upotrebite generativnu veštačku inteligenciju da odgovorite na pitanja o vašim podacima, važno je najpre proceniti postavljena pitanja.
To je savet koji izvršni direktor i suosnivač Miso.ai-a Lucky Gunasekara upućuje timovima koji danas razvijaju generativne AI alate.
Miso.ai je partner dobavljača za projekat Smart Answers ovde na CIO.com i četiri naše sestrinske lokacije. Smart Answers koristi generativnu veštačku inteligenciju da odgovori na pitanja o člancima objavljenim na veb lokacijama CIO.com i Foundry vebsajtima Computerworld, CSO, InfoWorld i Network World. Miso.ai je takođe napravio sličan projekat Answers za IDG-ove veb stranice o potrošačkoj tehnologiji PCWorld, Macworld i TechHive.
Zanimalo me je kako Smart Answers iznosi svoje uvide, zamolio sam Gunasekara da detaljnoje izloži kako Miso.ai pristupa razumevanju i odgovaranju na pitanja korisnika.
Veliki jezički modeli (LLM) „su zapravo mnogo naivniji nego što mislimo“, kaže Gunasekara. Na primer, ako mu se postavi pitanje sa jakim uverenjem, LLM će verovatno otići i tražiti podatke koji potvrđuju to uverenje, čak i ako dostupni podaci pokazuju da je uverenje pogrešno. Dakle, na pitanje „Zašto projekat X nije uspeo?“, LLM bi mogao da izruči spisak razloga zbog kojih je projekat bio loš — čak i ako je bio uspešan. A to nije nešto što želite da dobijete od javne aplikacije.
Procena pitanja je korak koji se obično propušta u takozvanim RAG aplikacijama (Retrieval Augmented Generation), napominje Gunasekara. RAG aplikacije upućuju LLM na određeni korpus podataka i zatraže da odgovori na pitanja samo na osnovu tih podataka.
Takve aplikacije obično prate ovaj (donekle pojednostavljen) obrazac za podešavanje:
- Podeliti postojeće podataka u delove, jer bi svi podaci bili preveliki da bi se uklopili u jedan LLM upit.
- Generisati ono što je poznato kao ugrađivanje za svaki deo, da bi se semantičko značenje tog dela predstavilo kao niz brojeva, i sačuvati ih. Ažurirajti po potrebi kako se podaci menjaju.
A onda po pitanju:
- Generisati ugradnje.
- Pronaći delove teksta koji su po značenju najsličniji pitanju, koristeći proračune zasnovane na ugrađivanju.
- Ubaciti korisničko pitanje u LLM i zatražiti da odgovori isključivo na osnovu najrelevantnijih delova.
Evo gde Gunasekarin tim ima drugačiji pristup, dodajući korak za proveru pitanja pre nego što zatraži relevantne informacije. „Umesto da direktno postavimo to pitanje, najpre pitamo da li je ta pretpostavka tačna“, objašnjava Andy Hsieh, Miso CTO i suosnivač.
Pored provere pretpostavki svojstvenih pitanju, postoje i drugi načini da se poboljša osnovni RAG cevovod kako bi se poboljšali rezultati. Gunasekara savetuje da se ne ostaje na osnovama, posebno kada se od faze eksperimenta kreće ka rešenju vrednom proizvodnje.
„Postoji veliki naglasak na „Nabavite vektorsku bazu podataka, uradite RAG postavku i sve će funkcionisati bez podešavanja“, kaže Gunasekara. „To je odličan način da dobijete dokaz nekog koncepta. Ali ako treba da napravite uslugu na nivou preduzeća koja ne stvara neželjene posledice, uvek je važan kontekst, kontekst, kontekst.“
To može da znači korišćenje drugih signala osim semantičkog značenja teksta, kao što su skorašnjost i popularnost. Gunasekara ukazuje na još jedan projekat na kojem Miso radi sa veb-sajtom za kuvanje, dekonstruišući pitanje: „Koji je najbolji kolač za žurku koji se sprema unapred?“
„Morate da odvojite za šta su vam zaista potrebni signali“ za upit, kaže on. Kolač „Unapred” znači da ne mora da se servira odmah; „za žurku“ znači da treba da se posluži više od nekoliko ljudi. Zatim postoji pitanje kako LLM može da odredi koji su recepti „najbolji“. To može značiti korišćenje drugih podataka sa veb-sajta, kao što su recepti koji imaju najveći promet, rangiranje među čitaocima ili nagrade izborom urednika – sve je to zasebno od pronalaženja i sumiranja povezanih delova teksta.
„Mnogo od te sablasne magije ispravljanja pre svega se nalazi u signalima za kontekst“, kaže Gunasekara.
I dok je kvalitet LLM-a još jedan važan faktor, Miso ne polazi od toga da je neophodno koristiti najbolje ocenjene i najskuplje komercijalne LLM-e. Umesto toga, Miso za neke klijentske projekte fino podešava modele zasnovane na Llama 2, delimično kako bi smanjio troškove i zato što neki klijenti ne žele da njihovi podaci odu trećem licu. Miso to takođe čini zbog onoga što Gunasekara naziva „ogromna snaga koja se trenutno javlja u otvorenom kodu [LLM]“.
„Otvoreni kôd zaista pristiže“, dodaje Hsieh. „Modeli otvorenog koda su veoma, veoma blizu da nadmaše GPT-4.“
Izvor: CIO