Hizkuntza-modeloek oinarrizko arazo bat dute enpresa-erabilerarako: mundua ondo ezagutzen dute, baina zure enpresari buruz ez dakite ezer. Ez dakite zeintzuk diren zure egungo tarifak, ez dute zure produktu-katalogoa ezagutzen, eta ez dute sarbiderik zure bezeroekin dituzun kontratuetara ez eta zure enpresaren politiketara ere. GPT-4n oinarritutako chatbot bati zure zerbitzuen prezioei buruz galdetzen badiozu, zerbait sinesgarria asmatzen du edo ez dakiela esaten du.
RAG (Retrieval Augmented Generation) arazo hori konpontzen du. Modeloaren entrenamendu-ezagutzara mugatzeko ordez, sistemak lehenik informazio garrantzitsua bilatzen du zure dokumentu eta datuetan, elkarrizketaren testuinguruan txertatzen du, eta modeloak informazio erreal eta eguneratuan oinarrituta erantzuten du.
Nola funtzionatzen du RAGek teknikoki
Prozesuak hiru urrats ditu:
Indexazioa: Enpresaren dokumentuak (tarifetako PDFak, webeko orrialdeak, ezagutza-baseko artikuluak, kontratu ereduak, produktu-fitxak) prozesatzen dira, zatitan banatzen dira eta haien esanahi semantikoa adierazten duten bektore matematikotan bihurtzen dira. Bektore horiek bektore-datu-base batean gordetzen dira (Pinecone, Weaviate, Chroma edo pgvector PostgreSQL-en).
Berreskurapena: Erabiltzaileak galdera bat egiten duenean, galdera ere bektore bihurtzen da eta semantikoki antzekoagoak diren dokumentu-zatiak bilatzen dira. Ez da hitz gako zehatzen bidezko bilaketa: erabiltzaileak "Zenbat balio du chatbotak?" galdetzen badu, sistemak chatboten prezioen inguruan hitz egiten duten dokumentu-zatiak berreskuratzen ditu, hitz horiek zehazki erabili ez arren.
Generazioa: Berreskuratutako zatiak erabiltzailearen galderarekin batera hizkuntza-modeloari bidalitako prompt-ean txertatzen dira. Modeloak erantzuna sortzen du informazio zehatz horretan oinarrituta, ez bere ezagutza orokorrean.
Emaitza: zure enpresari buruzko galdera zehatzei erantzun diezaiekeen chatbot bat, informazio eguneratuarekin, haluzinaziorik gabe, eta erantzun bakoitzaren iturria aipa dezakeena.
RAGek eragin handiena duen erabilera-kasuak
Bezeroei arreta emateko chatbot-a bere ezagutzarekin: Chatbot-ak itzultze-politikei, produktuen eskuragarritasunari, uneko prezioei eta zerbitzuen baldintzei buruz erantzun dezake. Informazioa aldatzen denean, ezagutza-baseko dokumentua eguneratzen da eta chatbot-ak automatikoki informazio berria erabiltzen du ezer birprogramatu gabe.
Enpresako barne-laguntzailea: Langileek hizkuntza naturalean galderak egin ditzakete enpresako politikei, GGKKko prozesuei, dokumentazio teknikoari edo proiektuen historialari buruz. Karpetak arakatu edo lankideei galdetu beharrean, laguntzaileari galdetzen diote.
Katalogoa ezagutzen duen agente komertziala: Katalogoko produktu edo zerbitzuei buruzko galdera zehatzei erantzun, aukerak alderatu, desberdintasun teknikoak azaldu eta bezeroaren beharrizanetan oinarritutako gomendioak egin ditzakeen ahots-agente bat edo chatbot bat.
Dokumentu juridikoen eta kontratuen analisia: Enpresako kontratu guztien gaineko RAG duen agente batek honelako galderei erantzun diezaieke: "Zein dira datozen 90 egunetan iraungiko diren kontratuak?" edo "Zein dira X bezeroaren kontratuaren zigor-klausularen baldintzak?".
RAGek zer ez duen konpontzen
RAG-ek informazio estatiko edo erdi-egituratutarako sarbide-arazoa konpontzen du. Ez du konpontzen etengabe aldatzen diren denbora errealeko datuetarako sarbide-arazoa (uneko stock-a, denbora errealeko prezioak, une honetan eskaera baten egoera). Horretarako, agenteak sistema transazionalen APIei deiak egin behar dizkie, ez RAG.
Era berean, RAGaren kalitatea indexatzen diren dokumentuen kalitataren araberakoa da. Enpresaren dokumentazioa zaharkitua, osatugabea edo inkonsistentea bada, agenteak zaharkitutako, osatugabeko edo inkonsistenteko erantzunak emango ditu. GIGO: garbage in, garbage out.
Gure Chatbot elkarrizketakorrek RAG ezartzen dute bezero bakoitzaren dokumentazioan, konfigurazio-prozesu estandarraren parte gisa.