Enpresa batek bere prozesuetan adimen artifiziala ezartzen erabakitzen duenean, goiz edo beranduago galdera hau agertzen da: OpenAI-ren APIa erabiltzen dugu, Anthropic-ena, Google-rena, ala zerbait muntatzen dugu iturburu irekiko ereduekin? Galdera honi erantzuten dioten artikulu gehienek ikuspegi teknikotik egiten dute —errendimendu-metrikak, benchmark-etako puntuazioak— eta ez da hori garrantzitsuena zure enpresaren IA arkitektura erabakitzen ari zarenean.
Hau da erantzuna negozio-erabaki hori hartu behar duenaren ikuspegitik.
Lurraldearen mapa
Gaur egun enpresentzat eskuragarri dauden hizkuntza-modelo handien bi mota daude.
Jabedun modeloak —OpenAI-ren GPT-4, Anthropic-en Claude, Google-ren Gemini— hornitzailearen azpiegituran exekutatzen diren sistemak dira. Haien API bidez eskaera bat bidaltzen duzu, haiek haien zerbitzarietan prozesatzen dute eta erantzuna itzultzen dizute. Erabileraren arabera ordaintzen duzu: prozesatzen duzun testu bakoitzagatik, sortzen duzun erantzun bakoitzagatik, sistematik igarotzen den token bakoitzagatik.
Kode irekiko ereduak —Metaren LLaMA, Mistral, Qwen eta hilero hazten den zerrenda bat— zure azpiegitura propioan deskargatu eta exekutatu ditzakezun ereduak dira. Libreki erabil, aldatu eta egoki ditzakezu. Zuk kontrolatzen duzun zerbitzari batean exekutatu ditzakezu, zuk erabakitako datuekin, hirugarren inork prozesatzen duzuna ikusi gabe.
Metaren LLaMA familia da bigarren talde honetan enpresa-erabilerarako garrantzitsuena. LLaMA 3,2024an kaleratua, benchmark askotan GPT-3.5en errendimenduaren antzeko eredua da, eta testuinguru espezifiko batzuetan eredu aurreratuagoekin lehiatzen da, nola konfiguratzen den eta zein atazatarako erabiltzen den arabera.
Kostuaren argudioa, kostuarena bakarrik ez dena
BAIn norbaitek bezero bati azaltzen dionean zergatik erabiltzen dugun LLaMA lokala OpenAI-ren APIaren ordez eraikitzen ditugun produktuetarako, solasaldia beti kostuarekin hasten da. Eta kostuak garrantzia du: API dei bakoitzagatik ordaintzea eta modeloa zure servidor propioan martxan izatea arteko aldea magnitude-ordena bat edo bi izan daiteke erabilera-bolumen altuetarako.
Baina argudiorik garrantzitsuena ez da dirua. Iragargarritasuna eta subiranotasuna dira.
API proprietario bat erabiltzen duzunean, hornitzaile horren jarraitutasunaren alde ari zara apustua egiten, bere prezioek egonkor iraun dezaten, datuen erabilera-politikak alda ez ditzaten, ereduaren errendimendua denboran zehar koherentea izan dadin eta behar duzun une berean zerbitzuak eten ez dadin. OpenAI-k etenpaldiak izan ditu. Prezioak aldatu ditu. Eguneratzeetan ereduen portaera aldatu du. Datuen erabilera-politikak aldatu ditu. Horrek guztiak bere azpiegituran oinarritzen diren aplikazioei eragiten die.
Zure azpiegituran exekutatzen den kode irekiko modelo batekin, gaur funtzionatzen duen modeloak berdin funtzionatuko du hamabi hilabete barru. Inferentziako kostua ez da aldatzen OpenAI-k bere prezioak berregituratzea erabaki duelako. Prozesatzen dituzun datuak ez dira zure zerbitzarietatik ateratzen.
GPT-4o Claude noiz diren aukera egokia
Jabedun ereduek benetako abantailak dituzte, eta ez dira baztertu behar.
Lehena zeregin konplexuetako kalitatea da. Arrazonamendu sofistikatuetan, dokumentu oso luzeen analisian, kode konplexuaren sorkuntzan eta ñabardura askoko informazioaren sintesian, OpenAI eta Anthropicen modelo aurreratuenek oraindik ere gainditzen dute hardware estandarrean LLaMA lokal batekin eraiki daitekeen sistema. Aldea nabarmena izan daiteke arrazonamenduaren kalitateak garrantzi handia duen zereginetan.
Bigarrena inplementazioaren erraztasuna da. OpenAI-ren APIa aplikazio batean integratzeak ordu batzuk behar ditu. LLaMA lokalean exekutatzeko azpiegitura eraikitzeak —GPU nahikoa duen zerbitzari bat, Ollama edo beste runtime bat, ereduen kudeaketa, monitorizazioa— egun batzuk behar ditu eta ezagutza tekniko espezifikoak eskatzen ditu.
Hirugarrena mantentze-lana da. Eguneratu beharreko tokiko modelo bat, monitorizatu eta mantendu beharreko azpiegitura bat, hardware-arazo posibleak: horrek guztiak kostu operatibo bat dakar, eta kostu hori ez dago API bat erabiltzen duzunean.
Zentzurik handiena duen arkitektura hibridoa
Aplikazio enpresarial gehienentzat, arkitektura optimoa ez da bat edo bestea hautatzea: modelo mota bakoitza zentzurik gehien duen lekuan erabiltzea baizik.
Bolumen handiko eta konplexutasun txikiko prozesuak —testuen sailkapena, dokumentuetatik datu egituratuen erauzketa, maiz egiten diren galderei erantzunak sortzea, laburpen azkarrak— eredu lokaletatik onuratzen dira kostu, abiadura eta pribatasun arrazoiengatik.
Bolumen txikiko eta konplexutasun handiko prozesuek —kontratuak aztertzea, agertoki estrategikoei buruzko arrazonamendua, oso landutako edukia sortzea, kalitateak eragin ekonomiko zuzen handia duen zereginak— gama altuko jabedun ereduak erabiltzeko kostua justifikatzen dute.
BAI-n gure produktuak logika honen gainean eraikitzen ditugu. Prozesu errepikakorrak eta bolumen handikoak Hetzner VPS-eko tokiko LLaMAren gainean exekutatzen dira. Arrazonamenduraren kalitatea funtsezkoa den kasuetarako, arkitekturak kanpoko APIak kasu puntualetan erabiltzeko aukera ematen du.
Datorren hogeita lau hilabetean dena aldatuko duen faktorea
LLaMA 3 LLaMA 2.baino nabarmen hobea da.LLaMA 4 LLaMA 3.baino nabarmen hobea izango da.Kode irekiko eredu onenen eta jabedun eredu onenen arteko kalitate-aldea industriaren gehiengoak aurreikusten zuena baino erritmo azkarragoan murrizten ari da.
Bat edo bi urteko horizontean, zentzuzkoa da espero izatea gama altuko kode irekiko modeloek —hardware espezializatuan exekutatuta— gaur egun modelo propietario aurreratuenek soilik eskaintzen duten errendimendura iristea. Gaur egun beren IA arkitektura eraikitzen ari diren enpresentzat, zentzua du hori diseinatzea, dena hutsetik berregin beharrik gabe, bilakaera hori aprobetxa ahal dezan.