Արհեստական բանականության նոր տեխնոլոգիա է մշակվում Հայաստանում. Retrieval-Augmented Generation (RAG):

Բնականաբար առաջին անգամ։

Ես բազմիցս անգամ ասել եմ, որ ԱԲ֊ի հետ կապված յուրաքանչյուր աշխատանք բաղկացած է 95 և ավել տոկոս տվյալների հավաքից և մշակումից։

Իսկ քանի որ «պաշտոնական ու ֆորմալ» Հայաստանում որևէ քայլ չի արվում տվյալների հավաքման ու մշակման ուղղությամբ, ուրեմն Հայաստան արհեստական բանականության զարգացման խոսակցությունները դրանք ամպագոռգոռ հայտարարություններ են, որոնք ոչ մի կապ չունեն տեղական ցավալի խնդիրների և նրանց կարգավորման հետ։

Ո՞վ է գժվել տվյալներ հավաքել «թվային գեներալների» կազմած PDF ֆայլերից, որտեղ խախտված է կոդավորումը, տարանջատված է տեքստը անկանոն ու կամայական կտորների ու դրանք միախառնված են ծառայողական տվյալներ՝ բացատրությունների, հղումների, էջանիշների, դիզայնի տարրերի հետ։

Ինչպես գիտեք, վաղուց գործադրվում է Fine-Tuning-ը՝ կատարելագործումը, իսկ հիմա հասանելի դարձավ նաև RAG-ը։

Հիմա պարզ լեզվով բացատրեմ, թե ի՞նչ անհասկանալի երևույթի մասին է խոսքը և կարևորը ինչի՞ համար է պետք։

Ենթադրենք, որ ԱԲ֊ն մշակվել է մեկ տարի առաջ, իսկ դուք ցանկանում եք, որ ԱԲ֊ն պատասխանի ակտուալ հարցերին։

Ինչպե՞ս լուծել խնդիրը։

Կարելի է անել Fine֊Tuning-ի միջոցով, բայց դա շատ ծախսատար ու երկար գործողություն է։ Մինչև անենք այն, վտանգ կա, որ կհնանա։

Դրա համար էլ ԱԲ֊ի մասնագետները հնարել է մի շատ խորամանկ մեթոդ, որը թույլ է տալիս միշտ թարմ ու առույգ վիճակում պահել ԱԲ֊ն։

Հատկապես այս մեթոդն ակտուալ է դինամիկ փոխվող տվյալների հետ կապված։

ԱԲ֊ից դուրս տեղադրվում է դինամիկ փոխվող տվյալներ շտեմարան, որտեղ բառերը և արտահայտությունները թվայնացված ու վերլուծված են այնպես, որ հստակորեն կարելի է որոշել այդ բառերի ու արտահայտությունների հեռավորության չափը, ինչն էլ, չզարմանք, ապահովում է իմաստային բովանդակությունը։

Երբ հարցը մուտք է գործում, տեղի է ունենում հարցի համատեքստի (context) որոնում, ինչպես պատկերված է սքրինշոթում։

Հաջողությամբ դեպքում հարցն ուղարկվում է ԱԲ գտնված context֊ով։

ԱԲ֊ն ձևակերպում է համատեքստը և հրամցնում օգտատերերին որպես պատասխան։

Թվում է թե պրիմիտիվ ու կոպիտ է, բայց իրականում գերազանց աշխատում է։

Շուտով կտեսնեք։

Իսկ մինչ այդ լուծենք հայերենի հետ խնդիրները, քանի որ ներկառուցման (embedding) ամեն մեխանիզմ չի աջակցում հայերենն ամբողջապես։

Պետք է թեստավորել և գտնել համապատասխան մեխանիզմները, ինչպես նաև կարճացնել մոդուլի արագությունը։

Աստծո օգնությամբ