Арменският програмист Армен Атаян, който живее в Казахстан, представи първият висококачествен модел за голям език (LLM), специално разработен за арменския език. Моделът е свободно достъпен онлайн, като целта му е да предостави авангардна технология за изкуствен интелект, достъпна за арменскоговорящите общности по целия свят.
Да поясним: големите езикови модели (LLM) са модели за машинно обучение, които могат да разбират и генерират текст на човешки език. Те работят чрез анализ на огромни масиви от езикови данни.
HyGPT е първата усъвършенствана програма, разработена за източноарменски, а създаването ѝ бележи значителна стъпка към дигиталното овластяване на арменския език. Основната цел на проекта е да се разработи и обучи съвременен езиков модел, който функционира директно на арменски език, помагайки за преодоляване на разликата между говорещите този език и бързо развиващата се област на изкуствения интелект.
Проектът преминава през няколко ключови фази. Първоначално е избран подходящ базов модел. Това е последвано от внимателно съставяне и куриране на мащабен и представителен арменски езиков корпус. След това премина през процес на предварително обучение, за да се осигури ефективно разбиране и генериране на източноарменския език. Приложена е и фина настройка, базирана на инструкции, което значително подобрява разговорните възможности на модела. Внедрени са няколко иновативни техники, за да се гарантира качеството и релевантността на прототипа. Освен това е проведено педагогическо обучение, което значително подобрява диалоговите възможности на HyGPT.
Въпреки скорошния глобален напредък в областта на изкуствения интелект и езиковото моделиране, арменският език остава до голяма степен недостатъчно обслужван. Това представлява основна пречка за арменските потребители, желаещи да използват най-новите инструменти на изкуствения интелект на родния си език. „Създаването на HyGPT е жизненоважна стъпка в запазването на дигиталната идентичност на нашия език и култура“, казва Армен Атаян. Той пояснява още: „Арменският език заслужава най-съвременни инструменти с изкуствен интелект, които могат да служат на образованието, бизнеса и творческите индустрии. Гордея се, че успяхме да изградим първия висококачествен голям езиков модел, специално адаптиран към нюансите на нашия език. Този проект открива уникална възможност за говорещите арменски език да възприемат съвременните технологии и да изграждат системи на арменски“.
Обучителният набор от данни за HyGPT включва широк набор от съдържание на арменски език – новинарски статии, курирано уеб съдържание, записи в Уикипедия, литературни текстове, научни статии и други публично достъпни източници. Специална заслуга в работата има и Артак Ховсепян, чиито събрани материали са от съществено значение за пълнотата на модела.
Армен Атаян е прекарал детството си в Армения и понастоящем живее в Казахстан, където основава Gen2B.ai – компания, фокусирана върху прилагането на технологии с изкуствен интелект в бизнеса. Под негово ръководство е разработена и първата в Казахстан LLM на казахстански език – Irbis GPT, която получи значително внимание в местните медии. Сега той планира да разработи подобни модели в близко бъдеще за Люксембург и Узбекистан.
Програмистът разглежда създаването на HyGPT като личен принос към бъдещето на изкуствения интелект в Армения. „Това е моят начин да се отдам на арменската култура, език и общество. Те изиграха ключова роля в оформянето на това кой съм аз – както лично, така и професионално. Надявам се HyGPT да стане основата за много нови арменски дигитални иновации“, казва той.
Казахстанската технологична компания Gen2B, основана от рисковия инвеститор Бахт Ниязов и технологичния предприемач Армен Атаян, представи HyGPT неотдавна. Моделът е разработен в сътрудничество с Националния център за изкуствен интелект и технологии на Армения (NCCAIT).
HyGPT е изграден върху архитектурата Gemma 2 и е обучен върху 10 милиарда арменски токена. Той показва силна производителност в задачи като превод, отговаряне на въпроси, математически разсъждения и следване на инструкции. В няколко арменски бенчмарка, HyGPT-10b превъзхожда международните модели със значително по-големи размери на параметрите.
HyGPT вече е достъпен за изтегляне на платформата Hugging Face и може да се използва в образователни проекти, дигитални продукти, обществени услуги и бизнес приложения.