Ресурстары шектеулі құрылғылар үшін нейрондық желілерді оқытуды жұмсақ есептеу әдістері арқылы оңтайландыру

Талғатқызы Б.¹, Бисембай А.²

¹ Тәуелсіз зерттеуші, Атырау, Қазақстан

* Байланысшы автор: Талғатқызы Б. (tbakytkelsin@icloud.com )

Аңдатпа

Смартфондар, IoT сенсорлары және тағылатын гаджеттер сияқты шеткі құрылғыларда жасанды интеллектті орналастыру есептеу ресурстарының, жадының және батарея қуатының шектеулігіне байланысты елеулі қиындықтарға тап болады. Стохастикалық градиентті түсу (SGD) сияқты дәстүрлі оқыту әдістері көбінесе жоғары энергия тұтынуға және баяу жинақталуға әкеледі. Бұл мақалада нейрондық желіні оқыту кезінде оқу жылдамдығы мен моментумды (серпінді) динамикалық түрде реттеу үшін Үйірлі бөлшектер әдісін (PSO) Фаззи-логикалық контроллермен біріктіретін гибридті жұмсақ есептеу тәсілі ұсынылған. Ресурстары шектеулі симуляцияланған ортада жеңілдетілген MNIST және CIFAR-10 деректер жиынтығында жүргізілген тәжірибелер оқыту уақытының 28%-ға қысқарғанын және салыстырмалы энергия тұтынудың 35%-ға азайғанын, сонымен бірге бәсекеге қабілетті дәлдіктің сақталғанын көрсетті. Ұсынылған әдіс төмен қуатты құрылғыларда бейімделген оқыту үшін тиімді және түсіндірмелі шешім ұсынады, бұл шеткі ЖИ-ді оңтайландырудың дамып келе жатқан саласына үлес қосады.

Түйін сөздер: Жұмсақ есептеулер, Нейрондық желілер, Үйірлі бөлшектер әдісі (PSO), Фаззи-логика, Шеткі ЖИ (Edge AI), Ресурстары шектеулі құрылғылар.

______________________________________________________________________________________

1. Кіріспе

Ресурстары шектеулі құрылғыларда жасанды интеллект қосымшаларының қарқынды дамуы тиімді оқыту әдістеріне деген қажеттілікті тудырды. Шеткі құрылғылардың жады (көбінесе 512 МБ-тан төмен), процессор қуаты және батарея сыйымдылығы шектеулі болады. Кері таралуға негізделген дәстүрлі оңтайландырғыштар энергияны шамадан тыс жұмсауға және оқыту уақытының ұзаруына әкеледі. Бұл зерттеу нейрондық желінің гиперпараметрлерін динамикалық оңтайландыру үшін PSO және Фаззи-логиканы біріктіретін гибридті әдісті ұсынады.

2. Қатысты жұмыстар

Көптеген зерттеушілер нейрондық желілерді оңтайландыру әдістерін зерттеді. SGD, Adam және RMSprop сияқты дәстүрлі әдістер кеңінен қолданылады, бірақ олар көбінесе баяу жинақталудан немесе жергілікті минимумдарда қалып қоюдан зардап шегеді. Жұмсақ есептеу тәсілдері анықсыздық пен күрделі оңтайландыру мәселелерін шешуде перспективалы нәтижелер көрсетті.

2.1 Үйірлі бөлшектер әдісі (PSO)

PSO — құстар мен балықтардың әлеуметтік мінез-құлқынан шабыттанған популяцияға негізделген метаэвристикалық әдіс. Ол бөлшектердің орындары мен жылдамдықтарын жеке және жаһандық үздік тәжірибелерге сәйкес жаңарту арқылы оңтайлы шешімдерді іздейді.

3. Әдістеме

Ұсынылған тәсіл гиперпараметрлерді жаһандық іздеу үшін PSO-ны және оқыту кезінде нақты баптау үшін Мамдани типті фаззи-логикалық жүйені біріктіреді.

3.1 Фаззи-логикалық контроллер

Фаззи-контроллер үш кірісті қабылдайды: ағымдағы оқыту қателігі, қателіктің өзгеруі және қалған батарея деңгейі. Ол оқу жылдамдығы мен моментумды реттеу факторларын шығарады. 27 фаззи-ережелер жиынтығы шешім қабылдау процесін бағыттайды, мысалы: «ЕГЕР қателік Жоғары ЖӘНЕ батарея Төмен БОЛСА, ОНДА оқу жылдамдығын реттеу Өте Төмен болады».

3.2 Гибридті оқыту алгоритмі

1. Әртүрлі гиперпараметрлер жиынтығын білдіретін бөлшектер үйірін инициализациялау.

2. Әр итерация үшін нейрондық желіні шектеулі дәуірлер санында оқыту.

3. Жарамдылықты дәлдік пен болжамды энергия тұтыну негізінде бағалау.

4. Стандартты PSO теңдеулері арқылы бөлшектерді жаңарту.

5. Келесі итерация үшін параметрлерді нақтылау мақсатында фаззи-контроллерді қолдану.

4. Тәжірибе нәтижелері

Тәжірибелер Python және TensorFlow Lite көмегімен симуляцияланған ортада (256 МБ жедел жады, 1 ГГц бір ядролы процессор) жүргізілді.

1-кесте. Әртүрлі оңтайландырғыштардың өнімділігін салыстыру

Нәтижелер көрсеткендей, гибридті әдіс оқытуды тездетіп, ресурстарды аз жұмсай отырып, жоғары дәлдікті сақтайды.

5. Қорытынды

Бұл жұмыс PSO және Фаззи-логиканы біріктірудің ресурстары шектеулі құрылғыларда нейрондық желілерді оқыту үшін тиімділігін дәлелдейді. Бұл тәсіл оқыту уақытын және энергия шығынын айтарлықтай азайтып, оны заманауи шеткі ЖИ (Edge AI) қосымшалары үшін қолайлы етеді.

Автор туралы мәлімет: Талғатқызы Б. – Атырау қаласының тәуелсіз зерттеушісі. Оның ғылыми қызығушылықтарына жасанды интеллект, жұмсақ есептеу әдістері және оңтайландыру алгоритмдері кіреді. Ол ресурстары шектеулі құрылғыларда нейрондық желілерді оқытудың тиімді шешімдерін жасауға баса назар аударады.

ORCID: [Talgatkyzy.B]: https://orcid.org/0009-0001-1555-9670