2016 жылдың бірінші жартыжылдығында әлем нейрондық желілер саласындағы көптеген әзірлемелер туралы естіді - Google (Go желілік ойнатқышы AlphaGo), Microsoft (суретті сәйкестендіруге арналған бірқатар қызметтер), MSQRD, Prisma стартаптары және басқалары өздерінің алгоритмдерін көрсетті.
Бетбелгілер
Сайт редакторлары нейрондық желілердің не екенін, олар не үшін қажет екенін, неліктен олар планетаны жылдар бұрын немесе кейінірек емес, дәл қазір жаулап алғанын, олардан қанша табыс табуға болатынын және нарықтың негізгі ойыншылары кім екенін айтады. MIPT, Yandex, Mail.Ru Group және Microsoft сарапшылары да өз пікірлерімен бөлісті.
Нейрондық желілер дегеніміз не және олар қандай мәселелерді шеше алады?
Нейрондық желілер жасанды интеллект жүйелерінің даму бағыттарының бірі болып табылады. Бұл идея адамның жүйке жүйесінің жұмысын мүмкіндігінше жақын модельдеу болып табылады - атап айтқанда, оның қателерді үйрену және түзету қабілеті. Бұл кез келген нейрондық желінің басты ерекшелігі - ол өз бетінше үйренуге және алдыңғы тәжірибеге сүйене отырып әрекет етуге қабілетті, әр жолы аз және аз қателіктер жібереді.
Нейрондық желі тек белсенділікке ғана емес, адамның жүйке жүйесінің құрылымына да еліктейді. Мұндай желі көптеген жеке есептеуіш элементтерден («нейрондар») тұрады. Көп жағдайда әрбір «нейрон» желінің белгілі бір деңгейіне жатады. Енгізілген деректер желінің барлық деңгейлерінде дәйекті түрде өңделеді. Әрбір «нейронның» параметрлері кіріс деректерінің алдыңғы жинақтарында алынған нәтижелерге байланысты өзгеруі мүмкін, осылайша бүкіл жүйенің жұмыс тәртібі өзгереді.
Mail.Ru Group-тағы Mail.ru іздеу бөлімінің басшысы Андрей Калинин нейрондық желілер басқа машиналық оқыту алгоритмдері сияқты мәселелерді шешуге қабілетті екенін, айырмашылық тек оқытуға деген көзқараста екенін атап өтеді.
Нейрондық желілер шеше алатын барлық тапсырмалар қандай да бір түрде оқытумен байланысты. Нейрондық желілерді қолданудың негізгі бағыттарына болжау, шешім қабылдау, үлгіні тану, оңтайландыру және деректерді талдау жатады.
Ресейдегі Microsoft корпорациясының технологиялық ынтымақтастық бағдарламаларының директоры Влад Шершульский нейрондық желілер қазір барлық жерде қолданылатынын атап өтті: «Мысалы, көптеген ірі интернет-сайттар оларды пайдаланушылардың мінез-құлқына реакцияларды табиғи және аудиторияға пайдалы ету үшін пайдаланады. Нейрондық желілер қазіргі заманғы сөйлеуді тану және синтездеу жүйелерінің көпшілігінің, сондай-ақ кескінді тану мен өңдеудің негізінде жатыр. Олар кейбір навигациялық жүйелерде, мейлі ол өнеркәсіптік роботтарда немесе өздігінен жүретін автомобильдерде қолданылады. Нейрондық желілерге негізделген алгоритмдер ақпараттық жүйелерді зиянкестердің шабуылдарынан қорғайды және желідегі заңсыз мазмұнды анықтауға көмектеседі».
Жақын болашақта (5-10 жыл) Шершульский нейрондық желілер одан да кеңірек қолданылады деп есептейді:
Жетектері көптеген бейнекамералармен жабдықталған ауылшаруашылық комбайнын елестетіңіз. Ол траектория бойынша әрбір өсімдікті минутына бес мың суретке түсіріп, нейрондық желіні пайдалана отырып, оның арамшөп екенін, ауру немесе зиянкестердің әсеріне ұшырағанын талдайды. Және әрбір өсімдікке жеке-жеке ем жүргізіледі. Фантастика? Енді шынымен емес. Ал бес жылдан кейін бұл қалыпты жағдайға айналуы мүмкін. - Влад Шершульский, Microsoft
MIPT тірі жүйелер орталығының нейрондық жүйелер және терең оқыту зертханасының меңгерушісі Михаил Бурцев 2016-2018 жылдарға нейрондық желілерді дамытудың болжамды картасын ұсынады:
- кескіндердегі объектілерді тану және жіктеу жүйелері;
- заттар интернеті үшін дауыстық өзара әрекеттесу интерфейстері;
- байланыс орталықтарында қызмет көрсету сапасын бақылау жүйелері;
- проблемаларды анықтау жүйелері (оның ішінде техникалық қызмет көрсету уақытын болжау), аномалиялар, киберфизикалық қауіптер;
- зияткерлік қауіпсіздік және мониторинг жүйелері;
- call-орталық операторларының кейбір функцияларын боттармен ауыстыру;
- бейне талдау жүйелері;
- материалдық ағындарды немесе объектілерді орналастыруды (қоймаларда, көлікте) басқаруды оңтайландыратын өздігінен білім алу жүйелері;
- өндірістік процестер мен құрылғыларды (соның ішінде робототехниканы) басқарудың интеллектуалды, өздігінен үйренетін жүйелері;
- конференциялар мен жеке пайдалануға арналған әмбебап аударма жүйелерінің пайда болуы;
- техникалық қолдау бот кеңесшілерінің немесе адамның функцияларына ұқсас жеке көмекшілердің пайда болуы.
Яндекстің Технологияларды тарату жөніндегі директоры Григорий Бакунов алдағы бес жылда нейрондық желілердің таралуының негізі осындай жүйелердің әртүрлі шешімдер қабылдау мүмкіндігі болады деп есептейді: «Қазір нейрондық желілердің адамға жасайтын ең бастысы - үнемдеу. оны қажетсіз шешім қабылдаудан. Сондықтан оларды тірі адам өте ақылды емес шешімдер қабылдайтын кез келген жерде қолдануға болады. Алдағы бес жылда адамның шешім қабылдауын қарапайым машинамен алмастыратын дәл осы дағды пайдаланылады».
Неліктен нейрондық желілер дәл қазір танымал болды?
Ғалымдар жасанды нейрондық желілерді 70 жылдан астам уақыт бойы дамытып келеді. Нейрондық желіні ресімдеудің алғашқы әрекеті 1943 жылы екі американдық ғалым (Уоррен Маккаллок пен Уолтер Питтс) адам идеялары мен нейрондық белсенділіктің логикалық есебі туралы мақаланы ұсынған кезден басталады.
Алайда, соңғы уақытқа дейін, - дейді Mail.Ru тобынан Андрей Калинин, нейрондық желілердің жылдамдығы олардың кең таралуы үшін тым төмен болды, сондықтан мұндай жүйелер негізінен компьютерлік көрумен байланысты әзірлемелерде қолданылды, ал басқа салаларда басқа алгоритмдер қолданылды. машиналық оқыту.
Нейрондық желіні дамыту процесінің еңбекті көп қажет ететін және көп уақытты қажет ететін бөлігі оны оқыту болып табылады. Нейрондық желі тағайындалған есептерді дұрыс шешуі үшін оның жұмысын ондаған миллион кіріс деректер жиынтығында «жұмыс істеу» қажет. Дәл әртүрлі жеделдетілген оқыту технологияларының пайда болуымен нейрондық желілердің таралуын Андрей Калинин мен Григорий Бакунов байланыстырады.
Қазір болған ең бастысы, қайта даярлауға әлдеқайда аз сезімтал нейрондық желілерді жасауға мүмкіндік беретін әртүрлі трюктар пайда болды - Григорий Бакунов, Яндекс
«Біріншіден, сіз үйренуге болатын таңбаланған кескіндердің үлкен және жалпыға қолжетімді массиві (ImageNet) пайда болды. Екіншіден, қазіргі заманғы видеокарталар нейрондық желілерді оқытуға және оларды жүздеген есе жылдам пайдалануға мүмкіндік береді. Үшіншіден, кескіндерді танитын дайын, алдын ала дайындалған нейрондық желілер пайда болды, олардың негізінде нейрондық желіні жұмысқа дайындауға көп уақыт жұмсамай-ақ, өз қосымшаларыңызды жасауға болады. Мұның бәрі бейнені тану саласында нейрондық желілердің өте күшті дамуын қамтамасыз етеді», - деп атап өтті Калинин.
Нейрондық желі нарығының көлемі қандай?
«Есептеу өте оңай. Байланыс орталығының агенттері сияқты біліктілігі төмен жұмыс күшін пайдаланатын кез келген саланы алып, барлық адам ресурстарын алып тастауға болады. Мен, тіпті бір елдің ішінде көп миллиардтық нарық туралы айтып отырмыз дер едім. Әлемде қанша адам біліктілігі төмен жұмыс орындарында жұмыс істейтінін түсіну қиын емес. Сонымен, тіпті абстрактілі түрде айтсақ, біз бүкіл әлем бойынша жүз миллиард долларлық нарық туралы айтып отырмыз деп ойлаймын», - дейді Яндекстің технологияларды тарату жөніндегі директоры Григорий Бакунов.
Кейбір бағалауларға сәйкес, кәсіптердің жартысынан көбі автоматтандырылады - бұл машиналық оқыту алгоритмдері нарығын (әсіресе нейрондық желілерді) ұлғайтуға болатын максималды көлем - Андрей Калинин, Mail.Ru Group
«Машинаны оқыту алгоритмдері кез келген процестерді автоматтандырудың, кез келген бағдарламалық жасақтаманы әзірлеудің келесі қадамы болып табылады. Сондықтан нарық кем дегенде бүкіл бағдарламалық қамтамасыз ету нарығымен сәйкес келеді, бірақ одан асып түседі, өйткені ескі бағдарламалық жасақтама үшін қол жетімсіз жаңа интеллектуалды шешімдерді жасауға болады», - деп жалғастырады Mail.ru іздеу бөлімінің бастығы Андрей Калинин. Ru тобы.
Неліктен нейрондық желіні әзірлеушілер жаппай нарық үшін мобильді қосымшаларды жасайды
Соңғы бірнеше айда нарықта нейрондық желілерді пайдаланатын бірнеше танымал ойын-сауық жобалары пайда болды - бұл танымал бейнесервис, Facebook әлеуметтік желісі және суреттерді өңдеуге арналған ресейлік қосымшалар (маусымдағы Mail.Ru Group инвестициясы) және басқалар.
Жеке нейрондық желілердің мүмкіндіктерін Google (AlphaGo технологиясы Go-да чемпионды жеңді; 2016 жылдың наурызында корпорация аукционда нейрондық желілер салған 29 картина және т.б. сатты) және Microsoft (CaptionBot жобасы) көрсетті. фотосуреттердегі суреттерді таниды және олар үшін субтитрлерді автоматты түрде жасайды, ол фотосуреттегі адамның жасын анықтайтын HowOld қызметі және т.б Маусым айында команда Avto.ru қосымшасына фотосуреттердегі автомобильдерді тану қызметін біріктірді; мамырда ол әйгілі суретшілердің стилінде сурет салу үшін LikeMo.net жобасын жасады.
Мұндай ойын-сауық қызметтері нейрондық желілер бағытталған жаһандық мәселелерді шешу үшін емес, нейрондық желінің мүмкіндіктерін көрсету және оны оқытуды өткізу үшін жасалады.
«Ойындар түр ретіндегі біздің мінез-құлқымызға тән қасиет. Бір жағынан, ойын жағдайлары адам мінез-құлқының барлық дерлік типтік сценарийлерін имитациялау үшін пайдаланылуы мүмкін, ал екінші жағынан, ойын жасаушылар және, әсіресе, ойыншылар процестен үлкен ләззат ала алады. Таза утилитарлы аспектісі де бар. Жақсы ойластырылған ойын ойыншыларға қанағаттанушылық әкеліп қана қоймайды: олар ойнай отырып, нейрондық желі алгоритмін жаттықтырады. Өйткені, нейрондық желілер үлгі бойынша оқытуға негізделген», - дейді Microsoft компаниясынан Влад Шершульский.
«Біріншіден, бұл технологияның мүмкіндіктерін көрсету үшін жасалып отыр. Расында басқа себеп жоқ. Егер біз Prisma туралы айтатын болсақ, онда олар мұны не үшін жасағаны түсінікті. Жігіттер суреттермен жұмыс істеуге мүмкіндік беретін құбырдың қандай да бір түрін салды. Мұны көрсету үшін олар стилизация жасаудың қарапайым әдісін таңдады. Неге жоқ? Бұл алгоритмдердің қалай жұмыс істейтінін көрсету ғана», - дейді Яндекс-тен Григорий Бакунов.
Mail.Ru Group қызметкері Андрей Калининнің пікірі басқаша: «Әрине, бұл жұртшылықтың көзқарасы бойынша әсерлі. Екінші жағынан, мен ойын-сауық өнімдерін пайдалырақ аймақтарға қолдануға болмайды деп айтпас едім. Мысалы, кескіндерді стильдеу міндеті бірқатар салалар үшін өте өзекті (дизайн, компьютерлік ойындар, анимация бірнеше мысалдар), ал нейрондық желілерді толық пайдалану олар үшін мазмұнды құрудың құны мен әдістерін айтарлықтай оңтайландырады. »
Нейрондық желілер нарығындағы негізгі ойыншылар
Андрей Калинин атап өткендей, жалпы алғанда, нарықтағы нейрондық желілердің көпшілігі бір-бірінен айтарлықтай ерекшеленбейді. «Барлығының технологиясы шамамен бірдей. Бірақ нейрондық желілерді пайдалану әркімнің қолынан келе бермейтін ғанибет. Нейрондық желіні өз бетінше жаттықтыру және оған көптеген эксперименттер жүргізу үшін сізге үлкен оқу жинақтары мен қымбат видеокарталары бар машиналар паркі қажет. Әлбетте, ірі компаниялардың мұндай мүмкіндіктері бар», - дейді ол.
Нарықтың негізгі ойыншыларының арасында Калинин Google және оның AlphaGo желісін құрған Google DeepMind бөлімшесі мен Google Brain-ді атап өтеді. Майкрософттың бұл салада өзіндік әзірлемелері бар – оларды Microsoft зерттеу зертханасы жүзеге асырады. Нейрондық желілерді құру IBM, Facebook (Facebook AI Research бөлімшесі), Baidu (Baidu Institute of Deep Learning) және т.б. Әлемнің техникалық университеттерінде көптеген әзірлемелер жүргізілуде.
Яндекс технологияларын тарату директоры Григорий Бакунов нейрондық желілер саласындағы қызықты оқиғалар стартаптар арасында да кездесетінін атап өтті. «Мен, мысалы, ClarifAI компаниясын есіме түсірер едім. Бұл бір кездері Google адамдары жасаған шағын стартап. Енді олар суреттің мазмұнын анықтауда әлемдегі ең үздіктер шығар». Мұндай стартаптарға MSQRD, Prisma және т.б.
Ресейде нейрондық желілер саласындағы әзірлемелерді стартаптар ғана емес, сонымен қатар ірі технологиялық компаниялар да жүзеге асырады - мысалы, Mail.Ru Group холдингі Іздеу және кескінді талдауда мәтіндерді өңдеу және жіктеу үшін нейрондық желілерді пайдаланады. Компания сонымен қатар боттарға және сөйлесу жүйелеріне қатысты тәжірибелік әзірлемелер жүргізуде.
Яндекс өзінің нейрондық желілерін де құруда: «Негізінде мұндай желілер суреттермен және дыбыспен жұмыс істеуде бұрыннан қолданылады, бірақ біз олардың мүмкіндіктерін басқа салаларда зерттеп жатырмыз. Қазір біз мәтінмен жұмыс істеуде нейрондық желілерді қолдану бойынша көптеген тәжірибелер жасап жатырмыз». Әзірлеулер университеттерде жүргізілуде: Сколтех, MIPT, Мәскеу мемлекеттік университеті, Жоғары экономика мектебі және т.б.
Ғылым мен технология әлеміндегі жаңалықтарды бақылайтын болсаңыз, нейрондық желілер ұғымы туралы бірдеңе естіген боларсыз.
Мысалы, 2016 жылы Google компаниясының AlphaGo нейрондық желісі әлемдегі ең жақсы кәсіби Counter-Strike: Global Offensive ойыншыларының бірін 4-1 есебімен жеңді. YouTube сонымен қатар бейнелерді жақсырақ түсіну үшін нейрондық желілерді қолданатынын хабарлады.
Бірақ нейрондық желі дегеніміз не? Бұл қалай жұмыс істейді? Неліктен олар машиналық өңдеуде соншалықты танымал?
Компьютер ми ретінде
Қазіргі неврологтар миды компьютердің бір түрі ретінде жиі талқылайды. Нейрондық желілер керісінше әрекет етуді мақсат етеді: ми сияқты жұмыс істейтін компьютер құру.
Әрине, біз мидың өте күрделі функцияларын үстірт түсінеміз, бірақ мидың деректерді қалай өңдейтінін жеңілдетілген модельдеу арқылы біз стандарттыдан мүлдем басқаша жұмыс істейтін компьютер түрін жасай аламыз.
Компьютерлік процессорлар деректерді ретімен («ретімен») өңдейді. Олар бір уақытта деректер жиынында көптеген операцияларды орындайды. Параллельді өңдеу («бір уақытта бірнеше ағындарды өңдеу») сериялы бірнеше процессорларды пайдалану арқылы компьютерді айтарлықтай жылдамдатады.
Төмендегі суретте параллельді өңдеу мысалы бес түрлі процессорды қажет етеді:
Жасанды нейрондық желі (оны мидағы нақты нейрондық желілерден ажырату үшін деп аталады) түбегейлі басқа құрылымға ие. Ол бір-бірімен өте байланысты. Бұл деректерді өте жылдам өңдеуге, сол деректерден үйренуге және өнімділікті жақсарту үшін өзіңіздің ішкі құрылымыңызды жаңартуға мүмкіндік береді.
Дегенмен, өзара байланыстылықтың жоғары дәрежесінің кейбір таңқаларлық салдары бар. Мысалы, нейрондық желілер түсініксіз деректер құрылымдарын тануда өте жақсы.
Оқу қабілеті
Нейрондық желінің оқу қабілеті оның ең үлкен күші болып табылады. Стандартты есептеу архитектурасында бағдарламашы компьютердің дұрыс жауап беретініне көз жеткізу үшін кіріс деректермен не істеу керектігін көрсететін алгоритмді құрастыруы керек.
Енгізу/шығару жауабы «A пернесін басқанда», «Экранда A көрсетіледі» сияқты қарапайым немесе күрделі статистиканы орындаудан күрделірек болуы мүмкін. Екінші жағынан, нейрондық желілер бірдей алгоритмдерді қажет етпейді. Оқыту механизмдері арқылы олар өз алгоритмдерін жасай алады. Олардың дұрыс жұмыс істейтініне көз жеткізу үшін машина алгоритмдері.
Нейрондық желілер сериялық өңдеу үшін стандартты жабдықты пайдаланатын машиналарда жазылған бағдарламалар болғандықтан, қазіргі технология әлі де шектеулер енгізетінін атап өткен жөн. Нейрондық желінің аппараттық нұсқасын жасау мүлдем басқа мәселе.
Нейрондардан түйіндерге дейін
Енді біз нейрондық желілердің қалай жұмыс істейтінінің негізін қалағаннан кейін, біз кейбір ерекшеліктерді қарастыра аламыз. Жасанды нейрондық желінің негізгі құрылымы келесідей:
Шеңберлердің әрқайсысы «түйін» деп аталады және бір нейронды симуляциялайды. Сол жақта кіріс түйіндері, ортасында жасырын түйіндер, ал оң жақта шығыс түйіндері орналасқан.
Ең негізгі терминдермен айтқанда, енгізу түйіндері екілік 1 немесе 0, RGB түс мәнінің бөлігі, шахмат фигурасының күйі немесе басқа кез келген нәрсе болуы мүмкін кіріс мәндерін қабылдайды. Бұл түйіндер желіге енетін ақпаратты білдіреді.
Әрбір кіріс түйіні бірнеше жасырын түйіндерге (кейде әрбір жасырын түйінге, кейде ішкі жиынға) қосылады. Енгізу түйіндері өздеріне берілген ақпаратты қабылдайды және оны жасырын қабатқа жібереді.
Мысалы, кіріс түйіні 1 алса, сигнал жіберуі мүмкін («нейрология тіліндегі «өрт»), ал нөлді алса, әрекетсіз күйде қалуы мүмкін. Әрбір жасырын түйіннің шегі бар: егер оның барлық жиынтық кірістері белгілі бір мәнге жетсе, ол іске қосылады.
Синапстардан байланыстарға дейін
Анатомиялық синапсқа эквивалентті әрбір қосылым да белгілі бір салмаққа ие, бұл желіге белгілі бір түйіннің әрекетіне көбірек көңіл бөлуге мүмкіндік береді. Міне, мысал:
Көріп отырғаныңыздай, «В» қосылымының салмағы «А» және «С» қосылымдарына қарағанда жоғары. Жасырын «4» түйіні «2» немесе одан да көп жалпы кіріс алған жағдайда ғана іске қосылады делік. Бұл дегеніміз, егер «1» немесе «3» жеке атса, онда «4» жанбайды, бірақ «1» және «3» бірге түйінді іске қосады. «2» түйіні «В» қосылымы арқылы түйіннің өзін де іске қоса алады.
Практикалық мысал ретінде ауа райын алайық. Қысқы дауылды ескертудің болуын анықтау үшін қарапайым нейрондық желіні құрастырып жатырсыз делік.
Жоғарыдағы қосылымдар мен салмақтарды пайдалана отырып, 4-торап тек температура -18 C төмен және жел 48 км/с жоғары болса ғана іске қоса алады немесе қардың ықтималдығы 70 пайыздан жоғары болса, іске қосылады. Температуралар 1 түйінге, желдер 3 түйінге және қардың ықтималдығы 2 түйінге беріледі. Енді 4 түйін шығыс қабатқа қандай сигнал жіберу керектігін анықтау кезінде осының барлығын ескере алады.
Қарапайым логикаға қарағанда жақсы
Әрине, бұл функцияны қарапайым ЖӘНЕ/НЕМЕСЕ қақпалары арқылы жүзеге асыруға болады. Бірақ күрделірек нейрондық желілер, төменде келтірілгендер сияқты, әлдеқайда күрделі операцияларды орындауға қабілетті.
Шығару деңгейінің түйіндері жасырын қабат сияқты жұмыс істейді: шығыс түйіндері жасырын қабаттың кірістерін жинақтайды, ал егер олар белгілі бір мәнге жетсе, шығыс түйіндері нақты сигналдарды іске қосады және жібереді. Процестің соңында шығыс қабаты кіріс нәтижесін көрсететін сигналдар жинағын жібереді.
Жоғарыда көрсетілген желі қарапайым болғанымен, терең нейрондық желілерде көптеген жасырын қабаттар мен жүздеген түйіндер болуы мүмкін.
Қатені түзету
Бұл процесс әлі де салыстырмалы түрде қарапайым. Бірақ нейрондық желілер шынымен қажет жерде - бұл оқу. Көптеген нейрондық желілер сигналдарды желі арқылы кері жіберетін кері таралу процесін пайдаланады.
Әзірлеушілер нейрондық желіні орналастырмас бұрын, олар белгілі шығыстары бар кірістер жинағын алатын оқу кезеңінен өткізеді. Мысалы, бағдарламашы нейрондық желіні кескіндерді тануға үйрете алады. Кіріс машинаның суреті болуы мүмкін, ал дұрыс шығу «автокөлік» сөзі болуы мүмкін.
Бағдарламашы кескінді кіріс ретінде береді және шығыс түйіндерінен не шығатынын көреді. Егер желі «ұшақ» деп жауап берсе, бағдарламашы компьютерге оның дұрыс емес екенін айтады.
Содан кейін желі түйіндер арасындағы әртүрлі сілтемелердің салмағын өзгерте отырып, өз қосылымдарына түзетулер енгізеді. Бұл әрекет желіге қосылған арнайы оқыту алгоритміне негізделген. Желі дұрыс шығысты шығарғанша қосылым салмақтарын реттеуді жалғастырады.
Бұл жеңілдету, бірақ нейрондық желілер ұқсас принциптерді қолдана отырып, өте күрделі операцияларды үйрене алады.
Үздіксіз жетілдіру
Жаттығудан кейін де кері таралу (тренинг) жалғасады - және нейрондық желілер шынымен де керемет болады. Олар жаңа ақпаратты біріктіре отырып және әртүрлі қосылыстардың салмақтарына өзгертулер енгізе отырып, олар қолданылған сайын үйренуді жалғастырады, олар жобаланған тапсырмада тиімдірек бола түседі.
Бұл үлгіні тану сияқты қарапайым немесе CS:GO ойнау сияқты күрделі болуы мүмкін.
Осылайша, нейрондық желілер үнемі өзгеріп, жетілдіріліп отырады. Және бұл күтпеген салдарға әкелуі мүмкін, бұл бағдарламашы басымдық деп санамайтын нәрселерге басымдық беретін желілерге әкеледі.
Бақыланатын оқыту деп аталатын жоғарыда сипатталған процеске қосымша тағы бір әдіс бар: бақылаусыз оқыту.
Бұл жағдайда нейрондық желілер кіріс деректерін қабылдайды және олардың қосылымдарын жаңарту үшін кері таралуды пайдалана отырып, оны шығыс ретінде дәл қайта жасауға тырысады. Бұл түкке тұрғысыз жаттығу сияқты көрінуі мүмкін, бірақ желілер осылайша пайдалы мүмкіндіктерді шығарып, модельдерін жақсарту үшін сол мүмкіндіктерді жалпылауды үйренеді.
Тереңдік сұрақтары
Кері таралу нейрондық желілерді жаттықтырудың өте тиімді әдісі... олар бірнеше қабаттардан тұратын кезде. Жасырын қабаттардың саны артқан сайын кері таралу тиімділігі төмендейді. Бұл терең желілер үшін проблема. Кері таралуды пайдалана отырып, олар көбінесе қарапайым желілерге қарағанда тиімдірек емес.
Ғалымдар бұл мәселені шешудің бірқатар шешімдерін әзірледі, олардың ерекшеліктері айтарлықтай күрделі және осы кіріспе бөлімнің шеңберінен тыс. Бұл шешімдердің көпшілігі қарапайым тілмен айтқанда, деректерді «сығуға» үйрету арқылы желінің күрделілігін азайтуға тырысады.
Бұл әрекетті орындау үшін желі кіріс деректерінен сәйкестендіру мүмкіндіктерін азайтуды үйренеді, сайып келгенде оның есептеулерінде тиімдірек болады. Негізінде, желі адамдар үйренетіндей жалпылаулар мен абстракцияларды жасайды.
Осы жаттығудан кейін желі маңызды емес деп санайтын түйіндер мен қосылымдарды кесіп тастай алады. Бұл желіні тиімдірек етеді және оқуды жеңілдетеді.
Нейрондық желі қолданбалары
Осылайша, нейрондық желілер мидың бірнеше деңгейлі түйіндерді (енгізу, жасырын және шығыс) көмегімен қалай үйренетінін модельдейді және олар бақыланатын және бақыланбайтын жағдайларда да үйрене алады. Күрделі желілер абстракциялар мен жалпылаулар жасауға қабілетті, бұл оларды тиімдірек және оқуға қабілетті етеді.
Бұл қызықты жүйелерді не үшін пайдалана аламыз?
Теориялық тұрғыдан біз нейрондық желілерді кез келген дерлік үшін пайдалана аламыз. Сіз оларды байқамай пайдаланған шығарсыз. Олар сөйлеуде және визуалды тануда өте жиі кездеседі, мысалы, олар белгілі бір ерекшеліктерді, дыбыстарда немесе бейнелерде ортақ нәрсені таңдауды үйрене алады.
Сонымен, сіз «OK Google» деп айтқан кезде, сіздің iPhone айтып тұрғаныңызды түсіну үшін сіздің сөйлеуіңізді нейрондық желі арқылы жүргізеді. Мүмкін сіз сұрайтын нәрсені болжауды үйренетін басқа нейрондық желі бар шығар.
Өздігінен жүретін көліктер визуалды деректерді өңдеу үшін нейрондық желілерді пайдалана алады, осылайша жол ережелерін сақтайды және соқтығысуды болдырмайды. Барлық типтегі роботтар тапсырмаларды тиімді орындауды үйренуге көмектесетін нейрондық желілерден пайда көре алады. Компьютерлер шахмат немесе CS:GO сияқты ойындарды ойнауды үйрене алады. Егер сіз чат-ботпен өзара әрекеттескен болсаңыз, ол сәйкес жауаптарды ұсыну үшін нейрондық желіні пайдаланады.
Интернетте іздеу нейрондық желілерден үлкен пайда әкеледі, өйткені жоғары тиімді параллельді өңдеу моделі көптеген деректерді жылдам жасай алады. Нейрондық желі іздеу нәтижелерін жекелендіру немесе жақын болашақта не іздейтініңізді болжау үшін әдеттеріңізді үйрене алады. Бұл болжамды модель маркетологтар үшін (және адамның күрделі мінез-құлқын болжауға мұқтаж кез келген адам) өте құнды болатыны анық.
Үлгіні тану, кескінді оптикалық тану, қор нарығын болжау, маршрутты табу, үлкен деректерді өңдеу, медициналық шығындарды талдау, сатуды болжау, бейне ойындардағы жасанды интеллект - мүмкіндіктер шексіз дерлік. Нейрондық желілердің үлгілерді үйрену, жалпылау жасау және мінез-құлықты сәтті болжау қабілеті оларды сансыз жағдайларда құнды етеді.
Нейрондық желілердің болашағы
Нейрондық желілер өте қарапайым үлгілерден жоғары деңгейлі оқыту тренажерларына дейін өсті. Олар біздің телефондарымызда, планшеттерімізде және біз қолданатын көптеген веб-қызметтерде. Көптеген басқа машиналық оқыту жүйелері бар.
Бірақ нейрондық желілер адамның миына ұқсастығына байланысты (өте жеңілдетілген түрде) ең қызықты болып табылады. Модельдерді дамытуды және жетілдіруді жалғастыра отырып, олардың не істей алатынын айта алмаймыз.
Сіз нейрондық желілердің қызықты қолданбаларын білесіз бе? Сізде олармен жұмыс істеу тәжірибеңіз бар ма? Сізді бұл технологияда не қызықтырады? Төмендегі түсініктемелерде өз ойларыңызбен бөлісіңіз!
Жасанды нейрондық желі - бұл бір-бірімен әрекеттесетін нейрондардың жиынтығы. Олар деректерді қабылдауға, өңдеуге және жасауға қабілетті. Оны адам миының жұмысы сияқты елестету қиын. Біздің миымыздағы нейрондық желі сіз мұны қазір оқи алатындай жұмыс істейді: біздің нейрондар әріптерді танып, оларды сөзге айналдырады.
Жасанды нейрондық желі ми сияқты. Ол бастапқыда кейбір күрделі есептеу процестерін жеңілдету үшін бағдарламаланған. Бүгінгі таңда нейрондық желілердің мүмкіндіктері әлдеқайда көп. Олардың кейбіреулері смартфонда. Бұл мақаланы ашқаныңыздың басқа бөлігі дерекқорында жазылған. Мұның бәрі қалай болады және неліктен, оқыңыз.
Бәрі қалай басталды
Адамдар адамның ақыл-ойы қайдан келетінін және мидың қалай жұмыс істейтінін шынымен түсінгісі келді. Өткен ғасырдың ортасында канадалық нейропсихолог Дональд Хебб мұны түсінді. Хебб нейрондардың бір-бірімен әрекеттесуін зерттеді, олардың топтарға (ғылыми тілмен айтқанда – ансамбльдер) біріктіру принципін зерттеді және нейрондық желілерді оқытудың ғылымдағы алғашқы алгоритмін ұсынды.
Бірнеше жылдан кейін американдық ғалымдар тобы шаршы пішіндерді басқа пішіндерден ажырата алатын жасанды нейрондық желіні модельдеді.
Нейрондық желі қалай жұмыс істейді?
Зерттеушілер нейрондық желі нейрондық қабаттардың жиынтығы екенін анықтады, олардың әрқайсысы белгілі бір критерийді тану үшін жауап береді: пішін, түс, өлшем, текстура, дыбыс, көлем және т.б. Жыл сайын миллиондаған нәтижелердің нәтижесінде. тәжірибелер мен тонна есептеулер, толықтырулар ең қарапайым желіге нейрондардың жаңа және жаңа қабаттары қосылды. Олар кезекпен жұмыс істейді. Мысалы, біріншісі шаршының шаршы екенін немесе шаршы еместігін анықтайды, екіншісі шаршының қызыл немесе қызыл емес екенін түсінеді, үшіншісі шаршының өлшемін есептейді және т.б. Шаршы емес, қызыл емес және сәйкессіз өлшемдегі пішіндер нейрондардың жаңа топтарына айналады және олар арқылы зерттеледі.
Нейрондық желілер дегеніміз не және олар не істей алады?
Ғалымдар күрделі кескіндерді, бейнелерді, мәтіндерді және сөйлеуді ажырата алатындай нейрондық желілерді әзірледі. Қазіргі уақытта нейрондық желілердің көптеген түрлері бар. Олар архитектурасына байланысты жіктеледі - деректер параметрлерінің жиынтықтары және осы параметрлердің салмағы, белгілі бір басымдылық. Төменде олардың кейбіреулері берілген.
Конволюциялық нейрондық желілер
Нейрондар топтарға бөлінеді, әр топ өзіне берілген сипаттаманы есептейді. 1993 жылы француз ғалымы Янн Лекун әлемге қағазға қолмен жазылған сандарды тез және дәл тани алатын алғашқы конвульсиялық нейрондық желі LeNet 1-ді көрсетті. Өзіңіз қараңыз:
Бүгінгі таңда конволюционды нейрондық желілер негізінен мультимедиялық мақсаттарда қолданылады: олар графикамен, аудио және бейнемен жұмыс істейді.
Қайталанатын нейрондық желілер
Нейрондар ақпаратты ретімен есте сақтайды және осы деректерге негізделген әрі қарай әрекеттерді жасайды. 1997 жылы неміс ғалымдары ең қарапайым қайталанатын желілерді ұзақ қысқа мерзімді жады бар желілерге өзгертті. Олардың негізінде басқарылатын қайталанатын нейрондары бар желілер әзірленді.
Бүгінгі таңда осындай желілердің көмегімен мәтіндер жазылады және аударылады, адамдармен мағыналы диалогтар жүргізетін боттар бағдарламаланады, бет және бағдарлама кодтары жасалады.
Нейрондық желілердің бұл түрін пайдалану деректерді талдау және генерациялау, деректер қорын құрастыру және тіпті болжау жасауға мүмкіндік береді.
2015 жылы SwiftKey басқарылатын нейрондары бар қайталанатын нейрондық желіде жұмыс істейтін әлемдегі алғашқы пернетақтаны шығарды. Содан кейін жүйе соңғы енгізілген сөздер негізінде теру кезінде кеңестер берді. Өткен жылы әзірлеушілер теріліп жатқан мәтіннің контекстін зерттеу үшін нейрондық желіні оқытты және кеңестер мағыналы және пайдалы болды:
Біріктірілген нейрондық желілер (конволюциялық + қайталанатын)
Мұндай нейрондық желілер суретте не бар екенін түсінуге және оны сипаттауға қабілетті. Және керісінше: сипаттамаға сәйкес кескіндерді салыңыз. Ең жарқын мысалды Амстердамда серуендеу үшін нейрондық желіні алған Кайл МакДональд көрсетті. Желі алдында не бар екенін бірден анықтады. Және әрқашан дерлік дәл:
Нейрондық желілер үнемі өздігінен білім алады. Бұл процесс арқылы:
1. Skype 10 тілге ілеспе аударма мүмкіндіктерін енгізді. Олардың арасында бір сәтке орыс және жапон тілдері бар - бұл әлемдегі ең қиын. Әрине, аударманың сапасы айтарлықтай жақсартуды қажет етеді, бірақ қазір жапондық әріптестермен орыс тілінде сөйлесіп, сізді түсінетініне сенімді болудың өзі шабыттандырады.
2. Яндекс нейрондық желілерге негізделген екі іздеу алгоритмін жасады: «Палех» және «Королев». Біріншісі төмен жиілікті сұраулар үшін ең өзекті сайттарды табуға көмектесті. «Палех» бет тақырыптарын зерттеп, олардың мағынасын сұраулардың мағынасымен салыстырды. Палех негізінде Королев пайда болды. Бұл алгоритм тақырыпты ғана емес, сонымен қатар беттің бүкіл мәтіндік мазмұнын бағалайды. Іздеу дәлірек болуда, ал сайт иелері бет мазмұнына ақылды түрде жақындай бастады.
3. Yandex-тен SEO әріптестері музыкалық нейрондық желіні құрды: ол өлең жазады және музыка жазады. Нейротоп символдық түрде Neurona деп аталады және оның алғашқы альбомы бар:
4. Google Inbox хабарларға жауап беру үшін нейрондық желілерді пайдаланады. Технологияларды дамыту қарқынды жүріп жатыр және бүгінгі күні желі хат алмасуды зерттеп, ықтимал жауап нұсқаларын жасауда. Теруге уақыт жоғалтудың қажеті жоқ және кейбір маңызды келісімді ұмытып кетуден қорықпаңыз.
5. YouTube бейнелерді рейтингтеу үшін нейрондық желілерді пайдаланады және бірден екі принцип бойынша: бір нейрондық желі бейнелер мен оларға аудиторияның реакциясын зерттейді, екіншісі пайдаланушылар мен олардың қалауы бойынша зерттеу жүргізеді. Сондықтан YouTube ұсыныстары әрқашан өзекті.
6. Facebook жаргонды түсінетін және чаттарды ұятсыз сөздерден тазартатын DeepText AI коммуникациялық бағдарламасымен белсенді жұмыс істеуде.
7. Нейрондық желілерде құрылған Prisma және Fabby сияқты қолданбалар кескіндер мен бейнелерді жасайды:
Colorize қара және ақ фотосуреттердегі түстерді қалпына келтіреді (сюрприз әже!).
MakeUp Plus нағыз брендтердің нақты ауқымынан қыздарға арналған тамаша ерін далабы таңдайды: Bobbi Brown, Clinique, Lancome және YSL қазірдің өзінде бизнесте.
8.
Apple және Microsoft өздерінің нейрондық Siri және Contana құрылғыларын үнемі жаңартып отырады. Әзірге олар тек біздің тапсырыстарымызды орындауда, бірақ жақын арада олар бастаманы қолға алады: ұсыныстар беріп, тілектерімізді алдын ала болжаңыз.
Болашақта бізді тағы не күтіп тұр?
Өзін-өзі үйренетін нейрондық желілер адамдарды алмастыра алады: олар копирайтер мен корректорлардан басталады. Роботтар мағынасы бар және қатесіз мәтіндер жасауда. Және олар мұны адамдарға қарағанда әлдеқайда жылдам жасайды. Олар байланыс орталығының қызметкерлерімен, техникалық қолдаумен, модераторлармен және әлеуметтік желілердегі жалпыға қолжетімді парақшалардың әкімшілерімен жалғасады. Нейрондық желілер қазірдің өзінде сценарийді үйреніп, оны дауыспен ойнай алады. Басқа аймақтар ше?
Ауыл шаруашылығы саласы
Нейрондық желі арнайы жабдыққа енгізіледі. Комбайндар автопилот жасайды, өсімдіктерді сканерлейді және деректерді нейрондық желіге жібере отырып, топырақты зерттейді. Ол суаруды, тыңайтқышты немесе зиянкестерге қарсы бүркуді шешеді. Бірнеше ондаған жұмысшының орнына сізге ең көбі екі маман қажет: супервайзер және техникалық.
Дәрі
Майкрософт қазіргі уақытта қатерлі ісік ауруын емдеуде белсенді жұмыс жасауда. Ғалымдар биобағдарламалаумен айналысады - олар ісіктердің пайда болу және даму процесін цифрлауға тырысады. Барлығы ойдағыдай болған кезде, бағдарламашылар мұндай процеске тосқауыл қоюдың жолын таба алады және аналогия бойынша дәрі жасалады.
Маркетинг
Маркетинг жоғары жекелендірілген. Қазірдің өзінде нейрондық желілер қай пайдаланушыға қандай мазмұнды және қандай бағамен көрсетілетінін бірнеше секундта анықтай алады. Болашақта маркетологтың процеске қатысуы минимумға дейін төмендейді: нейрондық желілер пайдаланушы мінез-құлқы деректеріне негізделген сұрауларды болжайды, нарықты сканерлейді және адам сатып алу туралы ойлаған кезде ең қолайлы ұсыныстарды береді.
Электрондық коммерция
Электрондық коммерция барлық жерде жүзеге асырылатын болады. Сілтемені пайдаланып интернет-дүкенге енді барудың қажеті жоқ: бір рет басу арқылы сіз көрген барлық нәрсені сатып ала аласыз. Мысалы, сіз бұл мақаланы бірнеше жылдан кейін оқып жатырсыз. Сізге MakeUp Plus қолданбасының скриншотындағы ерін далабы өте ұнайды (жоғарыдан қараңыз). Сіз оны басып, тікелей арбаға барасыз. Немесе Hololens (аралас шындық көзілдірігі) соңғы үлгісі туралы бейнені қараңыз және бірден YouTube сайтынан тапсырыс беріңіз.
Әрбір дерлік салада нейрондық желілердің құрылымын, машиналық оқытуды және жасанды интеллект жүйелерін білетін немесе кем дегенде түсінетін мамандар бағаланады. Біз роботтармен қатар өмір сүреміз. Және олар туралы көбірек білсек, өміріміз тыныш болады.
P.S. Zinaida Falls - өлең жазатын Яндекс нейрондық желісі. Маяковский үйреткеннен кейін машинаның жазған жұмысын бағалаңыз (орфография мен тыныс белгілері сақталған):
« Бұл»
Бұл
тек бәрі
бірдеңе
болашақта
және қуат
сол адам
дүниеде бәрі бар ма, жоқ па
айнала қан
бір-бірімен айналысу
семіру
даңқ
жер
тұмсықтыға шоқтырған
Әсерлі, иә?
Қайырлы күн, менің атым Наталья Ефремова, мен NtechLab зерттеушісімін. Бүгін мен нейрондық желілердің түрлері және олардың қосымшалары туралы айтатын боламын.
Алдымен мен біздің компания туралы бірнеше сөз айтайын. Компания жаңа, мүмкін сіздердің көпшілігіңіз не істейтінімізді әлі білмеуіңіз мүмкін. Өткен жылы MegaFace байқауында жеңіске жеттік. Бұл бетті тану бойынша халықаралық жарыс. Сол жылы біздің компания ашылды, яғни нарықта жүргенімізге бір жылдай болды, тіпті одан да көп уақыт болды. Сәйкесінше, біз бет-әлпетті тану және биометриялық кескінді өңдеу бойынша жетекші компаниялардың бірі болып табыламыз.
Менің баяндамамның бірінші бөлімі нейрондық желілерді білмейтіндерге арналады. Мен терең білім алуға тікелей араласамын. Мен бұл салада 10 жылдан астам жұмыс істеп келемін. Ол он жылдан аз уақыт бұрын пайда болғанымен, бұрын терең оқыту жүйесіне ұқсас нейрондық желілердің кейбір негіздері болған.
Соңғы 10 жылда терең оқыту және компьютерлік көру керемет қарқынмен дамыды. Осы салада атқарылған елеулі істердің барлығы соңғы 6 жылда болды.
Мен практикалық аспектілер туралы айтатын боламын: сурет пен бейнені өңдеу үшін, сурет пен бетті тану үшін терең оқыту тұрғысынан қайда, қашан, нені пайдалану керек, өйткені мен мұнымен айналысатын компанияда жұмыс істеймін. Мен сізге эмоцияларды тану және ойындар мен робототехникада қандай тәсілдер қолданылатыны туралы аздап айтып беремін. Сондай-ақ, тереңдетіп оқытудың стандартты емес қолдануы, ғылыми мекемелерден енді ғана пайда болып жатқан және тәжірибеде әлі де аз қолданылып жүрген нәрсе, оны қалай қолдануға болады, неге қолдану қиынға соғатыны туралы айтамын.
Есеп екі бөлімнен тұрады. Көпшілігі нейрондық желілерді жақсы білетіндіктен, алдымен мен нейрондық желілердің қалай жұмыс істейтінін, биологиялық нейрондық желілер дегеніміз не, оның қалай жұмыс істейтінін, жасанды нейрондық желілердің не екенін және қандай архитектуралар қандай салаларда қолданылатынын білу неліктен біз үшін маңызды екенін тез айтып беремін. .
Мен бірден кешірім сұраймын, мен ағылшын терминологиясына аздап өтейін, өйткені мен оның орысша қалай аталатынын білмеймін. Мүмкін сен де.
Сонымен, есептің бірінші бөлімі конволюционды нейрондық желілерге арналады. Мен бет-әлпетті тану үлгісін қолдана отырып, конволюциялық нейрондық желі (CNN) және кескінді тану қалай жұмыс істейтінін айтып беремін. Мен сізге қайталанатын нейрондық желілер (RNN) және терең оқыту жүйелерінің мысалын қолдана отырып, күшейтетін оқыту туралы аздап айтып беремін.
Нейрондық желілердің стандартты емес қосымшасы ретінде мен CNN медицинада воксельдік кескіндерді тану үшін қалай жұмыс істейтіні, Африкадағы кедейлікті тану үшін нейрондық желілер қалай қолданылатыны туралы айтатын боламын.
Нейрондық желілер дегеніміз не
Нейрондық желілерді құрудың прототипі, бір қызығы, биологиялық нейрондық желілер болды. Сіздердің көпшілігіңіз нейрондық желіні қалай бағдарламалау керектігін білуіңіз мүмкін, бірақ оның қайдан шыққанын кейбіреулер білмейді деп ойлаймын. Бізге келетін барлық сенсорлық ақпараттың үштен екісі қабылдаудың көру органдарынан келеді. Біздің ми бетінің үштен бірінен астамын екі маңызды визуалды аймақ - дорсальды көру жолы және вентральды көру жолы алады.Дорсальды көру жолы негізгі көру аймағынан, тәжімізден басталып, жоғары қарай жалғасады, ал вентральды жол басымыздың артқы жағынан басталып, шамамен құлақтың артында аяқталады. Бізде пайда болатын барлық маңызды үлгіні тану, мағынасы бар, біз білетін барлық нәрсе дәл сол жерде, құлақтың артында орын алады.
Неліктен бұл маңызды? Өйткені көбінесе нейрондық желілерді түсіну қажет. Біріншіден, бұл туралы бәрі айтады, мен бұл жағдайға үйреніп қалдым, екіншіден, суретті тану үшін нейрондық желілерде қолданылатын барлық аймақтар бізге дәл вентральды көру жолынан келді, мұнда әрқайсысы кішкентай аймақ оның қатаң белгіленген функциясына жауап береді.
Кескін бізге көз торынан келеді, визуалды аймақтардың сериясынан өтіп, уақытша аймақта аяқталады.
Өткен ғасырдың 60-шы жылдарында, мидың көрнекі аймақтарын зерттеу енді ғана басталған кезде, фМРТ болмағандықтан, жануарларға алғашқы эксперименттер жүргізілді. Ми әртүрлі көрнекі аймақтарға имплантацияланған электродтар арқылы зерттелді.
Алғашқы көрнекі аймақты 1962 жылы Дэвид Хубель мен Торстен Визель зерттеген. Олар мысықтарға тәжірибе жүргізді. Мысықтарға әртүрлі қозғалатын заттар көрсетілді. Ми жасушаларының жауап бергені жануар танитын ынталандыру болды. Қазірдің өзінде көптеген эксперименттер осы дракониялық әдістермен жүзеге асырылады. Дегенмен, бұл миымыздағы әрбір кішкентай жасушаның не істейтінін білудің ең тиімді жолы.
Сол сияқты біз қазір тереңдетіп оқытуда қолданатын көрнекі аймақтардың көптеген маңызды қасиеттері ашылды. Ең маңызды қасиеттердің бірі - біріншілік көру аймақтарынан уақытша лобтарға, яғни кейінгі көру аймақтарына ауысқанда жасушаларымыздың рецептивті өрістерінің ұлғаюы. Қабылдау өрісі - миымыздың әрбір жасушасы өңдейтін кескіннің бөлігі. Әрбір жасушаның өзінің қабылдау өрісі болады. Дәл осындай қасиет нейрондық желілерде сақталады, мұны бәріңіз білетін шығарсыз.
Сондай-ақ, рецептивті өрістер ұлғайған сайын, нейрондық желілер әдетте танитын күрделі ынталандырулар да өседі.
Мұнда сіз тітіркендіргіштердің күрделілігінің мысалдарын, V2, V4 аймақтарында және макака маймылдарындағы уақытша өрістердің әртүрлі бөліктерінде танылатын әртүрлі екі өлшемді пішіндерді көресіз. Сондай-ақ бірқатар МРТ эксперименттері жүргізілуде.
Мұнда мұндай эксперименттердің қалай жүргізілетінін көруге болады. Бұл әр түрлі нысандарды тану кезінде маймылдың IT қыртысының аймақтарының 1 нанометрлік бөлігі, ол қай жерде танылады.
Қорытындылайық. Көрнекі аймақтардан қабылдағымыз келетін маңызды қасиет - қабылдау өрістерінің өлшемі ұлғаяды және біз танитын нысандардың күрделілігі артады.
Компьютерлік көру
Біз мұны компьютерлік көру үшін қолдануды үйренгенге дейін, жалпы алғанда, ол мұндай болмаған. Қалай болғанда да, ол қазіргідей жақсы жұмыс істемеді.Біз бұл қасиеттердің барлығын нейрондық желіге тасымалдаймыз, егер сіз деректер жиынына аздап шегініс жасамасаңыз, ол туралы кейінірек айтамын.
Бірақ алдымен ең қарапайым перцептрон туралы аздап. Ол біздің миымыздың бейнесі мен ұқсастығында да қалыптасады. Ми жасушасына ұқсайтын қарапайым элемент - нейрон. Әдепкі бойынша солдан оңға, кейде төменнен жоғарыға реттелген енгізу элементтері бар. Сол жақта нейронның кіріс бөліктері, оң жағында нейронның шығыс бөліктері орналасқан.
Ең қарапайым перцептрон ең қарапайым операцияларды ғана орындауға қабілетті. Күрделі есептеулерді орындау үшін бізге жасырын қабаттары бар құрылым қажет.
Компьютерлік көру жағдайында бізге одан да көп жасырын қабаттар қажет. Сонда ғана жүйе көргенін мағыналы түрде таниды.
Сонымен, мен сізге беттердің мысалында кескінді тану кезінде не болатынын айтып беремін.
Бұл суретке қарап, мүсіннің бет-әлпетін дәл көрсетеді деп айту өте оңай. Дегенмен, 2010 жылға дейін бұл компьютерлік көру үшін өте қиын тапсырма болды. Осы уақытқа дейін бұл мәселемен айналысқандар суреттен тапқымыз келетін нысанды сөзсіз сипаттау қаншалықты қиын болғанын білетін шығар.
Мұны қандай да бір геометриялық жолмен жасау, объектіні сипаттау, объектінің қатынастарын сипаттау, бұл бөліктердің бір-бірімен қалай байланыса алатынын сипаттау, содан кейін объектіден осы кескінді тауып, оларды салыстыру және нашар танығанымызды алу керек болды. Бұл әдетте тиынды аударғаннан жақсырақ болды. Мүмкіндік деңгейінен сәл жақсырақ.
Бұл қазір жұмыс істемейді. Біз кескінді пикселдерге немесе белгілі бір патчтарға бөлеміз: 2x2, 3x3, 5x5, 11x11 пиксель - бұл нейрондық желіге кіріс қабаты ретінде қызмет ететін жүйені жасаушыларға ыңғайлы.
Бұл кіріс қабаттарынан сигналдар қабаттан қабатқа синапстардың көмегімен беріледі, әр қабаттың өзіндік арнайы коэффициенттері бар. Осылайша біз бетті танығанымызға дейін қабаттан қабатқа, қабаттан қабатқа өтеміз.
Шартты түрде бұл бөліктердің барлығын үш сыныпқа бөлуге болады, біз оларды X, W және Y деп белгілейміз, мұнда X - біздің кіріс кескініміз, Y - белгілер жиынтығы, және біз өз салмағымызды алуымыз керек. W қалай есептейміз?
Біздің X және Y-ді ескере отырып, бұл қарапайым болып көрінеді. Дегенмен, жұлдызшамен көрсетілген нәрсе өте күрделі сызықты емес операция, өкінішке орай, оның кері мәні жоқ. Теңдеудің берілген 2 компонентімен де оны есептеу өте қиын. Сондықтан, W салмағын таңдай отырып, бірте-бірте сынақ және қателесу арқылы қатенің мүмкіндігінше азаюына көз жеткізу керек, жақсырақ ол нөлге тең болады.
Бұл процесс қайталанатын түрде жүреді, бізге жеткілікті түрде сәйкес келетін W салмағының мәнін тапқанша біз үнемі төмендетеміз.
Айтпақшы, мен жұмыс істеген бірде-бір нейрондық желі нөлге тең қатеге қол жеткізе алмады, бірақ ол өте жақсы жұмыс істеді.
Бұл 2012 жылы халықаралық ImageNet байқауында жеңіске жеткен алғашқы желі. Бұл AlexNet деп аталады. Бұл конволюционды нейрондық желілердің бар екенін алғаш рет жариялаған желі, содан бері конволюционды нейрондық желілер барлық халықаралық жарыстарда ешқашан өз позицияларынан бас тартқан емес.
Бұл желі өте кішкентай болғанымен (бар болғаны 7 жасырын қабаты бар), оның құрамында 60 миллион параметрі бар 650 мың нейрон бар. Қажетті салмақтарды табуды қайталап үйрену үшін бізге көптеген мысалдар қажет.
Нейрондық желі сурет пен жапсырманың мысалынан үйренеді. Балалық шақта бізді «бұл мысық, ал бұл ит» деп үйрететіні сияқты, нейрондық желілер көптеген суреттерге үйретіледі. Бірақ 2010 жылға дейін мұндай көптеген параметрлерді кескіндерді тануға үйрететін жеткілікті үлкен деректер жиынтығы болған жоқ.
Осы уақытқа дейін бар болған ең үлкен деректер базасы PASCAL VOC болды, оның небәрі 20 нысан категориясы бар және Калифорния технологиялық институтында жасалған Caltech 101. Соңғысында 101 категория болды, бұл өте көп. Осы дерекқорлардың ешқайсысында өз нысандарын таба алмағандар өздерінің деректер базасына қымбатқа түсуге мәжбүр болды, бұл, мен айтамын, өте ауыр.
Дегенмен, 2010 жылы ImageNet деректер базасы пайда болды, онда 22 мың санатқа бөлінген 15 миллион сурет бар. Бұл нейрондық желілерді оқыту мәселесін шешті. Енді академиялық мекенжайы бар кез келген адам базаның веб-сайтына оңай кіріп, кіруді сұрай алады және нейрондық желілерді оқыту үшін осы базаны ала алады. Менің ойымша, олар келесі күні тез жауап береді.
Алдыңғы деректер жинақтарымен салыстырғанда бұл өте үлкен дерекқор.
Мысал өзінен бұрын болған барлық нәрсенің қаншалықты елеусіз екенін көрсетеді. ImageNet базасымен бір уақытта ImageNet жарысы пайда болды, оған барлық жарысуға ниет білдірген командалар қатыса алатын халықаралық сынақ.
Биылғы жылы жеңімпаз желі Қытайда құрылды, оның 269 қабаты болды. Мен қанша параметр бар екенін білмеймін, мен көп нәрсе бар деп ойлаймын.
Терең нейрондық желінің архитектурасы
Шартты түрде оны 2 бөлікке бөлуге болады: оқитындар және оқымайтындар.
Қара түс үйрене алмайтын бөліктерді көрсетеді. Әрбір конволюциялық қабаттың ішінде не бар екеніне көптеген анықтамалар бар. Қабылданған белгілердің бірі үш құрамдас бөлігі бар бір қабат конволюция сатысына, детекторлық кезеңге және біріктіру кезеңіне бөлінеді.
Мен егжей-тегжейлі айтпаймын, бұл қалай жұмыс істейтінін егжей-тегжейлі талқылайтын көптеген есептер болады. Мен сізге мысалмен айтайын.
Ұйымдастырушылар көптеген формулаларды айтпауымды өтінгендіктен, мен оларды толығымен тастадым.
Сонымен, кіріс кескіні әртүрлі өлшемдегі және олар танитын элементтердің күрделілігі әртүрлі сүзгілер деп атауға болатын қабаттар желісіне түседі. Бұл сүзгілер өздерінің индексін немесе мүмкіндіктер жинағын құрайды, содан кейін олар классификаторға өтеді. Әдетте бұл SVM немесе MLP - көпқабатты перцептрон, қайсысы сізге ыңғайлы болса.
Биологиялық нейрондық желі сияқты күрделілігі әртүрлі объектілер танылады. Қабаттар саны көбейген сайын оның барлығы қыртыспен байланысын жоғалтты, өйткені нейрондық желіде аймақтардың шектеулі саны бар. 269 немесе көп, көптеген абстракция аймақтары, сондықтан күрделіліктің, элементтер санының және қабылдау өрістерінің өсуі ғана сақталады.
Егер біз бетті тану мысалын қарастыратын болсақ, онда бірінші қабаттың қабылдау өрісі кішкентай болады, содан кейін сәл үлкенірек, үлкенірек және т.б., ақырында біз бүкіл бетті тани аламыз.
Біздің сүзгілеріміздің ішіндегі нәрсе тұрғысынан, алдымен көлбеу таяқшалар плюс сәл түсті болады, содан кейін беттердің бөліктері, содан кейін қабаттың әрбір ұяшығы арқылы бүкіл беттер танылады.
Адам әрқашан желіден жақсы таниды деп айтатын адамдар бар. Бұл рас па?
2014 жылы ғалымдар нейрондық желілермен салыстырғанда қаншалықты жақсы танитынымызды сынап көруді шешті. Олар қазіргі уақытта 2 ең жақсы желіні - AlexNet және Мэттью Циллер мен Фергус желісін алып, оларды макака миының әртүрлі аймақтарының реакциясымен салыстырды, бұл сонымен қатар кейбір объектілерді тануға үйретілді. Маймыл шатастырмас үшін заттар жануарлар әлемінен алынды және кім жақсы тани алатынын анықтау үшін эксперименттер жүргізілді.
Маймылдан нақты жауап алу мүмкін болмағандықтан, оған электродтар имплантацияланып, әрбір нейронның реакциясы тікелей өлшенді.
Қалыпты жағдайда ми жасушалары сол кездегі заманауи үлгі, яғни Мэттью Циллер желісі сияқты жауап беретіні белгілі болды.
Дегенмен, объектілерді көрсету жылдамдығының жоғарылауымен, суреттегі шу мен заттардың мөлшерінің жоғарылауымен, біздің мидың және приматтардың миының тану жылдамдығы мен сапасы айтарлықтай төмендейді. Тіпті ең қарапайым конволюциялық нейрондық желі нысандарды жақсы тани алады. Яғни, ресми нейрондық желілер біздің миымызға қарағанда жақсы жұмыс істейді.
Конволюциялық нейрондық желілердің классикалық есептері
Олардың саны көп емес, олар үш класқа жатады. Олардың ішінде нысанды анықтау, семантикалық сегменттеу, бет-әлпетті тану, адам денесінің бөліктерін тану, семантикалық жиекті анықтау, кескіндегі назар аударатын объектілерді бөлектеу және беттік қалыптыларды бөлектеу сияқты тапсырмалар бар. Оларды шамамен 3 деңгейге бөлуге болады: ең төменгі деңгейдегі тапсырмалардан жоғары деңгейлі тапсырмаларға дейін.
Бұл суретті мысал ретінде пайдалана отырып, әр тапсырманың не істейтінін қарастырайық.
- Шекараларды анықтау- Бұл конволюционды нейрондық желілер классикалық түрде қолданылған ең төменгі деңгейлі тапсырма.
- Нормалға векторды анықтауекі өлшемді кескіннен үш өлшемді кескінді қайта құруға мүмкіндік береді.
- Байқау, назар аударатын объектілерді анықтау- Мына суретке қараған адам осыған назар аударар еді.
- Семантикалық сегментациябұл объектілер туралы ештеңе білмей-ақ, яғни олар танылмай тұрып-ақ, объектілерді құрылымына қарай класстарға бөлуге мүмкіндік береді.
- Семантикалық шекараны бөлектеу- бұл сыныптарға бөлінген шекараларды таңдау.
- Адамның дене мүшелерін ерекшелеу.
- Ал ең жоғарғы деңгейдегі тапсырма объектілердің өзін тану, біз қазір бет-әлпетті тану мысалын пайдаланып қарастырамыз.
Бетті тану
Біріншіден, біз бетті табу үшін бет детекторын іске қосамыз. Содан кейін біз бетті қалыпқа келтіреміз, оны нейрондық желіде өңдеу үшін іске қосамыз, содан кейін біз бірегей мүмкіндіктер жиынтығын аламыз осы тұлғаның ерекшеліктерін сипаттайды.
Содан кейін біз бұл мүмкіндік векторын біздің деректер базасында сақталған барлық мүмкіндік векторларымен салыстыра аламыз және белгілі бір адамға, оның атына, оның профиліне сілтеме жасай аламыз - дерекқорда сақтай алатын барлық нәрсе.
Біздің FindFace өніміміз дәл осылай жұмыс істейді - бұл ВКонтакте дерекқорында адамдардың профильдерін іздеуге көмектесетін тегін қызмет.
Сонымен қатар, бізде өнімдерімізді сынап көргісі келетін компанияларға арналған API бар. Біз бетті анықтау, тексеру және пайдаланушыны сәйкестендіру қызметтерін ұсынамыз.
Қазір біз 2 сценарий әзірледік. Біріншісі – сәйкестендіру, дерекқорда адамды іздеу. Екіншісі - тексеру, бұл бір адам болуының белгілі бір ықтималдығы бар екі суретті салыстыру. Сонымен қатар, біз қазір эмоцияны тану, бейнеде кескінді тану және жандылықты анықтауды дамытамыз - бұл камераның немесе фотосуреттің алдындағы адамның тірі екенін түсіну.
Кейбір статистика. Анықтау кезінде, 10 мың фотосурет арқылы іздеу кезінде бізде деректер базасының сапасына байланысты шамамен 95% дәлдік және 99% тексеру дәлдігі бар. Сонымен қатар, бұл алгоритм өзгерістерге өте төзімді - камераға қараудың қажеті жоқ, бізде кейбір кедергі жасайтын заттар болуы мүмкін: көзілдірік, күннен қорғайтын көзілдірік, сақал, медициналық маска. Кейбір жағдайларда біз тіпті көзілдірік пен масканы компьютерлік көрудің керемет қиындықтарын жеңе аламыз.
Өте жылдам іздеу, 1 миллиард фотосуретті өңдеуге 0,5 секунд кетеді. Біз бірегей жылдам іздеу индексін жасадық. Біз бейнебақылау камераларынан алынған төмен сапалы суреттермен де жұмыс істей аламыз. Біз мұның бәрін нақты уақытта өңдей аламыз. Фотосуреттерді веб-интерфейс арқылы, Android, iOS арқылы жүктеп, 100 миллион пайдаланушы мен олардың 250 миллион фотосуреті арқылы іздеуге болады.
Жоғарыда айтқанымдай, біз MegaFace байқауында бірінші орынды алдық - ImageNet үшін аналог, бірақ бетті тану үшін. Ол бірнеше жылдан бері жұмыс істеп келеді, өткен жылы біз Google-ді қоса алғанда, дүние жүзіндегі 100 команданың арасында үздік болдық.
Қайталанатын нейрондық желілер
Біз қайталанатын нейрондық желілерді тек кескінді тану жеткіліксіз болған кезде пайдаланамыз. Біз үшін жүйелілікті сақтау маңызды болған жағдайда, бізге не болып жатқанының реті қажет, біз қарапайым қайталанатын нейрондық желілерді қолданамыз.Бұл табиғи тілді тану, бейнені өңдеу үшін қолданылады, тіпті кескінді тану үшін де қолданылады.
Мен табиғи тілді тану туралы айтпай-ақ қояйын - менің баяндамамнан кейін табиғи тілді тануға бағытталған тағы екеуі болады. Сондықтан мен эмоцияны тану мысалында қайталанатын желілердің жұмысы туралы айтатын боламын.
Қайталанатын нейрондық желілер дегеніміз не? Бұл кәдімгі нейрондық желілермен шамамен бірдей, бірақ кері байланыс бар. Жүйенің алдыңғы күйін нейрондық желінің кірісіне немесе оның кейбір қабаттарына жіберу үшін кері байланыс қажет.
Біз эмоцияларды өңдейміз делік. Тіпті күлімсіреуде - ең қарапайым эмоциялардың бірі - бірнеше сәттер бар: бейтарап бет әлпетінен бастап толық күлімсіреген сәтке дейін. Олар бірін-бірі ретімен бақылайды. Мұны жақсы түсіну үшін біз мұның қалай болатынын бақылап, алдыңғы кадрда болған нәрсені жүйенің келесі қадамына көшіруіміз керек.
2005 жылы «Жабайы табиғатта эмоцияларды тану» байқауында Монреаль командасы эмоцияларды тану үшін арнайы қайталанатын жүйені ұсынды, ол өте қарапайым көрінді. Оның бірнеше конвульстік қабаттары ғана болды және тек бейнемен жұмыс істеді. Сондай-ақ биылғы жылы олар дыбысты тану және конволюционды нейрондық желілерден алынған жинақталған кадр-кадр деректерін, қайталанатын нейрондық желінің жұмысы бар дыбыстық сигнал деректерін (мемлекеттік қайтарыммен) қосып, байқауда бірінші орынды иеленді.
Оқытуды күшейту
Нейрондық желілердің соңғы кездері жиі қолданылып жүрген, бірақ алдыңғы 2 түрі сияқты көп жарияланбаған келесі түрі - тереңдетіп оқыту.Өйткені, алдыңғы екі жағдайда біз деректер қорын қолданамыз. Бізде беттерден алынған деректер немесе суреттердегі деректер немесе бейнелердегі эмоциялар бар деректер бар. Егер бізде бұл болмаса, оны түсіре алмасақ, роботты заттарды алуға қалай үйрете аламыз? Біз мұны автоматты түрде жасаймыз - оның қалай жұмыс істейтінін білмейміз. Тағы бір мысал: компьютерлік ойындарда үлкен деректер қорын құрастыру қиын және бұл қажет емес.
Atari және Go бағдарламасында тереңдетіп оқытудың сәттілігі туралы бәрі естіген шығар.
Атари туралы кім естіген? Біреу естіді, жарайды. Менің ойымша, барлығы AlphaGo туралы естіген, сондықтан мен онда нақты не болып жатқанын айтпаймын.
Atari не болып жатыр? Бұл нейрондық желінің архитектурасы сол жақта көрсетілген. Ол максималды сыйақы алу үшін өзімен ойнау арқылы үйренеді. Максималды сыйақы – мүмкін болатын ең жоғары ұпай жинаған ойынның ең жылдам нәтижесі.
Жоғарғы оң жақта нейрондық желінің соңғы қабаты орналасқан, ол жүйенің өзіне қарсы екі сағат бойы ойнаған күйлерінің барлық санын бейнелейді. Ең көп сыйлығы бар ойынның қалаған нәтижелері қызыл түспен, ал қалаусыздары көк түспен бейнеленген. Желі белгілі бір өрісті құрастырады және оның оқытылған қабаттары арқылы қол жеткізгісі келетін күйге қарай жылжиды.
Робототехникада жағдай сәл басқаша. Неліктен? Бұл жерде бізде бірнеше қиындықтар бар. Біріншіден, бізде мәліметтер базасы көп емес. Екіншіден, біз бірден үш жүйені үйлестіруіміз керек: роботты қабылдау, оның манипуляторлар көмегімен әрекеті және оның жады - алдыңғы қадамда не істелді және ол қалай орындалды. Жалпы, мұның бәрі өте қиын.
Шындығында, бірде-бір нейрондық желі, тіпті қазіргі уақытта терең оқыту да бұл тапсырманы жеткілікті түрде тиімді жеңе алмайды, сондықтан терең оқыту роботтар істеу керек нәрсенің бір бөлігі ғана. Мысалы, жақында Сергей Левин роботты заттарды ұстап алуға үйрететін жүйені ұсынды.
Міне, оның 14 робот қолына жасаған тәжірибелері.
Мұнда не болып жатыр? Алдарыңызда көріп тұрған мына бассейндерде әртүрлі заттар бар: қаламдар, өшіргіштер, кішірек және үлкенірек саптыаяқтар, шүберектер, әртүрлі текстуралар, әртүрлі қаттылық. Роботты оларды түсіруге қалай үйрету керек екені белгісіз. Көптеген сағаттар, тіпті апталар бойы роботтар осы нысандарды ұстауға жаттықты және бұл туралы мәліметтер базасы құрастырылды.
Деректер базасы роботты болашақта бірдеңе жасауға үйрету үшін жинақтауымыз қажет қоршаған ортаға әсер етудің бір түрі. Болашақта роботтар жүйе күйлерінің осы жиынтығынан үйренеді.
Нейрондық желілердің стандартты емес қолданбалары
Өкінішке орай, бұл аяқталды, менде көп уақыт жоқ. Мен сізге қазіргі уақытта бар және көптеген болжамдарға сәйкес болашақта белгілі бір қолдануы болатын стандартты емес шешімдер туралы айтып беремін.Жақында Стэнфорд ғалымдары кедейлікті болжау үшін CNN нейрондық желісінің өте ерекше қолданбасын ойлап тапты. Олар не істеді?
Тұжырымдама шын мәнінде өте қарапайым. Өйткені, Африкада кедейлік деңгейі барлық мүмкін болатын және мүмкін емес шектен асып түседі. Олардың тіпті әлеуметтік демографиялық деректерді жинау мүмкіндігі де жоқ. Сондықтан 2005 жылдан бері ол жақта не болып жатқаны туралы бізде мүлде деректер жоқ.
Ғалымдар спутниктерден күндізгі және түнгі карталарды жинап, оларды белгілі бір уақыт ішінде нейрондық желіге жіберді.
Нейрондық желі ImageNet-те алдын ала конфигурацияланған, яғни сүзгілердің бірінші қабаттары күндізгі карталарда елді мекендерді іздеу үшін, мысалы, үйлердің шатырларын тани алатындай етіп конфигурацияланған Түнгі карталармен салыстырғанда, тұрғындардың түнде кем дегенде үйлерін жарықтандыруға қанша ақша қажет екенін айту үшін жер бетінің бірдей аймағын жарықтандыру.
Мұнда сіз нейрондық желі құрастырған болжамның нәтижелерін көресіз. Болжам әртүрлі шешімдерде жасалды. Көрдіңіз бе - ең соңғы кадр - 2005 жылы Уганда үкіметі жинаған нақты деректер.
Нейрондық желі 2005 жылдан бері шамалы ауысумен де жеткілікті дәл болжам жасағанын көруге болады.
Әрине жанама әсерлер болды. Терең оқумен айналысатын ғалымдар әр түрлі жанама әсерлерді тапқанда әрқашан таң қалады. Мысалы, желінің суды, ормандарды, үлкен құрылыс алаңдарын, жолдарды тануды үйренгені сияқты - мұның бәрі мұғалімдерсіз, алдын-ала жасалған деректер базасынсыз. Жалпы, толығымен тәуелсіз. Мысалы, жолдарға әсер ететін белгілі бір қабаттар болды.
Ал мен айтқым келетін соңғы қолданба – медицинадағы 3D кескіндердің семантикалық сегментациясы. Жалпы, медициналық бейнелеу – күрделі сала, онымен жұмыс істеу өте қиын.
Мұның бірнеше себептері бар.
- Бізде деректер базасы өте аз. Мидың, әсіресе зақымдалғанның суретін табу оңай емес, сонымен қатар оны кез келген жерден алу мүмкін емес.
- Бізде мұндай сурет болса да, біз дәрігерді алып, оны барлық көп қабатты кескіндерді қолмен орналастыруға мәжбүрлеуіміз керек, бұл өте көп уақытты қажет етеді және өте тиімсіз. Мұны істеу үшін барлық дәрігерлердің ресурстары жоқ.
- Өте жоғары дәлдік қажет. Медициналық жүйе қателеспейді. Тану кезінде, мысалы, мысықтар танылмады - үлкен мәселе емес. Егер біз ісіктерді танымасақ, бұл енді өте жақсы емес. Мұнда жүйенің сенімділігіне қойылатын талаптар әсіресе қатаң.
- Суреттер үш өлшемді элементтерде – пиксельдерде емес, вокселдерде болады, бұл жүйе әзірлеушілеріне қосымша күрделілік әкеледі.
Қайда қолданылады: соққыдан кейінгі зақымдануды анықтау, мидағы ісіктерді іздеу, кардиологияда жүректің қалай жұмыс істейтінін анықтау.
Мұнда плацентаның көлемін анықтауға мысал келтірілген.
Автоматты түрде ол жақсы жұмыс істейді, бірақ өндіріске шығару үшін жеткіліксіз, сондықтан ол енді ғана басталып жатыр. Мұндай медициналық көру жүйелерін жасау үшін бірнеше стартаптар бар. Жалпы, жақын арада тереңдетіп оқытуда стартаптар көп болады. Олардың айтуынша, венчурлық капиталистер соңғы алты айда терең білім беретін стартаптарға соңғы 5 жылмен салыстырғанда көбірек бюджет бөлген.
Бұл сала белсенді дамып келеді, көптеген қызықты бағыттар бар. Біз қызықты уақытта өмір сүріп жатырмыз. Егер сіз терең біліммен айналыссаңыз, өзіңіздің жеке стартапыңызды ашатын кез келген шығар.
Жарайды, мен оны осында аяқтайтын шығармын. Сізге көп рахмет.
Материалды қарастыруды жасанды жүйке жүйесі ұғымымен таныстырудан және анықтаудан бастайық.
негізінен бір-біріне параллель қосылған қарапайым деректерді өңдеу элементтерін пайдаланатын аналогтық есептеу жүйесі ретінде қарастыруға болады. Деректерді өңдеу элементтері өздерінің кіріс деректеріне өте қарапайым логикалық немесе арифметикалық операцияларды орындайды. Жасанды жүйке жүйесінің жұмыс істеуінің негізі салмақ коэффициенттері осындай жүйенің әрбір элементімен байланысты. Бұл салмақтар жүйеде сақталған ақпаратты білдіреді.Типтік жасанды нейронның диаграммасы
Нейронның көптеген кірістері болуы мүмкін, бірақ бір ғана шығыс. Адамның миында шамамен нейрондар бар және әрбір нейронның басқалармен мыңдаған байланыстары болуы мүмкін. Нейронның кіріс сигналдары салмақ коэффициенттеріне көбейтіледі және нейронның жалпы кірісін алу үшін қосылады - I:
Күріш. 1.Типтік жасанды нейрон Нейронның шығысын оның кірістерімен байланыстыратын функция белсендіру функциясы деп аталады. Оның сигма тәрізді функциясы бар θ
. Нейрондық жауаптың формализациясы бастапқы сигналдың өте кішкентай және өте үлкен кіріс сигналдарын қабылдаған кезде шекаралардың біріне жіберілетіндігінде. Сонымен қатар, әрбір нейрон шекті мәнмен байланысты - θ
, ол шығыс сигналды есептеу формуласында жалпы кіріс сигналынан шегеріледі. Нәтижесінде нейронның шығыс сигналы - O жиі келесідей сипатталады: Кері таралу желісінің құрылымы" src="https://libtime.ru/uploads/images/00/00/01/2014/06/27/set -s- obratnym-rasprostraneniyem.png" alt="Бакпропагациялық желі құрылымы" width="450" height="370">
Рис. 2. Сеть с обратным распространением
!} Кері таралу желісі, әдетте, үш сегментке бөлінеді, дегенмен қосымша сегменттер де құрылуы мүмкін. Кіріс және шығыс сегменттерінің арасында орналасқан сегменттер (сегмент) жасырын сегменттер деп аталады, өйткені сыртқы әлем тек кіріс және шығыс сегменттерді визуалды түрде қабылдайды. XOR логикалық операциясының мәнін бағалайтын желі оның барлық кірістері ақиқат болмағанда немесе оның барлық кірістері жалған болмағанда ғана шынайы нәтиже береді. Жасырын сектордағы түйіндердің саны жобаның мақсатына байланысты өзгеруі мүмкін. Нейрондық желілердің сипаттамалары
Айта кету керек, нейрондық желілер сөздің әдеттегі мағынасында бағдарламалауды қажет етпейді. Нейрондық желілерді үйрету үшін қарсы таралу және кері таралу сияқты нейрондық желіні оқытудың арнайы алгоритмдері қолданылады. Бағдарламалаушы желіні кірістер мен сәйкес шығыстарды көрсету арқылы «бағдарламалайды». Желі нейрондар арасындағы синаптикалық байланыстар үшін салмақтарды автоматты түрде реттеу арқылы үйренеді. Салмақ коэффициенттері нейрондардың шекті мәндерімен бірге деректердің желі арқылы таралу сипатын анықтайды және осылайша оқыту процесінде қолданылатын деректерге дұрыс жауап береді. Дұрыс жауаптар алу үшін желіні оқыту көп уақытты қажет етеді. Желілік оқыту кезінде қанша кескінді үйрену керек екеніне, сондай-ақ қолданылатын аппараттық құралдар мен қолдау көрсететін бағдарламалық құралдың мүмкіндіктеріне байланысты. Дегенмен, оқыту аяқталғаннан кейін желі жоғары жылдамдықпен жауап бере алады. Өз жолымен жасанды жүйке жүйесінің архитектурасыбасқа есептеуіш жүйелерден ерекшеленеді. Классикалық ақпараттық жүйеде дискретті ақпаратты жады элементтерімен байланыстыру мүмкіндігі жүзеге асырылады. Мысалы, әдетте, ақпараттық жүйе белгілі бір объект туралы деректерді көрші жад элементтері тобында сақтайды. Демек, деректерге қол жеткізу және өңдеу мүмкіндігі объектінің атрибуттары мен олар сақталатын жад ұяшықтарының мекенжайлары арасында бір-бірден қатынас құру арқылы қол жеткізіледі. Мұндай жүйелерден айырмашылығы, жасанды нейрондық жүйелердің модельдері ми жұмысының заманауи теорияларына негізделген, оған сәйкес ақпарат мида салмақтар арқылы көрсетіледі. Дегенмен, белгілі бір салмақ коэффициентінің мәні мен сақталған ақпараттың белгілі бір элементі арасында тікелей корреляция жоқ. Ақпараттың бұл таратылған көрінісі голограммаларда қолданылатын кескіндерді сақтау және көрсету технологиясына ұқсас. Бұл технологияға сәйкес голограмма сызықтары дифракциялық торлар сияқты әрекет етеді. Олардың көмегімен лазер сәулесі өткен кезде сақталған кескін қайта шығарылады, алайда деректердің өзі тікелей түсіндірілмейді.
Нейрондық желі мәселені шешу құралы ретінде. Нейрондық желіэмпирикалық деректердің үлкен көлемі болған кезде мәселені шешудің қолайлы құралы ретінде әрекет етеді, бірақ қажетті жылдамдықта жеткілікті дәл шешімді қамтамасыз ете алатын алгоритм жоқ. Бұл тұрғыда жасанды нейрондық жүйеден деректерді ұсыну технологиясы басқа ақпараттық технологиялармен салыстырғанда айтарлықтай артықшылықтарға ие. Бұл артықшылықтарыкелесідей тұжырымдауға болады: - Нейрондық желі жады ақауларға төзімді. Нейрондық желінің жеке бөліктері жойылған кезде ақпарат сапасының төмендеуі ғана орын алады, бірақ оның толық жойылуы емес; Бұл ақпарат таратылған пішінде сақталғандықтан орын алады.
- Нейрондық желідегі қысқартуға жататын ақпараттың сапасы желінің жойылған бөлігіне пропорционалды түрде біртіндеп төмендейді. Ақпараттың апатты жоғалуы жоқ.
- Нейрондық желідегі деректер ассоциативті жадының көмегімен табиғи түрде сақталады. Ассоциативті жад - бұл барлық ақпаратты толығымен қалпына келтіру үшін ішінара ұсынылған деректерді іздеу жеткілікті болатын жады. Бұл сәйкес жад элементтерінің нақты адресін көрсету арқылы деректер алынатын ассоциативті жады мен қарапайым жадының айырмашылығы.
- оларда сақталған ақпарат негізінде экстраполяция мен интерполяцияны орындауға мүмкіндік береді. Яғни, оқыту желіге деректердегі маңызды мүмкіндіктерді немесе қатынастарды іздеу мүмкіндігін беруге мүмкіндік береді. Содан кейін желі алған жаңа деректердегі қосылымдарды экстраполяциялауға және анықтауға қабілетті. Мысалы, бір экспериментте нейрондық желі гипотетикалық мысал арқылы оқытылды. Тренингті аяқтағаннан кейін желі ешқандай тренинг өткізілмеген сұрақтарға дұрыс жауап беру мүмкіндігін алды.
- Нейрондық желілер пластикалық болып табылады. Нейрондардың белгілі бір санын алып тастағаннан кейін де желіні бастапқы деңгейге қайта даярлауға болады (әрине, егер онда нейрондар жеткілікті болса). Бұл қасиет адам миына да тән, оның жеке бөліктері зақымдалуы мүмкін, бірақ уақыт өте келе жаттығулардың көмегімен дағдылар мен білімнің бастапқы деңгейіне қол жеткізіледі.
