Արհեստական նեյրոնային ցանց
Մեքենայական ուսուցման մեջ, նեյրոնային ցանցը (նաև արհեստական նեյրոնային ցանցը կամ նեյրոնային ցանցը, կրճատ՝ ԱՆՑ կամ ՆՑ), կենդանիների ուղեղում կենսաբանական նեյրոնային ցանցերի կառուցվածքի և գործառույթի վրա հիմնված մոդել է[1][2]։
Ենթակատեգորիա | նեյրոցանց, discriminative model | |
---|---|---|
Թեմայով վերաբերում է | արհեստական բանականություն, Մեքենայական ուսուցում | |
Բնութագրվում է | types of artificial neural networks | |
Manifestation of | biological neural network | |
Կազմված է | neuron layer, loss function, optimizer, artificial neuron, neural processing unit |
ԱՆՑ-ն բաղկացած է կապակցված հանգույցներից, որոնք կոչվում են արհեստական նեյրոններ, որոնք ընդհանուր առմամբ մոդելավորում են ուղեղի նեյրոնները։ Դրանք միացված են կողերով, որոնք մոդելավորում են ուղեղի սինապսները։ Յուրաքանչյուր արհեստական նեյրոն ազդանշաններ է ստանում կապակցված նեյրոններից, այնուհետև դրանք մշակում և ազդանշան է ուղարկում իր հետ կապակցված այլ նեյրոններին։ «Ազդանշանը» իրական թիվ է, և հաշվարկվում է նեյրոնի մուտքերի գումարի ոչ գծային ֆունկցիայի միջոցով, որը կոչվում է ակտիվացման ֆունկցիա։ Յուրաքանչյուր միացման ազդանշանի ուժը որոշվում է կշռով, որն ուսուցման ընթացքում ճշգրտվում է։
Սովորաբար, նեյրոնները համախմբված են շերտերի մեջ։ Տարբեր շերտերը իրենց մուտքերի վրա տարբեր փոխակերպումներ կարող են կատարել։ Ազդանշաններն առաջին շերտից (մուտքային շերտ) փոխանցվում են վերջին շերտ (ելքային շերտ)՝ հնարավոր է անցնելով մի քանի միջանկյալ շերտերով (թաքնված շերտեր)։ Ցանցը սովորաբար կոչվում է խորը նեյրոնային ցանց, եթե այն առնվազն 2 թաքնված շերտ ունի[3]։
Արհեստական նեյրոնային ցանցերն օգտագործվում են կանխատեսող մոդելավորման, հարմարվողական կառավարման, արհեստական ինտելեկտի և այլ խնդիրներ լուծելու համար։ Նրանք կարող են սովորել փորձից և կարող են եզրակացություններ անել բարդ և թվացյալ կապ չունեցող տեղեկատվությունների բազմությունից։
Ուսուցում
խմբագրելՆեյրոնային ցանցերը սովորաբար վերապատրաստվում են էմպիրիկ ռիսկերի նվազեցման միջոցով։ Այս մեթոդը հիմնված է ցանցի պարամետրերի օպտիմալացման գաղափարի վրա՝ կանխատեսվող արդյունքի և տվյալ տվյալների բազայի իրական նպատակային արժեքների միջև տարբերությունը՝ էմպիրիկ ռիսկը, նվազագույնի հասցնելու վրա[4]։ Ցանցի պարամետրերը գնահատելու համար սովորաբար օգտագործվում են գրադիենտի մեթոդներ, ինչպիսիք են սխալի հետտարածումը[4]։ Ուսուցման փուլում ԱՆՑ-ները սովորում են նշված ուսուցող տվյալներից՝ պարբերաբար թարմացնելով իրենց պարամետրերը՝ կորստի ֆունկցիան նվազագույնի հասցնելով համար[5]։ Այս մեթոդը ցանցին թույլ է տալիս ընդհանրացնել չերևացող տվյալները։
Պատմություն
խմբագրելՊատմականորեն թվային համակարգիչները առաջացել են ֆոն Նեյմանի մոդելից և գործում են մի շարք պրոցեսորների կողմից հիշողության նկատմամբ հստակ հրահանգների կատարման միջոցով։ Մյուս կողմից, նեյրոնային ցանցերը առաջացել են կենսաբանական համակարգերի կապակցվածության հաշվարկով տեղեկատվության մշակման մոդելավորման արդյունքում։ Ի տարբերություն ֆոն Նեյմանի մոդելի, կապակցական հաշվարկը հիշողությունը մշակումից չի տարանջատում։
Ուղիղ կապով նեյրոնային ցանցի (FNN) ամենապարզ տեսակը դա գծային ցանցն է, որը բաղկացած է ելքային հանգույցների մեկ շերտից. մուտքերը ուղղակիորեն տրվում են ելքերին մի շարք կշիռների միջոցով։ Յուրաքանչյուր հանգույցում հաշվարկվում է kշիռների արտադրյալների և մուտքերի գումարը։ Այս հաշվարկված արդյունքների և տրված թիրախային արժեքների միջև միջին քառակուսի սխալները նվազագույնի են հասցվում կշիռների ճշգրտման միջոցով։ Այս տեխնիկան հայտնի է ավելի քան երկու դար որպես նվազագույն քառակուսիների կամ գծային ռեգրեսիայի մեթոդ։ Լեժանդրը (1805) և Գաուսը (1795) այն օգտագործել են մի շարք կետերին լավ կոպիտ գծային համապատասխանություն գտնելու միջոց՝ մոլորակների շարժման կանխատեսման համար[6][7][8][9][10]։
Ուորեն ՄաքՔալոկը և Ուոլթեր Փիթսը[11] (1943) նեյրոնային ցանցերի համար նույնպես դիտարկել են սովորել չպահանջող հաշվողական մոդելը[12]։
1940-ականների վերջին Դոնալդ Հեբբը[13] ստեղծեց ուսուցման վարկած՝ հիմնված նեյրոնային պլաստիկության մեխանիզմի վրա, որը հայտնի դարձավ որպես Հեբբի ուսուցում։ Հեբբի ուսուցումը համարվում է «տիպիկ» ինքնուսուցման կանոն, և դրա հետագա տարբերակները երկարաժամկետ հզորացման վաղ մոդելներ էին։ Այս գաղափարները սկսեցին կիրառվել հաշվողական մոդելների՝ 1948 թվականին Թյուրինգի «անկազմակերպ մեքենաների» վրա։ Ֆարլին և Ուեսլի Ա. Քլարկը առաջինն էին, ովքեր 1954 թվականին MIT-ում նմանակեցին Հեբբի ցանցը։ Նրանք օգտագործում էին հաշվողական մեքենաներ, որոնք այն ժամանակ կոչվում էին «հաշվիչներ»։ Նեյրոնային ցանցի այլ հաշվողական մեքենաներ ստեղծվել են Ռոչեսթերի, Հոլանդի, Հաբիթի և Դուդայի կողմից 1956 թվականին[14][15]։ 1958 թվականին հոգեբան Ֆրենկ Ռոզենբլատը հորինել է պերցեպտրոնը՝ առաջին ներդրված արհեստական նեյրոնային ցանցը[16][17][18][19], որը ֆինանսավորվել էր Միացյալ Նահանգների ռազմածովային հետազոտությունների գրասենյակի կողմից[20]։
Պերցեպտրոնի գյուտը բարձրացրեց հանրային ոգևորությունը արհեստական նեյրոնային ցանցերում հետազոտությունների նկատմամբ՝ ինչը ԱՄՆ կառավարությանը ստիպեց կտրուկ ավելացնել խորը ուսուցման հետազոտության ֆինանսավորումը։ Սա հանգեցրեց «AI-ի ոսկե դարաշրջանին», ինչին օժանդակում էին համակարգչային գիտնականների լավատեսական հայտարարությունները՝ պերցեպտրոնների՝ մարդկային ինտելեկտը ընդօրինակելու կարողության վերաբերյալ[21]։ Օրինակ, 1957 թվականին Հերբերտ Սայմոնը հայտարարել է․[21]
Այնուամենայնիվ, դա այդքան էլ այդպես չէր, քանի որ Մինսկու և Փեյպերտի (1969) աշխատանքից հետո Միացյալ Նահանգներում հետազոտությունները լճացել էին[22], ովքեր հայտնաբերեցին, որ հիմնական պերցեպտրոններն ի վիճակի չեն մշակել բացառիկ կամ համապարփակ շրջան, և որ համակարգիչները բավարար հզորություն չունեն օգտակար նեյրոնային ցանցեր մշակելու համար։ Սա, ի թիվս այլ գործոնների, ինչպիսիք են 1973 թվականին Ջեյմս Լայթհիլի զեկույցը, որում ասվում է, որ Արհեստական ինտելեկտի հետազոտությունը «չի տվել այն ժամանակ խոստացված մեծ ազդեցությունը», բերեց ԱԻ-ի հետազոտությունների ֆինանսավորման փակմանը Մեծ Բրիտանիայում և աշխարհի բազմաթիվ խոշոր հաստատություններում, բացառությամբ երկու համալսարանի[23]։ Սա ԱԻ Ձմեռ դարաշրջանի սկիզբ դրեց՝ պայմանավորված Միացյալ Նահանգներում և այլ արևմտյան երկրներում պետական ֆինանսավորման նվազմամբ և արհեստական ինտելեկտի նկատմամբ ուշադրության անկմամբ[24][23]։
ԱԻ Ձմեռ շրջանում, սակայն, ԱՄՆ-ից դուրս, հատկապես Արևելյան Եվրոպայում, հետազոտությունները շարունակվեցին։ Մինսկու և Փեյփերտի «Պերցեպտրոնների մասին» գրքի հրատարակվելու պահին, բազմաշերտ պերցեպտրոնների (ԲՇՊ) ուսուցման մեթոդները արդեն հայտնի էին։ Առաջին խորը ուսուցման ԲՇՊ-ն, որպես տվյալների մշակման խմբային մեթոդ, 1965 թվականին հրատարակվել է Ալեքսեյ Գրիգորևիչ Իվախնենկոյի և Վալենտին Լապայի կողմից, որպես տվյալների մշակման խմբային մեթոդ[25][26][27]։ Առաջին խորը ուսուցման ԲՇՊ-ն, որը ուսուցանվել է ստոխաստիկ գրադիենտ մեթոդով[28] 1967 թվականին հրատարակվել է Շունիչի Ամարիի կողմից[29][30]։
1982 թվականին Տևո Կոհոնենը նկարագրել է ինքնակազմակերպվող քարտեզները (ԻԿՔ)[31][32]։ ԻԿՔ-ները նեյրոնային ցանցեր են, որոնք սովորում են լայնածավալ տվյալների փոքր չափերի ներկայացումներ՝ պահպանելով տվյալների տոպոլոգիական կառուցվածքը։ Դրանք սովորում են մրցակցային ուսուցման եղանակով[33][31]։
Մոդելներ
խմբագրելԱրհեստական նեյրոնային ցանցերը (ԱՆՑ) սկիզբ դրվեց որպես փորձ՝ մարդկային ուղեղի ճարտարապետությունը օգտագործելու այնպիսի առաջադրանքներ կատարելու համար, որոնցում սովորական ալգորիթմներն առանձնապես մեծ հաջողություն չունեին։ Նրանք շուտով շրջվեցին դեպի էմպիրիկ արդյունքների բարելավում՝ հրաժարվելով իրենց կենսաբանական նախորդներին հավատարիմ մնալուց։ ԱՆՑ-երն ունեն ոչ գծային և բարդ հարաբերություններ սովորելու և մոդելավորելու ունակություն։ Սա ձեռք է բերվում տարբեր ձևերով միացված նեյրոնների միջոցով, ինչը թույլ է տալիս որոշ նեյրոնների ելքը դառնալ մյուսների մուտքը։ Ցանցն իրենից ներկայացնում է ուղղորդված, կշիռներով գրաֆ[34]։
Արհեստական նեյրոնային ցանցը բաղկացած է մոդելավորված նեյրոններից։ Յուրաքանչյուր նեյրոն, կենսաբանական աքսոն-սինապս-դենդրիտ կապի նման կապերի միջոցով, կապված է այլ գագաթների՝ հանգույցների հետ։ Կապերով միացած բոլոր հանգույցները վերցնում են որոշ տվյալներ և դրանք օգտագործում հատուկ գործողություններ և առաջադրանքներ կատարելու համար։ Յուրաքանչյուր կապ ունի կշիռ, որը ներկայացնում է մեկ հանգույցի ազդեցության ուժը մյուսի վրա[35]։
Արհեստական նեյրոններ
խմբագրելԱՆՑ-երը կազմված են արհեստական նեյրոններից, որոնք գաղափարապես բխում են կենսաբանական նեյրոններից։ Յուրաքանչյուր արհեստական նեյրոն ունի մուտքեր և արտադրում է մեկ ելք, որը կարող է ուղարկվել բազմաթիվ այլ նեյրոնների[36]։ Մուտքերը կարող են լինել արտաքին տվյալների նմուշի հատկությունների արժեքները, ինչպիսիք են պատկերները կամ փաստաթղթերը, կամ դրանք կարող են լինել այլ նեյրոնների ելքեր։ Նյարդային ցանցի վերջնական ելքային նեյրոնների ելքերը ամբողջացնում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը։
Նեյրոնի ելքը գտնելու համար մենք վերցնում ենք մուտքերից դեպի նեյրոն կապերի կշիռների գումարը։ Այս գումարին ավելացնում ենք շեղումը[37]։ Այս կշռված գումարը երբեմն կոչվում է ակտիվացում։ Արդյունքը ստանալու համար այս կշռված գումարն անցնում է (սովորաբար ոչ գծային) ակտիվացման ֆունկցիայի միջով։ Սկզբնական մուտքերը արտաքին տվյալներ են, ինչպիսիք են պատկերները և փաստաթղթերը։ Վերջնական արդյունքները կատարում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը[38]։
Կառուցվածք
խմբագրելՆեյրոնային ցանցը սովորաբար կազմված է մի քանի շերտերից, հատկապես խորը ուսուցման մեջ։ Մեկ շերտի նեյրոնները միանում են միայն անմիջապես նախորդող և անմիջապես հաջորդող շերտերի նեյրոններին։ Արտաքին տվյալներ ստացող շերտը մուտքային շերտն է։ Շերտը, որը վերջնական արդյունք է տալիս, ելքային շերտն է։ Նրանց կարող են լինել կամ չլինել թաքնված շերտեր։ Լինում են նաև միաշերտ և անշերտ ցանցեր։ Երկու շերտերի միջև հնարավոր են միացման մի քանի ձևեր։ Դրանք կարող են «ամբողջովին միացած» լինել՝ մի շերտի յուրաքանչյուր նեյրոն կապված լինի հաջորդ շերտի յուրաքանչյուր նեյրոնին։ Նրանք կարող են խմբավորված լինել՝ մի շերտի նեյրոնների խումբը կապված է հաջորդ շերտի մեկ նեյրոնին[39]։ Միայն նման կապերով նեյրոնները կազմում են ուղղորդված ացիկլիկ գրաֆ և հայտնի են որպես ուղիղ կապերով նեյրոնային ցանցեր։.[40] Այլընտրանքային, ցանցերը, որոնք թույլ են տալիս կապեր նույն կամ նախորդ շերտերի նեյրոնների միջև, հայտնի են որպես պարբերական ցանցեր[41]։
Հիպերպարամետր
խմբագրելՀիպերպարամետրը հաստատուն պարամետր է, որի արժեքը սահմանվում է ուսուցման գործընթացի սկսվելուց առաջ, ի տարբերություն այլ պարամետրերի, որոնց արժեքները ստացվում են ուսուցման միջոցով։ Հիպերպարամետրերի օրինակներ են սովորելու արագությունը, թաքնված շերտերի քանակը և փաթեթի չափը։ Օրինակ, որոշ շերտերի չափը կարող է կախված լինել շերտերի ընդհանուր քանակից։
Ուսուցում
խմբագրելՈւսուցումը դա նմուշային օրինակների դիտարկման միջոցով ցանցի հարմարեցումն է առաջադրանքն ավելի լավ կատարելու համար։ Ուսուցումը ներառում է ցանցի կշիռների (և ընտրովի շեմերի) սրբագրումը՝ արդյունքի ճշգրտությունը բարելավելու համար։ Դա արվում է նշմարված սխալները նվազագույնի հասցնելու միջոցով։ Ուսուցումն ավարտվում է, երբ լրացուցիչ դիտարկումների ուսումնասիրությունը չի բերում սխալների չափաբաժնի նվազմանը։ Նույնիսկ սովորելուց հետո չափաբաժինը սովորաբար չի հասնում 0-ի։ Եթե սովորելուց հետո սխալների քանակը չափազանց բարձր է, ցանցը անհրաժեշտ է վերանախագծել։ Գործնականում դա արվում է ծախսերի ֆունկցիայի որոշման միջոցով, որն ուսուցման ընթացքում պարբերաբար գնահատվում է։ Քանի դեռ դրա արժեքը շարունակում է նվազել, ուսումը շարունակվում է։ Արժեքը հաճախ դիտարկվում է որպես վիճակագրություն, որի արժեքը կարող է միայն մոտավոր լինել։ Արդյունքները իրականում թվեր են, ուստի արդյունքի՝ (գրեթե անկասկած կատու) և ճիշտ պատասխանի՝ (կատու) միջև տարբերությունը փոքր է։ Ուսուցումը փորձում է նվազեցնել դիտարկումների միջև եղած տարբերությունների ընդհանուր ցուցանիշը։ Ուսուցման մոդելների մեծ մասը կարող է դիտվել որպես օպտիմիզացիոն տեսության և վիճակագրական գնահատման ուղղակի կիրառություն[34][42]։
Ուսուցման մակարդակը
խմբագրելՅուրաքանչյուր դիտարկման ժամանակ սխալներն ուղղելու համար մոդելի ձեռնարկած քայլերի քանակը որոշում է ուսուցման արագությունը։ [43] Ուսուցման բարձր արագությունը կրճատում է ուսուցման ժամանակը, բայց ավելի ցածր վերջնական ճշգրտությամբ, մինչդեռ ցածր ուսուցման արագությունը ավելի երկար է տևում, բայց ավելի մեծ ճշգրտություն է ապահովում։ Օպտիմալացումները, ինչպիսիք են Quickprop-ը հիմնականում ուղղված են արագացնելու սխալների նվազեցնելը, մինչդեռ այլ բարելավումները հիմնականում փորձում են բարձրացնել հուսալիությունը։ Ցանցի ներսում տատանումներից խուսափելու համար, ինչպիսիք են կապի փոփոխական կշիռները, և բարելավելու զուգամիտման արագությունը, ճշգրտումները օգտագործում են հարմարվողական ուսուցման արագությունը, որը մեծանում կամ նվազում է ըստ անհրաժեշտության[44]։
Ուսուցման պարադիգմներ
խմբագրելՄեքենայական ուսուցումը սովորաբար բաժանվում է երեք հիմնական ուսուցման պարադիգմների՝ վերահսկվող ուսուցում[45], չվերահսկվող ուսուցում[46] և ամրապնդող ուսուցում[47]։ Յուրաքանչյուրը համապատասխանում է որոշակի ուսումնական առաջադրանքի։
Վերահսկվող ուսուցում
խմբագրելՎերահսկվող ուսուցումն օգտագործում է մուտքերի և ցանկալի արդյունքների զույգերի հավաքածու։ Ուսուցման խնդիրն է յուրաքանչյուր մուտքի համար ցանկալի արդյունք ստանալ։ Այս դեպքում ծախսերի ֆունկցիան կապված է սխալ արդյունքները վերացնելու հետ[48]։ Սովորաբար օգտագործվող արժեքը միջին քառակուսի սխալն է, որը փորձում է նվազագույնի հասցնել ցանցի ելքի և ցանկալի արդյունքի միջև միջին քառակուսի սխալը։ Վերահսկվող ուսուցման համար հարմար առաջադրանքներ են օրինաչափությունների ճանաչումը (հայտնի է նաև որպես դասակարգում) և ռեգրեսիան (նաև հայտնի է որպես ֆունկցիայի մոտարկում)։ Վերահսկվող ուսուցումը կիրառելի է նաև հաջորդական տվյալների համար (օրինակ՝ ձեռագրի, խոսքի և ժեստերի ճանաչման համար)։ Սա կարելի է ընկալել որպես «ուսուցչի» հետ ուսուցում՝ ֆունկցիայի տեսքով, որն ապահովում է մինչ այժմ ստացված լուծումների որակի վերաբերյալ շարունակական հետադարձ կապ։
Ժամանակագրություն
խմբագրել- 1943 թվականին Ու. ՄակՔալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում[49].
- 1948 թվականին Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
- 1949 թվականին Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
- 1958 թվականին Ֆ. Ռոզենբատտը ստեղծում է միաշերտ պերսեպտրոն և ցույց է տալիս դասակարգման խնդիրները լուծելու նրա կարողությունը։ Պերսեպտրոնը կիրառում էին կերպարների ճանաչման, եղանակի կանխատեսման և այլ խնդիրներում։ Պերսեպտրոնի հայտնագործման պահին ավարտվել էր Վինների «կիբերնետիկայի» հետ ՄակՔալոնի տարակարծությունը։ Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ։ ՄակՔալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբի» կազմից։
- 1960 թվականին Ուիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը, որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա՝ մեմիստորի հիման վրա[50]. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը[51]։
- 1963 թվականին ԽՍՀՄ ԳԱ Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն[52]. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր, որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար[53] : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի։
- 1969 թվականին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կտրուկ ընկնում է։
- 1973 թվականին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»։ «Նևա»,2003, 144 էջ.
- 1974 թվականին Պոլ Ջ. Վերբոսը[54] և Ա. Ի. Գալուշկինը[55] միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար։ Հայտնագործությունը առանձնապես ուշադրության չի արժանանում։
- 1975 թվականին Կունիխիկո Ֆուկսիման ներկայացնում է կոգնիտրոնը. ինքնաձևավորվող ցանց` նախատեսված այլընտրանքային պատկերների ճանաչման համար, սակայն դա հասանելի է փաստացիորեն պատկերների բոլոր վիճակների հիշման պարագայում։
- 1982 թվականին մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կրկին աճում է։ Ջոն Հոպֆիլդը (en:John Joseph Hopfield) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակարգ, որը նվազեցնում է էներգիան (այսպես կոչված Հոպֆիլդի ցանց) ։ Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ։
- 1986 թվականին Դեվիդ Ի. Ռումելխարտի, Ջեֆրի Հինթոնի և Ռոնալդ Ջ. Վիլյամսի[56] և իրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ)[57] մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը։ Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը։
Ինչ է նեյրոնային ցանցը
խմբագրելՆեյրոն
խմբագրելՆեյրոնը հաշվողական միավոր է, որը տեղեկատվություն է ստանում, պարզ հաշվարկներ է կատարում դրա վրա և փոխանցում։ Դրանք բաժանվում են երեք հիմնական տեսակի՝ մուտքային, թաքնված և ելքային։ Այն դեպքում, երբ նեյրոնային ցանցը բաղկացած է մեծ թվով նեյրոններից, ներմուծվում է շերտ տերմինը։ Համապատասխանաբար, կա մուտքային շերտ, որը ստանում է տեղեկատվություն, թաքնված շերտեր, որոնք մշակում են այն, և ելքային շերտ, որը ցուցադրում է արդյունքը։ Նեյրոններից յուրաքանչյուրն ունի 2 հիմնական պարամետր՝ մուտքային տվյալներ (input data) և ելքային տվյալներ (output data)։ Մուտքային նեյրոնի դեպքում՝ input=output։ Մնացած մասում մուտքագրման դաշտը պարունակում է նախորդ շերտի բոլոր նեյրոնների ընդհանուր տեղեկատվությունը, որից հետո այն նորմալացվում է՝ օգտագործելով ակտիվացման ֆունկցիան։
Նեյրոնը կատարում է պարզագույն գործողություն՝
,
Որտեղ wi – սինապսի կշիռը, xi – նեյրոնի արժեքը, b – կոնստանտ, որը նույնպես փոփոխվում է նեյրոնային ցանցի սովորելու ընթացքում[58]։
Սինապս
խմբագրելՍինապսը կապ է երկու նեյրոնների միջև։ Սինապսներն ունեն 1 պարամետր՝ կշիռ (weight)։ Նրա շնորհիվ մուտքային տեղեկատվությունը փոխվում է, երբ այն փոխանցվում է մի նեյրոնից մյուսը։ Ենթադրենք կան 3 նեյրոններ, որոնք տեղեկատվություն են փոխանցում հաջորդին։ Այնուհետև մենք ունենք 3 կշիռ, որոնք համապատասխանում են սինապսներից յուրաքանչյուրին։ Ավելի մեծ քաշ ունեցող սինապսի համար այդ տեղեկատվությունը գերիշխող կլինի հաջորդ նեյրոնում։ Նեյրոնային ցանցի կշիռների հավաքածուն կամ քաշի մատրիցը ամբողջ համակարգի ուղեղն է։ Այդ կշիռների շնորհիվ է, որ մուտքային տեղեկատվությունը մշակվում և վերածվում է արդյունքի[58]։
Նեյրոնային Ցանցը՝ որպես ամբողջություն
խմբագրելՆեյրոնային ցանցը նեյրոնների հաջորդականություն է, որոնք միացված են սինապսներով։ Նեյրոնային ցանցի կառուցվածքը եկել է անմիջապես կենսաբանությունից։ Այս կառուցվածքի շնորհիվ մեքենան ձեռք է բերում տարբեր տեղեկություններ վերլուծելու ունակություն։ Նեյրոնային ցանցերը նաև ունակ են ոչ միայն վերլուծել մուտքային տեղեկատվությունը, այլև վերարտադրել այն իրենց հիշողությունից։ Այլ կերպ ասած, նեյրոնային ցանցը մարդու ուղեղի մեքենայական մեկնաբանությունն է, որը պարունակում է միլիոնավոր նեյրոններ, որոնք տեղեկատվություն են փոխանցում էլեկտրական իմպուլսների տեսքով[58]։
Հայտնի կիրառություններ
խմբագրելԿերպարների ճանաչում և դասակարգում
խմբագրելՈրպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն։ Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում։ Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր։ Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը։ Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար[59] : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան։
Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը , որպես կանոն, հավասար է որոշվող դասերի քանակին։ Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է։ Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին։ Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում[60]։ Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում։
Որոշումների ընդունում և կառավարում
խմբագրելԱյս խնդիրը մոտ է դասակարգման խնդրին։ Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում։ Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է։ Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ[61].
Կլաստերիզացիա
խմբագրելԿլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն։ Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը։ Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը։ Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր ։ Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից։ Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը։
Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը։ Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ)։ Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ։ Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում։ Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում։ Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը։ Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն։
Կանխատեսում
խմբագրելՆեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից։ Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա։ Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա։
Ապրոքսիմացիա
խմբագրելՆեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ։ Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմը[62]։ շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝ կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ։ Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի։ Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը։
Տվյալների սեղմում և ասոցիատիվ հիշողություն
խմբագրելՆեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ։ Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն։ Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից։ Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության[61]։
Որոշումների ընդունման փուլեր
խմբագրել- Ուսուցման համար տվյալների հավաքագրում;
- Տվյալների նախապատրաստում և նորմալացում;
- Ցանցի տրամաբանության ընտրություն;
- Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
- Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
- Ինքնուսուցում ;
- Ուսուցման արդյունավետության ստուգում;
- Պարամետրերի ուղղում,վերջնական ուսուցում;
- Ցանցի վերբալիզացիա[63] հետագա կիրառման նպատակով։
Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել։
Ուսուցման համար տվյալների հավաքագրում
խմբագրելՏվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը։Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .
- Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
- Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,
Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին։ Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար։ Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս։ Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .
- Նորմալացումը կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ։ Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000։ Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում։ Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
- Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու։ Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
- Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար։
Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը։ Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը։ Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ։ Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը։ Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը։
Ցանցի տրամաբանության ընտրություն
խմբագրելՑանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից։Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական։ Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է։ Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը։ Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում։ Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը։
Ցանցի հատկությունների փորձագիտական ընտրություն
խմբագրելԸնդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը։ Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները։ Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով։
Ուսուցման պարամետրերի փորձագիտական ընտրություն
խմբագրելԿոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը։ Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար։ Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա։ Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից։ Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից։ Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) ։
Ցանցի փաստացի ուսուցում
խմբագրելՈւսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը։ Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն։ Առանց ուսուցչի ուսուցանվող որոշ ցանցեր ,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ։ Այլք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական։ Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) ։ Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում։ Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները։ Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ ։ Նման դեպքերում սովորաբարուսուցումը ընդհատում են։ Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ։ Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ։
Ուսուցման համարժեքության ստուգում
խմբագրելՆույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել։ Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա։ Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը[64]։ Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել։
Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի
խմբագրել- Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
- Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան)։
Դասակարգում ըստ ուսուցման բնութագրի
խմբագրել- Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
- Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա։ Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
- Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ։
Դասակարգում ըստ սինապսների կարգավորումների բնութագրի
խմբագրել- Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում , որտեղ՝ W — ցանցի կշռային գործակիցներն են );
- դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ , որտեղ՝ W — ցանցի կշռային գործակիցներն են)։
Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի
խմբագրելՆեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից , այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից : Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան էլեմենտից էլեմենտին ունի հետևյալ տեսքը . . Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի : Ոչ սինխրոն անվանում են ցանցը, որի փոխանցման ժամանակը յուրաքանչյուր կապի համար и էլեմենտների միջև նույնպես անընդհատ է։
Դասակարգում ըստ կապերի բնութագրերի
խմբագրելՈւղիղ տարածման ցանցեր (Feedforward)
խմբագրելԲոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին։ Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը ։
Ռեկուրենտիվ նեյրոնային ցանցեր
խմբագրելԵլքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ)։ Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներ[65]։ Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը։ Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը։ Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը։
Ռադիկալ-բազիսային ֆունկցիաներ
խմբագրելԱրհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր)։ Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .
, օրինակ,
որտեղ` — նեյրոնի մուտքային ազդանշանների վեկտոր, —ֆունկցիայի պատուհանի լայնություն , — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում )։
Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.
1. Միակ թաքնված շերտ
2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա
3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի
Ուսուցման պրոցեսը նայել գրականությունում։
Ինքնակազմակերպվող քարտեզ
խմբագրելՆմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր։ Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն։ Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկը[66]։ Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար[67]։
Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կոորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) ։ Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ։
Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում։ Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են։ Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց։ Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով։ Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները։
Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն։ SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում։ Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .
- Պատահականորեն ընտրվում են տվյալների կետերը .
- Որոշվում է մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
- Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ։ Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ։ Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում։ Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր։ Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ։ Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը։ Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի։
- Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից)։
Հայտնի ցանցերի տիպեր
խմբագրել- Ռոզենբլատի պերցեպտրոն
- Խակիմովի սպլայն-մոդել
- Բազմաշերտ պերցեպտրոն
- Ջորդանի ցանց
- Էլմանի ցանց
- Հեմինգի ցանց
- Վորդի ցանց
- Խոպֆիլդի ցանց
- Կոխոնենի ցանց
- Նեյրոնային գազ[68]
- Կոգնիտրոն
- Նեոկոգնիտրոն
- Քաոսային նեյրոնային ցանց
- Օսցիլյատորային նեյրոնային ցանց
- Հանդիպակաց տարածման ցանց
- Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց)
- Ամբողջական ռեգրեսիայի ցանց
- Հավանականային ցանց
- Ռեշետովի հավանականային նեյրոնային ցանց
- Սիամական նեյրոնային ցանց
- Արդյունավետ ռեզոնանսի ցանցեր
- Փաթույթային նեյրոնային ցանց (convolutional neural network):
Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից
խմբագրելՀաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).
- Մասսայական զուգահեռականություն;
- Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
- Ընդհանրացման և ուսուցման ունակություն;
- Արդյունավետություն;
- Ինֆորմացիայի բովանդակային մշակման կարողություն;
- Սխալների նկատմամբ տոլերանտություն;
- Ցածր էներգատարություն։
Հավելվածների օրինակներ
խմբագրելՖինանսական ժամանակային շարքերի կանխատեսում
խմբագրելՄուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը։ Խնդիրն է որոշել վաղվա կուրսը։ Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով։ Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ։ Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը։ Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ։ Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը։ Դժվար չէ նկատել ,որ այս դեպքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք։ Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք։ Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ։
Հոգեդիագնոստիկա
խմբագրելՄ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանը[69][70]։ Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ։ Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ։
Հեմոինֆորմատիկա
խմբագրելՆեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում[71] Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը գույքային հարաբերությունների քանակական կապերի որոնման համար[72][73],որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար։
Նեյրոկառավարում
խմբագրելՆեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներով[74][75]։ Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար։ Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը ի սկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում։
Արտաքին հղումներ
խմբագրել- Neural Networks հոդվածը Curlie-ում (ըստ DMOZ-ի)
Գրականություն
խմբագրել- Bhadeshia H. K. D. H. (1999). «Neural Networks in Materials Science» (PDF). ISIJ International. 39 (10): 966–979. doi:10.2355/isijinternational.39.966.
- Bishop, Christopher M. (1995). Neural networks for pattern recognition. Clarendon Press. ISBN 978-0-19-853849-3. OCLC 33101074.
- Borgelt, Christian (2003). Neuro-Fuzzy-Systeme : von den Grundlagen künstlicher Neuronaler Netze zur Kopplung mit Fuzzy-Systemen. Vieweg. ISBN 978-3-528-25265-6. OCLC 76538146.
- Cybenko, G.V. (2006). «Approximation by Superpositions of a Sigmoidal function». In van Schuppen, Jan H. (ed.). Mathematics of Control, Signals, and Systems. Springer International. էջեր 303–314. PDF
- Dewdney, A. K. (1997). Yes, we have no neutrons : an eye-opening tour through the twists and turns of bad science. New York: Wiley. ISBN 978-0-471-10806-1. OCLC 35558945.
- Duda, Richard O.; Hart, Peter Elliot; Stork, David G. (2001). Pattern classification (2 ed.). Wiley. ISBN 978-0-471-05669-0. OCLC 41347061.
- Egmont-Petersen, M.; de Ridder, D.; Handels, H. (2002). «Image processing with neural networks – a review». Pattern Recognition. 35 (10): 2279–2301. CiteSeerX 10.1.1.21.5444. doi:10.1016/S0031-3203(01)00178-9.
- Fahlman, S.; Lebiere, C (1991). «The Cascade-Correlation Learning Architecture» (PDF). Արխիվացված է օրիգինալից (PDF) 2013 թ․ մայիսի 3-ին. Վերցված է 2006 թ․ օգոստոսի 28-ին.
- created for National Science Foundation, Contract Number EET-8716324, and Defense Advanced Research Projects Agency (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499.
- Gurney, Kevin (1997). An introduction to neural networks. UCL Press. ISBN 978-1-85728-673-1. OCLC 37875698.
- Haykin, Simon S. (1999). Neural networks : a comprehensive foundation. Prentice Hall. ISBN 978-0-13-273350-2. OCLC 38908586.
- Hertz, J.; Palmer, Richard G.; Krogh, Anders S. (1991). Introduction to the theory of neural computation. Addison-Wesley. ISBN 978-0-201-51560-2. OCLC 21522159.
- Information theory, inference, and learning algorithms. Cambridge University Press. 2003 թ․ սեպտեմբերի 25. Bibcode:2003itil.book.....M. ISBN 978-0-521-64298-9. OCLC 52377690.
- Kruse, Rudolf; Borgelt, Christian; Klawonn, F.; Moewes, Christian; Steinbrecher, Matthias; Held, Pascal (2013). Computational intelligence : a methodological introduction. Springer. ISBN 978-1-4471-5012-1. OCLC 837524179.
- Lawrence, Jeanette (1994). Introduction to neural networks : design, theory and applications. California Scientific Software. ISBN 978-1-883157-00-5. OCLC 32179420.
- MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. ISBN 978-0-521-64298-9.
{{cite book}}
: CS1 սպաս․ բազմաթիվ անուններ: authors list (link) - Masters, Timothy (1994). Signal and image processing with neural networks : a C++ sourcebook. J. Wiley. ISBN 978-0-471-04963-0. OCLC 29877717.
- Maurer, Harald (2021). Cognitive science : integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism. CRC Press. doi:10.1201/9781351043526. ISBN 978-1-351-04352-6. S2CID 242963768.
- Ripley, Brian D. (2007). Pattern Recognition and Neural Networks. Cambridge University Press. ISBN 978-0-521-71770-0.
- Siegelmann, H.T.; Sontag, Eduardo D. (1994). «Analog computation via neural networks». Theoretical Computer Science. 131 (2): 331–360. doi:10.1016/0304-3975(94)90178-3. S2CID 2456483.
- Smith, Murray (1993). Neural networks for statistical modeling. Van Nostrand Reinhold. ISBN 978-0-442-01310-3. OCLC 27145760.
- Wasserman, Philip D. (1993). Advanced methods in neural computing. Van Nostrand Reinhold. ISBN 978-0-442-00461-3. OCLC 27429729.
- Wilson, Halsey (2018). Artificial intelligence. Grey House Publishing. ISBN 978-1-68217-867-6.
Ծանոթագրություններ
խմբագրել- ↑ Hardesty, Larry (2017 թ․ ապրիլի 14). «Explained: Neural networks». MIT News Office. Վերցված է 2022 թ․ հունիսի 2-ին.
- ↑ Yang, Z.R.; Yang, Z. (2014). Comprehensive Biomedical Physics. Karolinska Institute, Stockholm, Sweden: Elsevier. էջ 1. ISBN 978-0-444-53633-4. Արխիվացված օրիգինալից 2022 թ․ հուլիսի 28-ին. Վերցված է 2022 թ․ հուլիսի 28-ին.
- ↑ Bishop, Christopher M. (2006 թ․ օգոստոսի 17). Pattern Recognition and Machine Learning (English). New York: Springer. ISBN 978-0-387-31073-2.
{{cite book}}
: CS1 սպաս․ չճանաչված լեզու (link) - ↑ 4,0 4,1 Vapnik, Vladimir N.; Vapnik, Vladimir Naumovich (1998). The nature of statistical learning theory (Corrected 2nd print. ed.). New York Berlin Heidelberg: Springer. ISBN 978-0-387-94559-0.
- ↑ Ian Goodfellow and Yoshua Bengio and Aaron Courville (2016). Deep Learning. MIT Press. Արխիվացված օրիգինալից 2016 թ․ ապրիլի 16-ին. Վերցված է 2016 թ․ հունիսի 1-ին.
- ↑ Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"
- ↑ Stigler, Stephen M. (1981). «Gauss and the Invention of Least Squares». Ann. Stat. 9 (3): 465–474. doi:10.1214/aos/1176345451.
- ↑ Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.
- ↑ Schmidhuber, Juergen (2022). «Annotated History of Modern AI and Deep Learning». arXiv:2212.11279 [cs.NE].
- ↑ Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. ISBN 0-674-40340-1.
- ↑ McCulloch, Warren; Walter Pitts (1943). «A Logical Calculus of Ideas Immanent in Nervous Activity». Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.
- ↑ Kleene, S.C. (1956). «Representation of Events in Nerve Nets and Finite Automata». Annals of Mathematics Studies. No. 34. Princeton University Press. էջեր 3–41. Վերցված է 2017 թ․ հունիսի 17-ին.
- ↑ Hebb, Donald (1949). The Organization of Behavior. New York: Wiley. ISBN 978-1-135-63190-1.
- ↑ Farley, B.G.; W.A. Clark (1954). «Simulation of Self-Organizing Systems by Digital Computer». IRE Transactions on Information Theory. 4 (4): 76–84. doi:10.1109/TIT.1954.1057468.
- ↑ Rochester, N.; J.H. Holland, L.H. Habit and W.L. Duda (1956). «Tests on a cell assembly theory of the action of the brain, using a large digital computer». IRE Transactions on Information Theory. 2 (3): 80–93. doi:10.1109/TIT.1956.1056810.
- ↑ Haykin (2008) Neural Networks and Learning Machines, 3rd edition
- ↑ Rosenblatt, F. (1958). «The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain». Psychological Review. 65 (6): 386–408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029. S2CID 12781225.
- ↑ Werbos, P.J. (1975). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.
- ↑ Rosenblatt, Frank (1957). «The Perceptron—a perceiving and recognizing automaton». Report 85-460-1. Cornell Aeronautical Laboratory.
- ↑ Olazaran, Mikel (1996). «A Sociological Study of the Official History of the Perceptrons Controversy». Social Studies of Science. 26 (3): 611–659. doi:10.1177/030631296026003005. JSTOR 285702. S2CID 16786738.
- ↑ 21,0 21,1 Russel, Stuart; Norvig, Peter (2010). Artificial Intelligence A Modern Approach (PDF) (English) (3rd ed.). United States of America: Pearson Education. էջեր 16–28. ISBN 978-0-13-604259-4.
{{cite book}}
: CS1 սպաս․ չճանաչված լեզու (link) - ↑ Minsky, Marvin; Papert, Seymour (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press. ISBN 978-0-262-63022-1.
- ↑ 23,0 23,1 Russell, Stuart J.; Norvig, Peter (2021). Artificial intelligence: a modern approach. Pearson Series in Artificial Intelligence. Ming-wei Chang, Jacob Devlin, Anca Dragan, David Forsyth, Ian Goodfellow, Jitendra Malik, Vikash Mansinghka, Judea Pearl, Michael J. Wooldridge (4th ed.). Hoboken, NJ: Pearson. ISBN 978-0-13-461099-3.
- ↑ Giacaglia, G.P. (2022 թ․ նոյեմբերի 2). Making Things Think. Holloway. ISBN 978-1-952120-41-1. Վերցված է 2023 թ․ դեկտեմբերի 29-ին.
- ↑ Schmidhuber, J. (2015). «Deep Learning in Neural Networks: An Overview». Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
- ↑ Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.
- ↑ Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and forecasting techniques. American Elsevier Pub. Co.
- ↑ Robbins, H.; Monro, S. (1951). «A Stochastic Approximation Method». The Annals of Mathematical Statistics. 22 (3): 400. doi:10.1214/aoms/1177729586.
- ↑ Amari, Shun'ichi (1967). «A theory of adaptive pattern classifier». IEEE Transactions. EC (16): 279–307.
- ↑ Schmidhuber, Juergen (2022). «Annotated History of Modern AI and Deep Learning». arXiv:2212.11279 [cs.NE].
- ↑ 31,0 31,1 Kohonen, Teuvo; Honkela, Timo (2007). «Kohonen Network». Scholarpedia. 2 (1): 1568. Bibcode:2007SchpJ...2.1568K. doi:10.4249/scholarpedia.1568.
- ↑ Kohonen, Teuvo (1982). «Self-Organized Formation of Topologically Correct Feature Maps». Biological Cybernetics. 43 (1): 59–69. doi:10.1007/bf00337288. S2CID 206775459.
- ↑ Von der Malsburg, C (1973). «Self-organization of orientation sensitive cells in the striate cortex». Kybernetik. 14 (2): 85–100. doi:10.1007/bf00288907. PMID 4786750. S2CID 3351573.
- ↑ 34,0 34,1 Zell, Andreas (2003). «chapter 5.2». Simulation neuronaler Netze [Simulation of Neural Networks] (գերմաներեն) (1st ed.). Addison-Wesley. ISBN 978-3-89319-554-1. OCLC 249017987.
- ↑ Artificial intelligence (3rd ed.). Addison-Wesley Pub. Co. 1992. ISBN 0-201-53377-4.
- ↑ Abbod, Maysam F. (2007). «Application of Artificial Intelligence to the Management of Urological Cancer». The Journal of Urology. 178 (4): 1150–1156. doi:10.1016/j.juro.2007.05.122. PMID 17698099.
- ↑ Dawson, Christian W. (1998). «An artificial neural network approach to rainfall-runoff modelling». Hydrological Sciences Journal. 43 (1): 47–66. Bibcode:1998HydSJ..43...47D. doi:10.1080/02626669809492102.
- ↑ «The Machine Learning Dictionary». www.cse.unsw.edu.au. Արխիվացված է օրիգինալից 2018 թ․ օգոստոսի 26-ին. Վերցված է 2009 թ․ նոյեմբերի 4-ին.
- ↑ Ciresan, Dan; Ueli Meier; Jonathan Masci; Luca M. Gambardella; Jurgen Schmidhuber (2011). «Flexible, High Performance Convolutional Neural Networks for Image Classification» (PDF). Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two. 2: 1237–1242. Արխիվացված (PDF) օրիգինալից 2022 թ․ ապրիլի 5-ին. Վերցված է 2022 թ․ հուլիսի 7-ին.
- ↑ Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (գերմաներեն) (1st ed.). Addison-Wesley. էջ 73. ISBN 3-89319-554-8.
- ↑ Miljanovic, Milos (February–March 2012). «Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction» (PDF). Indian Journal of Computer and Engineering. 3 (1). Արխիվացված (PDF) օրիգինալից 2024 թ․ մայիսի 19-ին. Վերցված է 2019 թ․ օգոստոսի 21-ին.
- ↑ Kelleher, John D.; Mac Namee, Brian; D'Arcy, Aoife (2020). «7-8». Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies (2nd ed.). Cambridge, MA: The MIT Press. ISBN 978-0-262-36110-1. OCLC 1162184998.
- ↑ Wei, Jiakai (2019 թ․ ապրիլի 26). «Forget the Learning Rate, Decay Loss». arXiv:1905.00094 [cs.LG].
- ↑ Li, Y.; Fu, Y.; Li, H.; Zhang, S. W. (2009 թ․ հունիսի 1). «The Improved Training Algorithm of Back Propagation Neural Network with Self-adaptive Learning Rate». 2009 International Conference on Computational Intelligence and Natural Computing. Vol. 1. էջեր 73–76. doi:10.1109/CINC.2009.111. ISBN 978-0-7695-3645-3. S2CID 10557754.
- ↑ Bernard, Etienne (2021). Introduction to machine learning (անգլերեն). Champaign: Wolfram Media. էջ 9. ISBN 978-1-57955-048-6. Արխիվացված օրիգինալից 2024 թ․ մայիսի 19-ին. Վերցված է 2023 թ․ մարտի 22-ին.
- ↑ Bernard, Etienne (2021). Introduction to machine learning (անգլերեն). Champaign: Wolfram Media. էջ 12. ISBN 978-1-57955-048-6. Արխիվացված օրիգինալից 2024 թ․ մայիսի 19-ին. Վերցված է 2023 թ․ մարտի 22-ին.
- ↑ Bernard, Etienne (2021). Introduction to Machine Learning. Wolfram Media Inc. էջ 9. ISBN 978-1-57955-048-6. Արխիվացված օրիգինալից 2024 թ․ մայիսի 19-ին. Վերցված է 2022 թ․ հուլիսի 28-ին.
- ↑ Ojha, Varun Kumar; Abraham, Ajith; Snášel, Václav (2017 թ․ ապրիլի 1). «Metaheuristic design of feedforward neural networks: A review of two decades of research». Engineering Applications of Artificial Intelligence. 60: 97–116. arXiv:1705.05584. Bibcode:2017arXiv170505584O. doi:10.1016/j.engappai.2017.01.013. S2CID 27910748.
- ↑ Քաղվածելու սխալ՝ Սխալ
<ref>
պիտակ՝ «Մակ-Կալլոկ
» անվանումով ref-երը տեքստ չեն պարունակում: - ↑ Pattern Recognition and Adaptive Control. BERNARD WIDROW
- ↑ Ուիդրոու Վ., Ստիրնս Ս.,Ազդանշանների արդյունավետ կառավարում։ Ռադիո և կապ, 1989. — 440 էջ
- ↑ Պետրով Ա.Պ. Պերցեպտրոնի հնարավորությունների մասին // АН СССР հրատարակություն, Տեխնիկական կիբերնետիկա. — № 6.
- ↑ Բոնգարդ Մ.Մ., Ճանաչողության խնդիրներ, Մ., «ֆիզմաթգիզ»։
- ↑ Werbos P. J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974.
- ↑ Գալուշկին Ա. Ի. Կերպարների ճանաչման բազմաշերտ համակարգի սինթեզ — Մ.: «Էներգիա», 1974.
- ↑ Rumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986.
- ↑ Բարցև Ս. Ի., Օխոնին Վ. Ա. Ինֆորմացիայի մշակման արդյունավետ ցանցեր. Կրասնոյարսկ։ АН СССР, 1986. Препринт N 59Б. — 20 с.
- ↑ 58,0 58,1 58,2 Գ․ Գևորգյան, Վ․ Հովհաննիսյան (2022 թ․ մայիսի 20), Նեյրոնային Ցանցեր, Վերցված է 2022 թ․ մայիսի 20-ին
- ↑ BaseGroup Labs — Նեյրոցանցերի պրակտիկ կիրառումն է դասակարգման խնդիրներում
- ↑ Կոդավորման նման տեսքը հաճախ անվանում են կոդ «1-ը N-ից»
- ↑ 61,0 61,1 Բաց համակարգեր — նեյրոցանցերում ներդնումը
- ↑ Գորբան Ա.Ն., Ընդհանրացված ապրոկսիմացիոն թեորեմ և նեյրոնային ցանցերի հաշվողական հնարավորություններ Արխիվացված 2012-01-27 Wayback Machine, Հաշվողական մաթեմատիկայի սիբիրյան ամսագիր, 1998. Т.1, № 1. С. 12-24.
- ↑ Միրկես Ե. Մ.,Տրամաբանական թափանցիկ նեյրոնային ցանցեր և ակնհայտ տվյալների գիտելիքների ստեղծում , գրքում։ Նեյրոինֆորմատիկա / Ա. Ն. Գորբան, Վ. Լ. Դունին-Բորկովսկի, Ա. Ն. Կիրդին և այլք — Նովոսիբիրսկ։ Գիտություն. Սիբիրյան ընկերություն РАН, 1998. — 296 с ISBN 5-02-031410-2
- ↑ «Այդ պատմության հիշատակումը «Հանրահայտ մեխանիկա» ամսագրում». Արխիվացված է օրիգինալից 2011 թ․ սեպտեմբերի 8-ին. Վերցված է 2012 թ․ հունիսի 14-ին.
- ↑ INTUIT.ru — Ռեկուրենտիվ ցանցերը ինչպես ասոցիատիվ հիշող սարքեր
- ↑ Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9
- ↑ Зиновьев А. Ю., Визуализация многомерных данных (Изд. Красноярского государственного технического университета), Красноярск էջ 180։
- ↑ Martinetz, T.M., Berkovich, S.G., and Schulten K.J., Neural-gas network for vector quantization and its application to time-series prediction. IEEE Transactions on Neural Networks, 4 (1993) #4, 558—569. На сайте PCA
- ↑ Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications, Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting : Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.
- ↑ Доррер М. Г., Արհեստական նեյրոնային ցանցերի հոգեբանական ինտուիցիա, Դիսս. … 1998: Օնլայն այլ պատճեններ. [1] Արխիվացված 2009-04-28 Wayback Machine, [2]
- ↑ Բասկի Ի. Ի. , Պլյուկլին Վ. Ա. , Զեֆիրով Ն. Ս., Արհեստական նեյրոնային ցանցերի կիրառումը քիմիական և բիոքիմիական հետազոտություններում, Քիմիա 1999. Т.40. № 5.
- ↑ Нейронные сети как метод поиска зависимостей структура – свойство органических соединений // Успехи химии. — № 7.
- ↑ Баскин И. И., Палюлин В. А., Зефиров Н. С. Многослойные персептроны в исследовании зависимостей սահամանափակ կապերի «գույքային հարաբերություններ».
- ↑ Սիգերու Օմատու, արզուկի Խալիդ, Ռուբիա Յուսոֆ, Նեյրոկառավարում և նրա հավելվածները (Neuro-Control and its Applications) (2-րդ), Մ., «ՌԱՀԸ», էջ 272, ISBN ISBN 5-93108-006-6։
- ↑ Ա. Ն. Չերնոդուբ, Դ. Ա. Ձյուբա Նեյրոկառավարման մեթոդների ներկայացում // Ծրագրավորման խնդիրներ. — 2011. — No 2. — Էջ 79-94.