Արհեստական նեյրոնային ցանց

Արհեստական նեյրոնային ցանց (նաև արհեստական նեյրոնային ցանց, ԱՆՑ կամ պարզապես նեյրոնային ցանց), մաթեմատիկական մոդել, ինչպես նաև դրա ծրագրային կամ սարքավորումային իրականացում, որը կառուցված է կենսաբանական նեյրոնային ցանցերի՝ կենդանի օրգանիզմի նյարդային բջիջների ցանցերի կազմակերպման և գործունեության սկզբունքի վրա։ Այս հայեցակարգն առաջացել է ուղեղում տեղի ունեցող գործընթացներն ուսումնասիրելիս և այդ գործընթացները մոդելավորելիս։ Առաջին նման փորձը Ու․ՄաքՔալոկի և Ու․Պիթսի նեյրոնային ցանցերն էին։ Ուսուցման ալգորիթմների մշակումից հետո ստացված մոդելները սկսեցին կիրառվել գործնական նպատակներով՝ խնդիրների կանխատեսման, պատկերների ճանաչման, կառավարման խնդիրների և այլնի համար։

Պարզ նեյրոնային ցանցի սխեմա։Կանաչ գույնով նշանակված են մուտքային նեյրոնները , երկնագույնով` թաքնված նեյրոնները, դեղինով`  ելքային նեյրոնը

ԱՆՑ-ը միացված և փոխազդող պարզ պրոցեսորների (արհեստական նեյրոնների) համակարգ է։ Նման պրոցեսորները սովորաբար բավականին պարզ են (հատկապես երբ համեմատվում են անհատական համակարգիչներում օգտագործվող պրոցեսորների հետ)։ Նման ցանցի յուրաքանչյուր պրոցեսոր գործ ունի միայն այն ազդանշանների հետ, որոնք պարբերաբար ստանում է, և այն ազդանշանների հետ, որոնք պարբերաբար ուղարկում է այլ պրոցեսորներին։ Եվ, այնուամենայնիվ, միացված լինելով վերահսկվող փոխազդեցությամբ բավականաչափ մեծ ցանցում՝ այդպիսի առանձին պարզ պրոցեսորները միասին կարողանում են կատարել բավականին բարդ առաջադրանքներ։

• Մեքենայական ուսուցման տեսանկյունից նեյրոնային ցանցը պատկերների ճանաչման, տարբերակիչ վերլուծության մեթոդների մասնավոր դեպք է։
• Մաթեմատիկական տեսանկյունից, նեյրոնային ցանցերի ուսուցումը ոչ գծային օպտիմալացման բազմապարամետրային խնդիր է։
• Կիբեռնետիկայի տեսանկյունից նեյրոնային ցանցը կիրառվում է ադապտիվ կառավարման խնդիրներում և որպես ալգորիթմներ ռոբոտատեխնիկայի համար։
• Հաշվողական տեխնիկայի և ծրագրավորման զարգացման տեսակյունից նեյրոնային ցանցը արդյունավետ զուգահեռականության խնդիրը լուծելու միջոց է։
• Արհեստական ինտելեկտի տեսանկյունից ԱՆՑ-ը հանդիսանում է կոնեկցիոնիզմի փիլիսոփայական հոսանքի հիմքը և համակարգչային ալգորիթմների միջոցով բնական ինտելեկտի կառուցման (մոդելավորման) հնարավորության ուսումնասիրման կառուցվածքային մոտեցման հիմնական ուղղությունը։

Նեյրոնային ցանցերը չեն ծրագրավորվում բառի բուն իմաստով, դրանք ուսուցանվում են։ Ուսուցանելու հնարավորությունը ավանդական ալգորիթմների նկատմամբ նեյրոնային ցանցերի հիմնական առավելություններից մեկն է։ Տեխնիկական ուսուցումը նեյրոնների միջև կապերի գործակիցների հայտնաբերումն է։ Ուսուցման պրոցեսում նեյրոնային ցանցը ունակ է հայտնաբերել մուտքային և ելքային տվյալների միջև բարդ կախվածություններ, ինչպես նաև կատարել ընդհանրացում։ Դա նշանակում է, որ հաջող ուսուցման դեպքում ուսուցման նմուշում բացակայող տվյալների, ինչպես նաև թերի և/կամ «աղմկոտ», մասամբ աղավաղված տվյալների հիման վրա ցանցը կարող է վերադարձնել ճիշտ արդյունք։

Ժամանակագրություն

• 1943 - Ու. Մակկալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում.
• 1948 - Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
• 1949 - Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
• 1958 Ֆ. Ռոզենբատտը ստեղծում է միաշերտ Պերսեպտրոն։ Պերցեպտրոնը ոընի որոշակի առանձնահատկություն ` այն կիրառում է կերպարների ճանաչման , եղանակի կանխատեսման և այլ խնդիրներում։ Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ։ Մակկալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբից»։
• 1960 թ.-ին Կաղապար:TranslationՈւիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը, որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա՝ մեմիստորի հիման վրա. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտը։
• 1963 թ.-ին АН СССР Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր, որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար : Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին , որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի։
• 1969 թ.-ին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս , որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կտրուկ ընկնում է։
• 1973 թ;-ին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»։ «Նևա»,2003, 144 էջ.
• 1974 — Պոլ Ջ. Վերբոսը և Ա. Ի. Գալուշկինը միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար։ Հայտնագործությունը առանձնապես ուշադրության չի արժանանում։
• 1975 — ֆուկսիման իրենից ներկայացնում է Կոգնիտրոն` ինքնաձևավորվող ցանց ` նախատեսված այլընտրանքային կերպարների ճանաչման համար , սակայն դա հասանելի է փաստացիորեն կերպարների բոլոր վիճակների հիշման պարագայում։
• 1982 — մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կրկին աճում է։ Ջ. Խոպֆիլդը (en:John Joseph Hopfield) ցույց տվեց , որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակարգ, որը նվազեցնում է էներգիան (այսպես կոչված Խոպֆիլդի ցանց) ։ Կոխոնենի կողմից ներկայացված են անցերի մոդելներ , որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ։
• 1986 — Դովիդ Ի. Ռումելխարտի, Ջ. Ե. Խինտոնի և Ռոնալդ Ջ. Վիլյամսի ևիրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ) մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը. Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը։

Ինչ է նեյրոնային ցանցը

Նեյրոն

Նեյրոնը հաշվողական միավոր է, որը տեղեկատվություն է ստանում, պարզ հաշվարկներ է կատարում դրա վրա և փոխանցում։ Դրանք բաժանվում են երեք հիմնական տեսակի՝ մուտքային, թաքնված և ելքային։ Այն դեպքում, երբ նեյրոնային ցանցը բաղկացած է մեծ թվով նեյրոններից, ներմուծվում է շերտ տերմինը։ Համապատասխանաբար, կա մուտքային շերտ, որը ստանում է տեղեկատվություն, թաքնված շերտեր, որոնք մշակում են այն, և ելքային շերտ, որը ցուցադրում է արդյունքը։ Նեյրոններից յուրաքանչյուրն ունի 2 հիմնական պարամետր՝ մուտքային տվյալներ (input data) և ելքային տվյալներ (output data)։ Մուտքային նեյրոնի դեպքում՝ input=output։ Մնացած մասում մուտքագրման դաշտը պարունակում է նախորդ շերտի բոլոր նեյրոնների ընդհանուր տեղեկատվությունը, որից հետո այն նորմալացվում է՝ օգտագործելով ակտիվացման ֆունկցիան։

Նեյրոնը կատարում է պարզագույն գործողություն՝

$val=\sum _{i=1}^{N}w_{i}*x_{i}+b$,

Որտեղ w_i – սինապսի կշիռը, x_i – նեյրոնի արժեքը, b – կոնստանտ, որը նույնպես փոփոխվում է նեյրոնային ցանցի սովորելու ընթացքում։

Սինապս

Սինապսը կապ է երկու նեյրոնների միջև։ Սինապսներն ունեն 1 պարամետր՝ կշիռ (weight)։ Նրա շնորհիվ մուտքային տեղեկատվությունը փոխվում է, երբ այն փոխանցվում է մի նեյրոնից մյուսը։ Ենթադրենք կան 3 նեյրոններ, որոնք տեղեկատվություն են փոխանցում հաջորդին։ Այնուհետև մենք ունենք 3 կշիռ, որոնք համապատասխանում են սինապսներից յուրաքանչյուրին։ Ավելի մեծ քաշ ունեցող սինապսի համար այդ տեղեկատվությունը գերիշխող կլինի հաջորդ նեյրոնում։ Նեյրոնային ցանցի կշիռների հավաքածուն կամ քաշի մատրիցը ամբողջ համակարգի ուղեղն է։ Այդ կշիռների շնորհիվ է, որ մուտքային տեղեկատվությունը մշակվում և վերածվում է արդյունքի։

Նեյրոնային Ցանցը՝ որպես ամբողջություն

Նեյրոնային ցանցը նեյրոնների հաջորդականություն է, որոնք միացված են սինապսներով։ Նեյրոնային ցանցի կառուցվածքը եկել է անմիջապես կենսաբանությունից։ Այս կառուցվածքի շնորհիվ մեքենան ձեռք է բերում տարբեր տեղեկություններ վերլուծելու ունակություն։ Նեյրոնային ցանցերը նաև ունակ են ոչ միայն վերլուծել մուտքային տեղեկատվությունը, այլև վերարտադրել այն իրենց հիշողությունից։ Այլ կերպ ասած, նեյրոնային ցանցը մարդու ուղեղի մեքենայական մեկնաբանությունն է, որը պարունակում է միլիոնավոր նեյրոններ, որոնք տեղեկատվություն են փոխանցում էլեկտրական իմպուլսների տեսքով։

Հայտնի կիրառություններ

Կերպարների ճանաչում և դասակարգում

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ , պատկերներ , երաժշտության օրինակներ և այլն։ Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով , թե որ դասին է այն պատկանում։ Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր։ Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը։ Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբար : Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան։

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը , որպես կանոն, հավասար է որոշվող դասերի քանակին։ Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է։ Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին։ Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանում։ Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է , որ ցանցը «վստահ չէ» իր պատասխանում։

Որոշումների ընդունում և կառավարում

Այս խնդիրը մոտ է դասակարգման խնդրին։ Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում։ Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է։ Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներ.

Կլաստերիզացիա

Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն։ Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը։ Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը։ Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր ։ Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից։ Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը։

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը։ Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ)։ Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ։ Միկրոսյունակները կոդավորվում են թվերով և միավորներով ,որոնք ելքում որպես արդյունք են ստացվում։ Եթե անհրաժեշտ է , ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում։ Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը։ Այդպիսի համակարգը թույլ է տալիս , որ նեյրոնային ցանցերը լինեն ճկուն։

Կանխատեսում

Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից։ Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա։ Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա։

Ապրոքսիմացիա

Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ։ Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմը։ շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝ կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ։ Դա նշանակում է , որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի։ Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը , սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը։

Տվյալների սեղմում և ասոցիատիվ հիշողություն

Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել , եթե տվյալները սերտորեն կապված են միմյանց հետ։ Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն։ Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից։ Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության։

Որոշումների ընդունման փուլեր

• Ուսուցման համար տվյալների հավաքագրում;
• Տվյալների նախապատրաստում և նորմալացում;
• Ցանցի տրամաբանության ընտրություն;
• Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
• Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
• Ինքնուսուցում ;
• Ուսուցման արդյունավետության ստուգում;
• Պարամետրերի ուղղում,վերջնական ուսուցում;
• Ցանցի վերբալիզացիա հետագա կիրառման նպատակով։

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել։

Ուսուցման համար տվյալների հավաքագրում

Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը։Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .

• Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը ,
• Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի ,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին։ Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր" : Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար։ Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս։ Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .

• Նորմալացումը կատարվում է , երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ։ Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ , իսկ երկրորդին ՝ 100-իc մինչև 1000։ Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում։ Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
• Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու։ Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար ,
• Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար։

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը։ Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը։ Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը , ինչը ընդհանուր առմամբ ճիշտ չէ։ Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը , երբ յուրաքանչյուր ելք ունի իր իմաստը։ Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը։

Ցանցի տրամաբանության ընտրություն

Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից։Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական։ Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է։ Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը։ Այլ խնդիրների լուծման դեպքում , ինչպիսիք են ժամանակային շարքերի կանխատեսումը , փորձագիտական գնահատականները , արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում։ Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը։

Ցանցի հատկությունների փորձագիտական ընտրություն

Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը։ Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը , թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը ,նեյրոնների փոխանցելիության գործառույթները։ Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը" : Մյուս կողմից , կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով։

Ուսուցման պարամետրերի փորձագիտական ընտրություն

Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը։ Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար։ Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա։ Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը , սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից։ Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից։ Ելնելով պարամետրերի նման հակազդեցությունից , կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) ։

Ցանցի փաստացի ուսուցում

Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը։ Ուսումնասիրման հերթականությունը կարող է լինել հետևողական , պատահական և այլն։ Առանց ուսուցչի ուսուցանվող որոշ ցանցեր ,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ։ Այլք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ , և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան" : Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ , իսկ բաժանման սկզբունքը կարող է լինել կամայական։ Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար , իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) ։ Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում։ Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է , որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները։ Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ ։ Նման դեպքերում սովորաբարուսուցումը ընդհատում են։ Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ։ Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ։

Ուսուցման համարժեքության ստուգում

Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել։ Հայտնի դեպք է , երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է , որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա։ Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը։ Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն , ինչը հնարավոր է ընդհանրացնել։

Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի

• Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
• Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան)։

Դասակարգում ըստ ուսուցման բնութագրի

• Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
• Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա։ Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
• Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ։

Դասակարգում ըստ սինապսների կարգավորումների բնութագրի

• Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից , այդ դեպքում ${\boldsymbol {d}}W/dt=0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են );
• դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ ${\boldsymbol {d}}W/dt\not =0$, որտեղ՝ W — ցանցի կշռային գործակիցներն են)։

Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի

Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից $w_{ij}$, այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից $\tau _{ij}$: Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան $c_{ij}$ էլեմենտից $u_{i}$ էլեմենտին $u_{j}$ ունի հետևյալ տեսքը . $c_{ij}^{*}=f[w_{ij}(t),u_{i}^{*}(t-\tau _{ij})]$. Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի , կամ ֆիքսված հաստատունի $\tau$ : Ոչ սինխրոն անվանում են ցանցը, որի $\tau _{ij}$ փոխանցման ժամանակը յուրաքանչյուր կապի համար $u_{i}$ и $u_{j}$ էլեմենտների միջև նույնպես անընդհատ է։

Դասակարգում ըստ կապերի բնութագրերի

Ուղիղ տարածման ցանցեր (Feedforward)

Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին։ Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը ։

Ռեկուրենտիվ նեյրոնային ցանցեր

Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ)։ Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներ։ Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը։ Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը։ Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը։

Ռադիկալ-բազիսային ֆունկցիաներ

Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր)։ Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

$f(x)=\phi \left({\frac {x^{2}}{\sigma ^{2}}}\right)$, օրինակ, $f(x)=e^{-{{x^{2}} \over {\sigma ^{2}}}},$

որտեղ` $x$ — նեյրոնի մուտքային ազդանշանների վեկտոր, $\sigma$ —ֆունկցիայի պատուհանի լայնություն , $\phi (y)$ — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում )։

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում։

Ինքնակազմակերպվող քարտեզ

Նմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր։ Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ) , կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն։ Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկը։ Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար։

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա , սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կոորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) ։ Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում , այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը , մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ։

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը , որոնք տեղակայված են բազմաչափ տարածությունում։ Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են։ Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց։ Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով։ Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները։

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն։ SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում։ Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .

1. Պատահականորեն ընտրվում են տվյալների կետերը $x$.
2. Որոշվում է $x$ մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
3. Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ։ Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ։ Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից , այնքան ավելի դանդաղ են տարհանվում։ Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր։ Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ։ Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը։ Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է , այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է , իսկ ավարտին հասնելիս հավասարվում է զրոյի։
4. Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից)։

Հայտնի ցանցերի տիպեր

• Ռոզենբլատի պերցեպտրոն;
• Խակիմովի սպլայն-մոդել;
• Բազմաշերտ պերցեպտրոն;
• Ջորդանի ցանց;
• Էլմանի ցանց;
• Հեմինգի ցանց;
• Վորդի ցանց;
• Խոպֆիլդի ցանց;
• Կոխոնենի ցանց;
• Նեյրոնային գազ
• Կոգնիտրոն;
• Նեոկոգնիտրոն;
• Քաոսային նեյրոնային ցանց;
• Օսցիլյատորային նեյրոնային ցանց;
• Հանդիպակաց տարածման ցանց;
• Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց);
• Ամբողջական ռեգրեսիայի ցանց;
• Հավանականային ցանց;
• Ռեշետովի հավանականային նեյրոնային ցանց
• Սիամական նեյրոնային ցանց;
• Արդյունավետ ռեզոնանսի ցանցեր.
• Փաթույթային նեյրոնային ցանց (convolutional neural network):

Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից

Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով , որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).

• Մասսայական զուգահեռականություն;
• Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
• Ընդհանրացման և ուսուցման ունակություն;
• Արդյունավետություն;
• Ինֆորմացիայի բովանդակային մշակման կարողություն;
• Սխալների նկատմամբ տոլերանտություն;
• Ցածր էներգատարություն։

Հավելվածների օրինակներ

Ֆինանսական ժամանակային շարքերի կանխատեսում

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը։ Խնդիրն է որոշել վաղվա կուրսը։ Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով։ Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ։ Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը։ Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ։ Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները , իսկ ելքում ստանում ենք վաղվա կուրսը։ Դժվար չէ նկատել ,որ այս դեպքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք։ Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք։ Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ։

Հոգեդիագնոստիկա

Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանը։ Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ։ Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ։

Հեմոինֆորմատիկա

Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններում Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը для գույքային հարաբերությունների քանակական կապերի որոնման համար,որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար։

Նեյրոկառավարում

Նեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներով։ Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար։ Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում , կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը , ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը ի սկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում։

Արտաքին հղումներ

• Neural Networks հոդվածը Curlie-ում (ըստ DMOZ-ի)

Գրականություն

• Bhadeshia H. K. D. H. (1999). «Neural Networks in Materials Science» (PDF). ISIJ International. 39 (10): 966–979. doi:10.2355/isijinternational.39.966.
• Bishop, Christopher M. (1995). Neural networks for pattern recognition. Clarendon Press. ISBN 978-0-19-853849-3. OCLC 33101074.
• Borgelt, Christian (2003). Neuro-Fuzzy-Systeme : von den Grundlagen künstlicher Neuronaler Netze zur Kopplung mit Fuzzy-Systemen. Vieweg. ISBN 978-3-528-25265-6. OCLC 76538146.
• Cybenko, G.V. (2006). «Approximation by Superpositions of a Sigmoidal function». In van Schuppen, Jan H. (ed.). Mathematics of Control, Signals, and Systems. Springer International. էջեր 303–314. PDF
• Dewdney, A. K. (1997). Yes, we have no neutrons : an eye-opening tour through the twists and turns of bad science. New York: Wiley. ISBN 978-0-471-10806-1. OCLC 35558945.
• Duda, Richard O.; Hart, Peter Elliot; Stork, David G. (2001). Pattern classification (2 ed.). Wiley. ISBN 978-0-471-05669-0. OCLC 41347061.
• Egmont-Petersen, M.; de Ridder, D.; Handels, H. (2002). «Image processing with neural networks – a review». Pattern Recognition. 35 (10): 2279–2301. CiteSeerX 10.1.1.21.5444. doi:10.1016/S0031-3203(01)00178-9.
• Fahlman, S.; Lebiere, C (1991). «The Cascade-Correlation Learning Architecture» (PDF). Արխիվացված է օրիգինալից (PDF) 2013 թ․ մայիսի 3-ին. Վերցված է 2006 թ․ օգոստոսի 28-ին.
  • created for National Science Foundation, Contract Number EET-8716324, and Defense Advanced Research Projects Agency (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499.
• Gurney, Kevin (1997). An introduction to neural networks. UCL Press. ISBN 978-1-85728-673-1. OCLC 37875698.
• Haykin, Simon S. (1999). Neural networks : a comprehensive foundation. Prentice Hall. ISBN 978-0-13-273350-2. OCLC 38908586.
• Hertz, J.; Palmer, Richard G.; Krogh, Anders S. (1991). Introduction to the theory of neural computation. Addison-Wesley. ISBN 978-0-201-51560-2. OCLC 21522159.
• Information theory, inference, and learning algorithms. Cambridge University Press. 2003 թ․ սեպտեմբերի 25. Bibcode:2003itil.book.....M. ISBN 978-0-521-64298-9. OCLC 52377690.
• Kruse, Rudolf; Borgelt, Christian; Klawonn, F.; Moewes, Christian; Steinbrecher, Matthias; Held, Pascal (2013). Computational intelligence : a methodological introduction. Springer. ISBN 978-1-4471-5012-1. OCLC 837524179.
• Lawrence, Jeanette (1994). Introduction to neural networks : design, theory and applications. California Scientific Software. ISBN 978-1-883157-00-5. OCLC 32179420.
• MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. ISBN 978-0-521-64298-9.{{cite book}}: CS1 սպաս․ բազմաթիվ անուններ: authors list (link)
• Masters, Timothy (1994). Signal and image processing with neural networks : a C++ sourcebook. J. Wiley. ISBN 978-0-471-04963-0. OCLC 29877717.
• Maurer, Harald (2021). Cognitive science : integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism. CRC Press. doi:10.1201/9781351043526. ISBN 978-1-351-04352-6. S2CID 242963768.
• Ripley, Brian D. (2007). Pattern Recognition and Neural Networks. Cambridge University Press. ISBN 978-0-521-71770-0.
• Siegelmann, H.T.; Sontag, Eduardo D. (1994). «Analog computation via neural networks». Theoretical Computer Science. 131 (2): 331–360. doi:10.1016/0304-3975(94)90178-3. S2CID 2456483.
• Smith, Murray (1993). Neural networks for statistical modeling. Van Nostrand Reinhold. ISBN 978-0-442-01310-3. OCLC 27145760.
• Wasserman, Philip D. (1993). Advanced methods in neural computing. Van Nostrand Reinhold. ISBN 978-0-442-00461-3. OCLC 27429729.
• Wilson, Halsey (2018). Artificial intelligence. Grey House Publishing. ISBN 978-1-68217-867-6.