Історія розвитку нейронних мереж

Міністерство освіти і науки України

Київський національний економічний університет

ім. Вадима Гетьмана 
 
 
 
 
 
 
 
 

Самостійне  завдання

з дисципліни «Дейтамайнінг» на тему:

«Історія розвитку нейронних мереж» 
 
 
 
 
 
 
 

                                          Виконав:

студент 4 курсу  2 групи

     спеціальності 6502

Желєзний О.М.

Перевірив:

доцент 

Краснюк М.Т. 
 
 
 
 
 

Київ 2011 

Розуміння функціонування нейрона і картини його зв'язків  дозволило дослідникам створити математичні моделі для перевірки  своїх теорій. У перших же роботах  з'ясувалося, що ці моделі не тільки повторюють функції мозку, але і здатні виконувати функції, що мають свою власну цінність. Тому виникли й залишаються до сьогодні дві взаємнозбагачуючі цілі нейронного моделювання:

перша — зрозуміти  функціонування нервової системи людини на рівні фізіології і психології і

друга — створити обчислювальні системи (штучні нейронні мережі), що виконують функції, схожі  з функціями мозку. 

Перший крок був  зроблений у 1943 р. з появою статті нейрофізіолога Уоррена Маккалоха (Warren McCulloch) і математика Волтера Піттса (Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах. 

Паралельно з прогресом  в нейроанатомії і нейрофізіології  психологами були створені моделі людського  навчання. Однією з таких моделей, що виявилася найбільш плідною, була модель Дональда Геба (Donald Hebb), який в 1949 році в своїй книзі «Організація поведінки» запропонував закон навчання, що був стартовою точкою для алгоритмів навчання штучних нейронних мереж (процес навчання нейромереж ще називають нейроеволюцією)[Джерело?]. 

У 1950-ті — 1960-ті роки група дослідників, об'єднавши ці біологічні і фізіологічні підходи, створила перші штучні нейронні мережі. В 1950-х рр. з'являються програмні  моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер (Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливе зростання традиційних обчислень залишило нейронні дослідження в тіні. 

Перші успіхи викликали  вибух активності й оптимізму. Мінскі, Розенблат, Відроу і інші розробили мережі, що складалися з одного прошарку штучних нейронів, які назвали перцептронами. Ці мережі застосовували для розв'язання широкого класу задач: прогноз погоди, аналіз електрокардіограм, штучний зір. 

В 1956 Дартмутський дослідний  проект з штучного інтелекту забезпечив розвиток дослідження штучного інтелекту, зокрема, нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось  у двох напрямках:

промислові застосування систем штучного інтелекту (експертні  системи) та

моделювання мозку. 

В 1958 р. Джон фон Нейман (John fon Neumann) запропонував імітацію простих функцій нейронів із використанням вакуумних трубок. У 1959 р. Бернард Відров (Bernard Widrow) та Марсіан Гофф (Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи (Multiple ADAptive LINear Elements)). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях. Ця нейромережа досі в комерційному використанні. 

Нейробіолог Френк Розенблатт (Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів. 

Протягом деякого  часу здавалося, що ключ до інтелекту  знайдений і відтворення людського  мозку є лише питанням конструювання  досить великої мережі. Але ця ілюзія скоро розсіялася. Мережі не могли  розвязувати задачі, зовні схожі з тими, які вони успішно вирішували. З цих невдач почався період інтенсивного аналізу. Марвін Мінскі (Marvin Minsky), використовуючи точні математичні методи, довів ряд теорем, що відносяться до функціонування мереж. Його дослідження привели до написання книги «Перцептрони» (Minsky M., and Papert S., 1969. Perseptrons. Cambridge, MA: MIT Press.), в якій він разом з Пайпертом довів, що одношарові мережі, які використовувались в той час, теоретично нездатні розв'язувати багато простих задач, в тому числі реалізувати функцію «виключне або» (XOR). Блиск і суворість аргументації Мінскі, а також його престиж породили величезне довір'я до книги її висновки були незаперечливими. Розчаровані дослідники залишили поле досліджень заради більш перспективних областей, а уряди перерозподілили свої субсидії, і штучні нейронні мережі були забуті майже на два десятиріччя. 

Проте декілька найбільш наполегливих вчених, таких як Тейво Кохонен, Стів Гросберг, Джеймс Андерсон (James A. Anderson) продовжили дослідження. Поступово з'явився теоретичний фундамент, на основі якого сьогодні конструюються найпотужніші багатошарові мережі. Оцінка Мінскі виявилася надто песимістичною, багато з поставлених в його книзі задач розв'язуються зараз мережами за допомогою стандартних процедур. 

В кінці 1980-х років  теорія стала застосовуватися в  прикладних областях і з'явилися  нові корпорації, що займалися комерційним  використанням цієї технології. Наростання наукової активності носило вибуховий  характер. У 1987 було проведено чотири великих наради зі штучних нейронних  мереж і опубліковано понад 500 наукових статей. 

Після двох десятиріч  майже повного забуття інтерес  до штучних нейронних мереж швидко зріс. Фахівці з таких далеких  областей, як технічне конструювання, філософія, фізіологія і психологія, заінтриговані можливостями, що надає  ця технологія, і шукають застосування їм всередині своїх дисциплін. 

Це відродження  інтересу було викликане як теоретичними, так і прикладними досягненнями. Несподівано відкрилися можливості використання обчислень в сферах, які до цього відносились лише до області людського інтелекту, можливості створення машин, здатність  яких вчитися і запам'ятовувати  дивним образом нагадує процеси  мислення людини, і наповнення новим  значним змістом терміну «штучний інтелект».