Факторне моделювання за допомогою нейронної мережі

У статті розглядається факторне моделювання за допомогою методу факторизації на базі нейронної мережі та алгоритму зворотного поширення помилки. Цей метод факторизації є альтернативою класичному факторної аналізу. Даний метод був удосконалений для проведення факторного обертання та отримання интерпретируемого рішення. Факторна структура, отримана з допомогою даного методу факторизації, знаходяться у відповідності з результатами факторного моделювання за допомогою інших методів.

Введення. Класичний факторний аналіз [1] дозволяє на базі вибірки різних показників сформувати факторні показники з необхідною точністю описують вихідний об'єкт і зменшують розмірність задачі шляхом переходу до них. Факторні показники є лінійною комбінацією початкових показників. Тим самим факторні моделі носять лінійний характер.
Нейронна мережа дозволяє апроксимувати відображення між вихідними та цільовими показниками. При цьому аппроксимируемые відображення можуть мати нелінійний характер. Двошаровий персептрон дозволяє апроксимувати будь-яку булеву функцію булевих змінних [2]. Дворівнева нейронна мережа здатна апроксимувати в рівномірній метриці з будь-якою заданою похибкою ε> 0 будь-яку неперервну функцію , а в середньоквадратичної метриці – будь-вимірну функцію, визначену на обмеженій множині [3, 4, 5, 6].
Для відновлень закономірностей між параметрами використовується спеціальний алгоритм навчання нейронної мережі: алгоритм зворотного поширення помилки [7]. Цей алгоритм з математичної точки зору являє собою градієнтний метод оптимізації.
Суть даного методу для побудови факторних моделей полягає в тому, що для виявлення закономірностей між параметрами використовується математична модель нейронної мережі з лінійною передатною функцією. Значення факторних змінних визначається рівним значенням вихідних сигналів нейронів прихованого шару нейронної мережі. Тим самим нейронна мережа здійснює класичний факторний аналіз, тобто будує лінійні комбінації вихідних параметрів [8, 9, 10].
В даній роботі пропонується вдосконалений алгоритм зворотного поширення помилки допомогою введення додаткового доданка в функцію помилки для побудови інтерпретується факторної структури і рішення задачі факторного обертання на базі нейронної мережі.
Математична модель нейрона.Стан нейрона описується набором змінних:
вагами вхідних сигналів , де m– кількість вхідних сигналів ;
вільним членом в обчисленні вихідного сигналу. Сигнал на виході нейрона обчислюється за формулою:
, де – зважена сума сигналів на входах нейрона,
σ– передатна функція нейрона, наприклад сигмоїдальна функція .
Нейронна мережа. Окремі нейрони об'єднуються в шари. Вихідні сигнали нейронів з одного шару надходять на вхід нейронів наступного шару, модель так званого багатошарового персептрона (рис. 1). У програмній реалізації авторської нейронної мережі вводиться поняття нейронів нащадків і нейронів предків. Всі нейрони, які мають вхідний сигнал від даного нейрона є його нащадками або пасивними нейронами або аксонами. Всі нейрони утворюють вхідні сигнали даного нейрона є його предками або активними нейронами або дендритами.



Рис. 1.Схема простий нейронної мережі (вхідні нейрони, приховані нейрони, вихідний нейрон).
Алгоритм зворотного поширення помилки. Алгоритм зворотного поширення помилки для навчання нейронної мережі відповідає мінімізації функції помилки E(wij). В якості такої функції помилки може бути використана сума квадратів відхилень вихідних сигналів мережі від необхідних:
,
, де − вихідне значення i-го нейрона вихідного шару,
− необхідне значення i-го нейрона вихідного шару.
В даному алгоритмі ітерація навчання складається з трьох процедур:
  1. Поширення сигналу і обчислення сигналів на виході кожного нейрона.
  2. Обчислення помилки для кожного нейрона.
  3. Зміна ваг зв'язків.
Шляхом багаторазового циклічного підставляння наборів сигналів на вході і виході і зворотного поширення помилки проводиться навчання нейронної мережі. Для багатошарового персептрона і певного виду передатної функції нейрона, при певному вигляді функції помилки доведено збіжність цього методу [11].
Обчислення помилок. Якщо передавальна функція нейронів є сигмоїдною, то помилки для нейронів різних шарів обчислюються за такими формулами.
Обчислення помилок для нейронів вихідного шару проводиться за формулою:
,
, де – бажане значення на виході j-го нейрона вихідного шару L,
– сигнал на виході j-го нейрона вихідного шару L,
L– глибина нейронної мережі,
Помилки для нейронів інших верств розраховуються за формулою:
,
i– індекси нейронів-нащадків даного нейрона,
– сигнал на виході j-го нейрона шару l,
– зв'язок міжj-им нейроном l-го шару i-им нейроном (l+1)-го шару.
Зміна порогових рівнів нейронів і ваг зв'язків. Для зміни ваг зв'язків використовується наступна формула:

,
,
,
i– індекс активного нейрона (нейрона джерела вхідних сигналів пасивних нейронів),
j– індекс пасивного нейрона,
n–номер ітерації навчання,
α– коефіцієнт инерциальности для згладжування різких стрибків при переміщенні по поверхні цільової функції,
0<η<1– множник, який визначає швидкість «руху».
Метод побудови факторної моделі. Факторний аналіз грунтується на наступній лінійної моделі, що зв'язує вихідні показникифактори :

m– число змінних,
g– число факторів,
− вихідні змінні,
− загальні фактори,
− специфічні фактори.
В матричному вигляді лінійна модель факторного аналізу записується у вигляді:
,
, де − матриця розмірності значення mпараметрів у nоб'єктів,
− матриця розмірності значення gфакторів у nоб'єктів,
− матриця розмірності значення mспецифічних факторів у nоб'єктів,
− матриця факторного відображення розмірності вагових коефіцієнтів,
− діагональна матриця розмірностівагових коефіцієнтів специфічних факторів.
В даному методі побудови факторної моделі латентні характеристики ставляться у відповідність нейронів прихованого шару. При цьому кількість нейронів прихованого шару вважають меншим числа нейронів вхідного шару для здійснення факторного стиснення вхідної інформації. Для оцінки кількості нейронів прихованого шару можна застосовувати правило Кайзера класичного факторного аналізу. Нейронів вхідного і вихідного шару ставиться у відповідність вихідні характеристики об'єктів дослідження. Коли передавальна функція нейронів лінійна така конфігурація нейронної мережі відповідає класичному факторної аналізу (рис. 2).



Рис. 2.Схема нейронної мережі класичного факторного аналізу (кількість нейронів вхідного шару дорівнює числу нейронів вихідного шару, кількість нейронів прихованого шару менше числа нейронів вхідного шару).

З допомогою навчання нейронної мережі обчислюються ваги вхідних зв'язків нейронів прихованого і вихідного шару, які відповідають елементам зворотного і прямого факторного відображення. Ваги нейронів шукаються в інтервалі [-1, 1]. Наповнення факторів вихідними змінними визначається за допомогою значень елементів факторного відображення і вибраного порогового рівня значущості. Змінна iвходить у фактор j, якщо .

Для розкриття взаємозв'язку факторної моделі нейронної мережі, скористаємося формулами отримання вихідного сигналу нейронів прихованого шару.
Позначимо вихідний сигнал j-го нейрона прихованого шару . Вихідний сигнал i-го нейрона вихідного шару позначимо . Передавальною функцією будемо використовувати лінійну функцію .
В результаті
,
m– число нейронів вхідного шару;
− зв'язок міжi-им нейроном s-го шару j-им нейроном t-го шару,
− пороговий рівень i-го нейрона s-го шару.
Аналогічно для вихідного шару:
,
, де− вихідне значення i-го нейрона вихідного шару,
g− число нейронів прихованого шару.
Отримана лінійна взаємозв'язок змінних відповідає класичній моделі факторного аналізу, в якій фактори є лінійними комбінаціями вихідних змінних. Завдання пошуку факторного відображення і значень факторів зводиться до задачі пошуку ваг зв'язків і порогових рівнів нейронної мережі. Оскільки факторне відображення і значення факторів є невідомими, необхідна мережа з проміжним шаром. Мережа в цілому здійснює тотожне перетворення, тобто вихідний сигнал наi-му нейроні вхідного шару дорівнює вихідному сигналу i-го нейрона вихідного шару. Окремі частини мережі (вхідна і вихідна частина) відповідають прямому і зворотному факторної відображення.
Теорема.
Нехай− ваги вхідних сигналів вихідного і прихованого шару нейронної мережі з лінійною передатною функцією. Число нейронів на вихідному шарі дорівнює числу нейронів вхідного шару. Нейронна мережа складається з вхідного, прихованого і вихідного шару і здійснює тотожне перетворення для будь-якого вхідного сигналу (вектор вхідних сигналів мережі дорівнює вектору вихідних сигналів).
Тоді виконується наступна рівність:
,
– зв'язок міжi-им нейрономs-го шаруj-им нейрономt-го шару,g− число нейронів прихованого шару.
Доказ:
Позначимо – вихідний сигнал i-го нейрона k-го шару,
i-ий вихідний сигнал нейронів першого шару.
Для пошуку ваг нейронної мережі необхідно виконання умови:
, вихідний сигнал на i-му нейроні вхідного шару дорівнює вихідному сигналу i-го нейрона вихідного шару. З цієї умови випливає допоміжне умова:
, зміна i-го вхідного сигналу мережі дорівнює змініi-го вихідного сигналу. При цьому справедливі наступні рівності:
<img src=«habrastorage.org/files/ac3/94a/2c6/ac394a2c61a7436aaa78eac3a7b0c509.gif» width=«99» висота=«24»/>,
<img src=«habrastorage.org/files/c91/7d5/c5e/c917d5c5ecb74521ad0d9ac2fdf8abaf.gif» width=«99» висота=«24»/>, де – вхідний і вихідний сигнал до зміни,
.
Припустимо, що вироблялося зміна тільки i-го вхідного сигналу.
З цих умов слід:



;
Оскільки повинно виконуватися для всіх i, оскільки вибір i-го вхідного сигналу був довільний.

Теорема доведена ■.
Ваги вхідних сигналів вихідного і прихованого шару нейронної мережі з лінійною передатної функції відповідають коефіцієнтам прямого і зворотного факторного відображення. Чим точніше нейронна мережа з факторним стисненням інформації здійснює тотожне перетворення, тим точніше буде виконуватися рівність теореми, відповідне тому, що композиція прямого і зворотного факторного перетворення повинно давати тотожне перетворення. Доведемо відповідну теорему.

Теорема.
Нехай− ваги вхідних сигналів вихідного і прихованого шару нейронної мережі з лінійною передатною функцією. Число нейронів на вихідному шарі дорівнює числу нейронів вхідного шару. Нейронна мережа складається з вхідного, прихованого і вихідного шару.
– середня нев'язка сигналу між входом і виходом мережі, яка припадає на один вхідний (вихідний) нейрон,
–нев'язка рівності , тобто,
– зв'язок міжi-им нейрономs-го шаруj-им нейрономt-го шару,g− число нейронів прихованого шару.
Тоді чим менше , тим менше.
Доказ:
В попередній теоремі доведено наступне рівністьзначення сигналу з однією змінною на виходівід приросту сигналу з тієї ж змінної на вході :
.
Оскільки ,
, де – початкова нев'язка сигналів між входом і виходом мережі до зміни i-го вхідного сигналу,
. Це означає монотонну залежність між .
Теорема доведена ■.
Для побудови нелінійних головних компонент передавальною функцією може бути обрана антисимметричная сигмоїдальна функція:
.
У будь-якому випадку незалежно від виду передатної функції для отримання интерпретируемого факторного відображення вводиться додатковий доданок в загальну цільову функцію квадратів нев'язок, що відповідає критерію «варимакс» класичного факторного аналізу – це максимізація дисперсії навантажень змінної, що припадають на всі фактори:
,
.
Облік «варимакс» критерію призводить до появи додаткових доданків при зміні ваг нейронної мережі на вихідному шарі:
.
Іншим варіантом отримання интерпретируемого факторного відображення може бути використання спеціального критерію інтерпретованих [12]. Цей критерій полягає в тому, що тільки одна факторна навантаження для фіксованого змінної, повинна бути близькою до 1, тоді як інші мають бути близькими до 0. Облік емпіричного критерію інтерпретованих, пропонується здійснити таким чином: серед факторних навантажень для фіксованого змінної вибирається максимальна за модулем. Всі факторні навантаження відмінні від максимальної зменшуються по модулю γ, тоді як максимальна збільшується на γ.
Аналогічний облік головних умов факторного аналізу на суму квадратів факторних навантажень змінної, що припадають на всі фактори, і пошук факторних навантажень в допустимому інтервалі призводить до поправок на зміну ваг нейронної мережі для вихідного шару. У разі порушення цих умов пропонується використовувати штрафну функцію <img src=«habrastorage.org/files/39a/e37/333/39ae37333af24e088186ebc1feb9b7b1.gif» width=«134» висота=«51»/>, відповідну мінімізації ваг нейронів. Тоді .
Для стандартизації вхідних значень нейронної мережі використовується лінійне перетворення:
, переводить діапазон вихідних величинx[min,max] [s,t].
Тоді .
Для зворотного перетворення вихідних значень нейронної мережі з діапазону [s, t] [min,max] використовується перетворення .
В якості інтервалу [s,t] для антисимметричной сигмоїдною функції може бути обраний інтервал [-0.85, 0.85].
Тоді .
Чисельний експеримент. В якості вихідних параметрів були взяті 15 біофізичних показників для 131 особи з артеріальною гіпертензією початковій стадії:
  1. вага,
  2. індекс маси тіла (ІМТ),
  3. частота дихання (ЧД),
  4. сегментоядерние нейтрофіли (З),
  5. лімфоцити (Л),
  6. кінцево-систолічний розмір лівого шлуночка (КСР),
  7. кінцево-систолічний об'єм лівого шлуночка (КСО),
  8. кінцево-діастолічний розмір лівого шлуночка (КДР),
  9. кінцево-діастолічний об'єм лівого шлуночка (КДО),
  10. ударний об'єм (УО),
  11. хвилинний об'єм серця (ХОС),
  12. загальний периферичний судинний опір (ЗПСО),
  13. індекс Хільдебрандта (ЇХ),
  14. фракція викиду лівого шлуночка (ФВ),
  15. фракція укорочення лівого шлуночка (ФУ).
При навчанні нейронної мережі на даних артеріальної гіпертензії початковій стадії містять 131 патерн і 15 змінних з антисимметричной сигмоїдною передатною функцією і 5-ю нейронами на прихованому шарі помилка, що припадає на одну змінну, становила не більше 10% від діапазону значень змінної за вибіркою. Графік збіжності процесу навчання представлений на малюнку 3. Під ітерацією навчання розуміється одна епоха навчання, коли мережі підставляється весь набір паттернів навчання. Під сумарної помилкою на навчальній вибірці розуміється сума помилок для всіх патернів навчальної множини на одній ітерації навчання.
Для перевірки ефективності навчання нейронної мережі вихідне безліч вхідних-вихідних значень було розділено на 2 незалежні підмножини: навчальне і тестове. Навчання проводилося на навчальній множині, а верифікація – на тестовому. Помилка нейронної мережі на тестовій множині є показником того, наскільки точно навчилася нейронна мережа. Відносний об'єм тестової множини був оцінений за формулою [7]:
,
Wкількість вхідних параметрів.
W= 15 . При 131 паттерне на тестове безліч припадає 20 патернів.
Графік зміни сумарної помилки патернів для тестової множини при верифікації на кожній епосі процесу навчання представлений на рисунку 4. Під сумарної помилкою на тестовій множині розуміється сума помилок для 20 патернів тестової множини при процесі верифікації на кожній епосі навчання, тобто коли для навчання був використаний повний набір паттернів навчальної множини, але тестова множина не брало участь у навчанні. На кожній епосі відносна помилка для тестової множини більше відносної помилки для навчальної множини. У межі, коли помилка для навчальної множини починає сходиться, можливий ефект перенавчання, тобто значення помилки при верифікації на тестовій множині починає не зменшаться, а зростати це пов'язано з тим, що проміжні точки між точками навчальної множини в багатовимірному просторі погано апроксимуються відновлюваної залежністю нейронної мережі. Малюнок 4 і його графік зміни помилки на тестовій множині показує, що ефекту перенавчання немає і обсяг навчальної множини достатній кількості вихідних показників рівним 15. На графіки помітні лише незначні флуктуації помилки при подальшому навчанні на навчальній множині у процесі збіжності помилки для навчальної множини.

З графіка видно, що ефекту перенавчання не спостерігається, подальше навчання призводить лише до невеликої флуктуації сумарної помилки на тестовій множині.

Рис. 3.Графік зміни сумарної помилки на навчальній вибірці (131 патерн, 15 змінних).


Рис. 4.Графік зміни сумарної помилки на тестовій множині (20 патернів, 15 змінних).


Рис. 5.Власні значення вихідних змінних.

Середні помилки, що припадають на 15 змінних для одного патерну на навчальній і тестовій множині рівні 1.28 і 1.54. При вихідному діапазоні зміни параметрів [-0.85, 0.85] помилка, що припадає на одну змінну, для навчальної та тестової множини дорівнюють 5 і 6 %. Наприклад, для параметра «вага» найбільшу вагу дорівнював 116 кг, найменший 45 кг, при діапазоні 71 кг, помилка в 6% відповідає 4.26 кг. Це свідчить про велику здатність нейронної мережі до узагальнення. Оскільки помилка у 6% для 15 вхідних параметрів і 131 прикладу для навчання менше теоретичної оцінки помилки в 10%, коли потрібно 15 * 10 прикладів для навчання, то можна говорити про достатність навчальної множини. Відомо, що між дійсно достатнім розміром безлічі навчання і теоретичними оцінками може існувати великий розрив [7].
Число нейронів на прихованому шарі вибиралося згідно з правилом Кайзера факторного аналізу, коли число факторів вибирається не більше ніж кількість власних значень кореляційної матриці змінних великих 1. Графік власних значень вихідних змінних наведено на рисунку 5. В ході чисельного експерименту з даними артеріальної гіпертензії було встановлено, що хороша здатність до навчання нейронної мережі досягається при кількості нейронів у прихованому шарі не меншому верхньої межі кількості власних значень вихідних змінних за правилом Кайзера. При меншій кількості нейронів у прихованому шарі спостерігалися значні помилки на навчальній вибірці і навпаки, чим більше нейронів вибиралося на прихованому шарі, тим менше була помилка на тестовому і навчальній множині. Це пов'язано з факторним стисненням і втратою інформації на прихованому шарі.
Факторне відображення, отримане за допомогою нейронної мережі, незначно відрізняється від факторного відображення, одержуваного методом головних компонент з подальшим «варимакс» обертанням і має той же интерпретационный характер, всі значимі факторні навантаження двох матриць факторних відображень близькі один до одного. Відповідні факторні структури наведені в таблиці 1, 2, 3.
З точки зору збігу факторних структур помилка прогнозу вхідного патерну менше 10% виявилася критичною і нейронна мережа є досить навченої для проведення факторного аналізу. Дані факторні структури підтверджуються попередніми роботами [11].
Таблиця 1.Факторна структура «варимакс»
(метод головних компонент + «варимакс» обертання)

Таблиця 2.Факторна структура на базі нейронної мережі («варимакс» критерій)


Таблиця 3.Факторна структура на базі нейронної мережі (критерій інтерпретованих)


Спеціальний критерій інтерпретованих виявився більш ефективним, ніж «варимакс» критерій. Поділ вихідних змінних на фактори більш потужне: незначущі факторні навантаження близькі до 0, тоді як значущі близькі до 1. Незначущі факторні навантаження віддають свою частку дисперсії змінних, що припадають на фактори, значущим фактоным навантажень, тим самим підвищуючи ефективність розділення вихідних параметрів на чинники. Кінцевим етапом факторного моделювання є інтерпретація наповнення факторів змінними і більш ефективне розділення вихідних змінних на фактори, відповідне цілям класичного факторного обертання, є плюсом факторного моделювання на базі нейронної мережі зі спеціальним критерієм інтерпретованих. Розбіжність величин незначущих факторних навантажень матриць факторного відображення до і після факторного обертання є звичайним ефектом, метою якого є підвищення ефективності інтерпретаційного розділення вихідних змінних на фактори.
Матриця кореляцій факторів дещо відрізняється від ортогональної, що відповідає загальному косоугольному нагоди (таблиця 4).
Таблиця 4.Кореляції факторів, отриманих на базі нейронної мережі

з використанням критерію інтерпретованих

Факторне моделювання дозволяє виділити групи взаємопов'язаних параметрів, що утворюють чинники захворювання артеріальної гіпертензії. Фактори проінтерпретовані в ранніх роботах[13, 14]:
1. Головний фактор можна інтерпретувати як гемодинамічний фактор, що включає параметри, що описують центральну та периферичну гемодинаміку. Змінні УО, ХОС, ЗПОС визначають рівень артеріального тиску. У нормі, змін хвилинного об'єму циркуляції повинна відповідати адекватна за величиною і напрямом реакція прекапиллярного русла, яка б нівелювала ці зміни і зберігала середній тиск на нормальному рівні. Наприклад, якщо МО знижений, то артеріоли мають звузитися. Якщо МО збільшений, то артеріоли мають розширитися. Порушення взаємозв'язку цих показників лежать в основі змін рівня артеріального тиску. Разом з тим зміна рівня артеріального тиску взаємопов'язане з модуляцією серця, за яку відповідають параметри КСР, КСО, КДР, КДО.
2. Фактор складений з параметрів Фракція викиду лівого шлуночка і Фракція укорочення ЛШ можна вважати важливим для безпосередньої оцінки контрактильной (скорочувальної, нагнітальній) функції лівого шлуночка. Цей фактор визначає об'ємну ресурсомісткість ЛШ. Він показує, наскільки використані об'ємні резерви самого серця для підтримки рівня артеріального тиску.
3. Фактор, який відповідає за відповідність маси і зростання.
4. Фактор, що характеризує рівень злагодженості роботи серця і легенів, визначається через частоту дихання та індекс Хильдебранта.
5. Імунологічний фактор, який може відображати психосоматичний стан індивіда, оскільки цей фактор активується в стресових станах. Основний внесок у формування цього фактора вносять сегментоядерние нейтрофіли і лімфоцити.
Виділені фактори є різними аспектами захворювання. Наприклад, це може бути такий фактор ризику як ожиріння і порушення фактора 3. Фактори 4 та 5 відповідають стресовій сприйнятливості, при якій порушується імунологічний фактор і фактор злагодженості роботи серця і легенів. Всі виділені фактори підтверджені незалежними медичними дослідженнями.
В ранній роботі [13] запропоновано рекомендації щодо нормалізації виділених факторів. Виділені п'ять факторів дозволяють вказати групу параметрів, на яку треба впливати, щоб отримати максимальний ефект від лікування. Наприклад, для стабілізації рівня артеріального тиску слід впливати на всю групу ознак, що описують гемодинамічний фактор. При цьому слід враховувати ремоделювання серця (структурно-геометричне стан) при формуванні патофізіологічних взаємовідносин в системі кровообігу у пацієнтів з гіпертонічною хворобою. Оскільки ожиріння є одним з факторів ризику, то зниження ваги дозволить нормалізувати фактор, який відповідає за відповідність маси і зростання. Виключення стресових ситуацій пацієнтом дозволить поліпшити показники, що формують імунологічний фактор, а також нормалізувати фактор, що характеризує рівень злагодженості роботи серця і легенів.
Висновок. Розглянуто відомий альтернативний метод побудови факторної моделі на основі нейронної мережі та алгоритму зворотного поширення помилки. Даний метод був удосконалений для проведення факторного обертання та отримання интерпретируемого рішення. Переваги даного методу полягає в тому, що він об'єднує в собі всі етапи класичного факторного аналізу: пошук факторного відображення, факторне обертання і обчислення значень факторів. Цей метод здійснює косоугольный факторний аналіз, тим самим має максимальну ступінь спільності для лінійної моделі.
На базі нейронної мережі з нелінійної передатною функцією отриманий варіант нелінійного факторного аналізу. Факторна структура артеріальної гіпертензії, отримана з допомогою нейронної мережі та критеріїв інтерпретованих, незначно відрізняється від факторної структури, отриманого методом головних компонент з подальшим «варимакс» обертанням і має той же интерпретационный характер.
ЛІТЕРАТУРА
  1. Иберла К. Факторний аналіз.Пров. з ньому. В. М. Іванової; Предисл. А. М. Дуброва. — М: Статистика, 1980.
  2. Гаврилевич М. Введення в нейроматематику.// Огляд прикладної та промислової математики. М.: ТВП, 1994.
  3. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Універсальний Approximators.// Neural Networks, 1989, v.2, N. 5.
  4. Cybenko G. Approximation by Superpositions of a Sigmoidal Function.// Mathematics of Control, Signals and Systems, 1989, v.2.
  5. Funahashi K. On the Approximate Realization of Continuous Mappings by Neural Networks.// Neural Networks. 1989, v.2,N.3, 4.
  6. Горбань А. Н. Узагальнена аппроксимационная теорема та обчислювальні можливості нейронних мереж.// Сибірський журнал обчислювальної математики / РАН. Сіб. відділення. – Новосибірськ, 1998. – Т. 1, №1. – с. 11-24.
  7. Хайкін C.Нейронні мережі: Повний курс.Пров. з англ. Н. Н. Куссуль, А. Ю. Шелестова. 2-е изд., испр. — М: Видавничий будинок Вільямс, 2008, 1103 с.
  8. Осовський С. Нейронні мережі для обробки інформації. М: Фінанси і статистика, 2002, 344 с.
  9. Gorban A., Kegl B., Wunsch D., Zinovyev A., Principal Manifolds for Data Visualisation and Dimension Reduction// Springer, Berlin – Heidelberg – New York, 2007.
  10. Kruger U., Antory D., Hahn J., Irwin G. W., McCullough G. Introduction of a nonlinearity measure for principal component models.// Computers & Chemical Engineering, 29 (11-12), 2355-2362 (2005)
  11. Jain A. K., Mao J., Mohiuddin K. M.Artificial Neural Networks: A Tutorial.Computer, March, 1996, pp. 31-44.
  12. Шовин Ст. А., Гольтяпин Ст. Ст. Методи обертання факторних структур.// Математичні структури та моделювання. 2015. № 2. С. 75-84.
  13. Гольтяпин Ст. Ст., Шовин Ст. А.Косоугольная факторна модель артеріальної гіпертензії першій стадії.// Вісник Омського університету. 2010. № 4. c. 120-128.
  14. Шовин Ст. А. Конфирматорная факторна модель артеріальної гіпертензії.// Комп'ютерні дослідження і моделювання. 2012. Т. 4. № 4. c. 885-894.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.