Застосування методів машинного навчання в задачі оцінки дій льотчика на етапі посадки

ВВЕДЕННЯ

Статистика аварійних подій показує, що в даний час найбільш небезпечною ділянкою польоту залишається посадка. Причому в більшості випадків аварійні події відбуваються з вини особового складу (мал. 1). Таким чином, завдання оцінки дій льотчика з управління повітряним судном на етапі посадки є актуальною як для цивільного, так і для військової авіації, оскільки дозволяє підвищити безпеку польотів.

image
Рис. 1. Діаграми розподілу аварійних подій за етапами польоту і за видами порушень особового складу

Виконаний аналіз існуючих способів оцінювання якості пілотування на основі інформації бортових пристроїв реєстрації (БУР) показав їх недостатню ефективність.
Згідно з Курсом бойової підготовки (КБП) оцінка якості виконання садивного маневру визначається на підставі даних бортових та наземних засобів об'єктивного контролю, а також спостережень інструктора та осіб групи керівництва польотами (рис. 2).

image
Рис. 2. Структура формування оцінки

За КБП оцінка техніки пілотування на етапі посадки за матеріалами бортових СІК виконується шляхом аналізу параметрів польоту в 4-х контрольних перетинах глісади (рис. 3): вхід в глісаду, проходження далекого приводного радіомаяка (ДПРМ), проходження близького приводного радіомаяка (БПРМ), дотик злітно-посадкової смуги.

image
Рис. 3. Зниження літака по глісаді

При цьому польотні дані використовуються не в повному обсязі: з 14 нормативних параметрів, встановлених КБП для оцінки якості виконання посадки, тільки 5 параметрів визначаються за матеріалами БУР, що становить 35,7 %. Інші параметри визначаються на підставі спостережень інструктора та осіб групи керівництва польотами, що вносить значну частку суб'єктивізму в підсумкову оцінку.
Таким чином, існує необхідність доповнення методики КБП параметрами, що враховують характер пілотування літака на протязі всього етапу зниження по глісаді та реєструється штатними БУР.

МОДИФІКАЦІЯ ІСНУЮЧОГО СПОСОБУ ОЦІНКИ ДІЙ ЛЬОТЧИКА НА ЕТАПІ ПОСАДКИ

В роботах [1-3] було доведено, що структура руху ручки керування літаком на посадці є характеристикою якості пілотування (показує наскільки впевнено пілот керує літаком). Ґрунтуючись на цих роботах можна зробити висновок, що в ролі інформативного ознаки для оцінки якості пілотування доцільно використовувати параметр «Кут відхилення ручки керування літаком по тангажу» image, який реєструється на всіх сучасних ЗС штатним бортовим пристроєм реєстрації (рис. 4). Даний спосіб дозволяє оцінити дії льотчика на всьому етапі посадки, крім того в ньому відсутня суб'єктивізм. Типова система керування літаком у поздовжньому каналі представлена на малюнку 5.

image
Рис. 4. Графіки зміни параметра «Відхилення РУС по тангажу» на етапі посадки для льотчиків різного класної кваліфікації; а) льотчик 1 класу; б) льотчик без класу; в) передача управління

image
Рис. 5. Система керування літаком у поздовжньому каналі (МУ-615А — потенціометричний датчик кутових переміщень, РП — рульовий привід)

Описаний вище спосіб оцінки пропонується інтегрувати у відому методику оцінки техніки пілотування за КБП. Таким чином, підвищиться відсоток об'єктивності підсумкової оцінки за рахунок введення в підсумкову оцінку додаткового об'єктивного показника, що характеризує дії льотчика на всьому етапі зниження по глісаді.
На основі робіт [4, 5] для оцінки посадки пропонується використовувати спектр сигналу image, а для побудови моделі залежності між даними спектром і рівнем підготовки пілота (або оцінкою, виставленою командиром польоту), що характеризується його класною кваліфікацією, використовувати методи машинного навчання з вчителем.
В якості вхідних ознак у реалізації запропонованого методу використовувалися відліки нормалізованого згладженого спектру imageдосліджуваного дискретного сигналу image, а в якості вихідного ознаки – номер класу льотчика.
Вектор вхідних ознак imageформувався за допомогою описаних нижче перетворень:

  1. Обчислюємо спектр F дискретного сигналу imageдовжини N
    image;
  2. Амплітуди сигналу, частоти яких менше 0,5 Гц, обнуляем для виключення інформаційної складової сигналу, пов'язаної з частотою власних коливань повітряного судна по куту атаки;
  3. Наводимо спектр до виду від 0 до 2,5 Гц і змінюємо розмір отриманого вектора ознак до фіксованого значення за допомогою бикубической інтерполяції (отримали вектор image);
  4. Згладжуємо спектр методом ковзного вікна для отримання більш однорідних даних і нормалізуємо по амплітуді:
    image,
    image,
    де m – розмір вікна (реалізації m = 10), K – постійне число, що перевершує всі значення image(реалізації K = 250).
Побудова моделі залежності між спектром сигналу imageі номером класу льотчика виконувалося за допомогою двох алгоритмів машинного навчання з учителем: методу опорних векторів (SVM) з радіальної базисної функції в якості ядра і методу градієнтного бустинга дерев (GBT).
У реалізації GBT використовувався з наступними параметрами:
  • тип функції втрат – аномальні втрати;
  • кількість ітерацій бустинга – 3000;
  • параметр регуляризації – 0,0008;
  • порція підвибірки – 0,0001;
  • максимальна глибина дерев прийняття рішень – 1;
  • з використанням сурогатів.

УТОЧНЕННЯ ПЕРЕДБАЧЕНОГО НОМЕРИ КЛАСУ ЛЬОТЧИКА

Для виявлення слабких місць алгоритмів було проведено тестування і були розраховані діаграми розподілу помилок. Одна з цих діаграм представлена на рисунку 6.
Опис бази, використаної для тестування, наведено в розділі «Результати та обговорення».

image
Рис. 6. Діаграма розподілу помилок для методу GBT

Перші три стовпці діаграми (рис. 6) відповідають випадків неправильно детектованого 1-го класу (включаючи снайперів), при цьому червоний стовпець відповідає випадкам, коли 1-й клас визначений як 2-й клас, зелений стовпець відповідає випадкам, коли 1-й клас визначений як 3-й клас і синій стовпець відповідає випадкам, коли 1-й клас визначений як без класу. Аналогічно для 2-ї, 3-ї та 4-ї трійки стовпців, які відповідають 2-го, 3-го класу і «нульового» класу (класу).
Аналіз діаграми розподілу помилок показав, що в більшості випадків алгоритми помиляються на один клас, тому розумно надалі провести окремий аналіз для кожної пари найближчих класів. Наприклад, уточнювати передбачений номер класу льотчика вже в бінарному класифікаторі.
У реалізації використовувалися наступні двійкові класифікатори:
  • якщо передбачений клас «3-й клас», то використовується метод SVM для класифікації льотчиків 2-го і 3-го класів;
  • якщо передбачений клас «без класу», то використовується метод GBT для класифікації льотчиків 3-го класу і без класу.

РЕЗУЛЬТАТИ ТА ОБГОВОРЕННЯ

Згідно з стандартною схемою оцінювання узагальнюючої здатності алгоритму класифікації, всі наявні дані діляться на навчальну і тестовою вибірки. Однак з-за великої кількості вхідних ознак потрібно як можна більшу кількість прикладів навчальної вибірки, інакше алгоритму класифікації може не вистачити інформації для побудови моделі залежності. Також потрібна велика кількість прикладів в тестової вибірки для оцінки якості класифікації з високою точністю.
У нашому випадку обсяг наявних даних обмежений, тому для оцінювання узагальнюючої здатності алгоритму класифікації використовується метод крос-валідації.
Всі наявні дані були розбиті на 5 непересічних блоків, кожен з яких містить 48 зразків з 12 зразків на кожну класність пілота: без класу, 3 клас, 2 клас, 1 клас (включаючи льотчиків снайперів). Дані були отримані з бортових пристроїв реєстрації маневрених літаків (назва літака сказати не можу). Результати представлені в таблиці нижче.
Результати тестування алгоритмів машинного навчання
Вигляд алгоритму Помилка алгоритму E, од.
загальна точність 1 клас і льотчики снайпери 2 клас 3 клас без класу
Метод SVM 0,5526 0,5667 0,6167 0,3167 0,7152
Метод GBT 0,5566 0,6167 0,3667 0,5167 0,7318
Підсумкова оцінка ефективності алгоритму:
image
imageрозраховувалися за такою формулою:
image
де image– кількість тестових прикладів, в яких допущено помилку, image– кількість тестових прикладів у тестовій вибірці.
Аналіз отриманих результатів показав, що найкращу загальну точність показав метод GBT. Крім того, уточнення передбаченого номери класу льотчика в бінарних класифікаторах підвищило загальну точність методу у SVM на 2 %, а у методу GBT на 3 %.

ВИСНОВОК

Використання методів машинного навчання дозволило експериментальним шляхом підтвердити коррелированность параметра «Кут відхилення ручки керування літаком по тангажу» на етапі зниження літака по глісаді з рівнем підготовки льотчика, вираженого в балах відповідно до його класністю. Отримана точність методу опорних векторів та градієнтного бустинга дерев становить 55%. Таким чином, спектр сигналу «Кут відхилення ручки керування літаком по тангажу» може бути використаний в якості додаткового параметра для оцінки дій льотчика на етапі посадки, а побудова системи, виставляє оцінку за даним спектру, можна виконувати за допомогою алгоритмів машинного навчання з учителем: метод опорних векторів і градієнтний бустинг дерев.

Література
  1. Авіаційна медицина / під ред. Н. М. Рудного, П. В. Васильєва, С. А. Гозулова. – М: Медицина, 1986. – 580 с.
  2. Гладков Б. М. Автоматизована оцінка натренованості льотчиків з використанням показників керуючих впливів: науково-методичні матеріали з проблем забезпечення безпеки польотів. Іркутське ВВАІУ / Б. М. Гладков. – В., 1991. – С. 73-79.

  3. Фролов М. В. Шляхи вивчення працездатності льотчика в польоті / Н. В. Фролов // Космічна біологія. – 1978. – № 1. – С. 3-10.
  4. Патент № 2436164 Російська Федерація, МПК G07C 11/00, G08G 5/00. Спосіб оцінювання якості пілотування літака льотчиком на етапі посадки за даними штатного бортового пристрою реєстрації / Полуектов С. П., Кашковский Ст. Ст., Тихий В. І., Лапін В. П.; заявник і патентовласник ФГТУ ВПО «Військовий авіаційний інженерний університет» (р. Воронеж) Міністерства оборони РФ. – № 2010140360/08; заявл. 01.10.2010; опубл. 10.12.2011, Бюл. №34. – 3 с.
  5. Полуектов С. П. Один з підходів до розширення можливостей автоматизованої системи оцінки якості пілотування повітряного судна / С. П. Полуектов, Е. П. Колесніков // Актуальні питання науки і техніки у сфері розвитку авіації: збірник тез доповідей III Міжнародної науково-технічної конференції авіаційного факультету. – Мінськ: Військова академія Республіки Білорусь, 2013. – С. 81-82.

Авторик. т. н. Полуектов С. П.
Нафиков М. А.

p.s. Посилання на проект і базу даних викладу пізніше

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.