В данной работе описывается когнитивно-интеллектуальная система диагностики, адаптации и обучения детей-аутистов (КИСДАОДА), предназначенная для извлечения, обработки и формирования программы обучения на основе когнитивных процессов, в частности электроэнцефалограмм (ЭЭГ) сигналов, адаптации детей-аутистов к социуму и обучения базовым бытовым навыкам. Структура КИСДАОДА описана в [1].

Основной частью данной когнитивно-интеллектуальной системы является модуль обработки данных (рис. 1). Он представляет собой структуру взаимодействия ребенка и программы обучения посредством применения нечеткой логики.

Модуль предназначен для извлечения ЭЭГ на основе когнитивного шлема, обработки и фильтрации полученного сигнала, формирования программы обучения на платформе когнитивных процессов, диагностики проблем работы ребенка с системой и оценки реакции оператора на задания, сформированные модулем обучения.

Структурная схема модуля обработки данных, отображенная на рисунке 1, включает:

– обработчик ЭЭГ, который выводит необработанный сигнал ЭЭГ с датчиков когнитивного шлема, фильтрует его, обрабатывает с помощью преобразования Фурье;

– модуль распознавания эмоций;

– шину, формирующую пакет данных для передачи их на вход оптимизатора баз знаний (ОБЗ);

– интерпретатор полученного от ОБЗ коэффициента [1].

В результате работы модуля обработки данных в блок обучения передается сформированный параметр оценки задания. Таким образом, происходят корректировка программы обучения и индивидуализация системы под конкретного ребенка.

Описание программной платформы

Для разработки приложения было принято решение использовать платформу .NET и язык программирования C# – объектно-ориентированный язык со строгой типизацией, позволяющий разработчикам создавать различные безопасные и надежные приложения, работающие на платформе .NET Framework. C# можно использовать для создания клиентских приложений Windows, XML-веб-служб, распределенных компонентов, приложений клиент-сервер, приложений БД и т.д. Visual C# предоставляет развитый редактор кода, удобные конструкторы пользовательского интерфейса, интегрированный отладчик и многие другие средства, упрощающие разработку приложений на языке C# для платформы .NET Framework.

Платформа .NET является переносимой платформой (с некоторыми ограничениями). Например, последняя версия платформы на данный момент, .NET Framework, поддерживается на большинстве современных операционных систем. А благодаря проекту Mono можно создавать приложения, которые будут работать и на других ОС семейства Linux, в том числе на мобильных платформах Android и iOS. Это позволяет без привязки к конкретной среде разрабатывать приложения и с минимальными трудозатратами переносить на различные платформы.

Для взаимодействия с другим ПО Windows, например, с объектом COM или собственными библиотеками DLL Win32, можно применить процесс C#, известный как взаимодействие. Взаимодействие позволяет программам на C# делать практически все, что возможно в приложении машинного кода C++.

Для создания БЗ на мягких вычислениях используется ПО SCOptimizer. ОБЗ на основе мягких вычислений (Soft Computing Optimizer, SCOptimizer ^TM) является программным средством для создания автоматических нечетких моделей. ОБЗ использует наборы значений вектора вход-выход для создания и оптимизации нечеткой модели. Для выполнения различных алгоритмов оптимизации необходим обучающий сигнал, который представляет образцы входных значений и соответствующих выходных. Файлы обучающего сигнала могут быть созданы с помощью ОБЗ или взяты из других источников. Текстовые файлы обрабатываются на основе региональных настроек, которые определяют символы для десятичной точки, разделителя тысяч и так далее. По умолчанию используются значения этих параметров, установленные в Windows. Если настройки не соответствуют формату сигнала, они могут быть изменены в любой момент. После изменения параметры сохраняются в модели и будут использоваться для дальнейшей обработки данных. Региональные настройки влияют на чтение и запись текстовых данных и файлов модели.

SCOptimizer^TM поддерживает экспорт модели в программе на языке C. Код в этих файлах написан с минимальным использованием функций из стандартной библиотеки языка С и может быть скомпилирован любым компилятором С, включая ориентированные на встраиваемые системы и микроконтроллеры.

Программная реализация

Приложение разбито на определенные модули, каждый из которых выполняет только поставленную ему задачу и никак не зависит от остальных модулей (рис. 2). Данная структура позволит без особых осложнений менять при необходимости части программы.

Для регистрации сигналов ЭЭГ выбран беспроводной нейрокомпьютерный интерфейс Emotiv EPOC+. Он содержит схемы сбора сигнала на основе микропроцессора, встроенного в систему для передачи измеренных сигналов ЭЭГ. Беспроводной нейрокомпьютерный интерфейс Emotiv EPOC+ имеет встроенную систему фильтрации. Структурно Emotiv EPOC+ состоит из 14 каналов: AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 (плюс CMS/DRL и P3/P4). Датчики P3/P4 являются опорными [2, 3]. Они снимают не ЭЭГ, а биопотенциальные сигналы для их фильтрации. CMS/DRL – это «заземленные» электроды: активный электрод Common Mode Sense (CMS) и пассивный Driven Right Leg (DRL).

Более подробная спецификация представлена в таблице.

Разработчиками нейроинтерфейса Emotiv EPOC+ предоставлен программный интерфейс приложения (API – Application Programming Interface), который позволяет, используя свой собственный программный продукт, получать, обрабатывать и взаимодействовать со шлемом через ПК.

Модули Emotiv EPOC и EEGData

Программный модуль EMOTIV EPOC+ предназначен для взаимодействия когнитивного шлема с ПК пользователя. В данном модуле реализованы:

– непосредственное подключение шлема ПК к нейроинтерфейсу;

– получение данных ЭЭГ с использованием стандартного API;

– обработка специальных ментальных команд, например, команды толкать (англ. Push) или тянуть (англ. Pull);

– определение выражения лица, а также поворота головы с помощью встроенного гироскопа.

Полученные с нейроинтерфейса данные отправляются в модуль EEG Data. Основной функцией является преобразование сигнала ЭЭГ, полученного с Emotiv EPOC (без предварительных обработок, не считая встроенную фильтрацию нейроинтерфейса), в понятный для программы формат. Для этого определен объект Sensor, полями которого являются Name (имя сенсора, например AF3) и Value (значение ЭЭГ, полученное в данный момент времени). Каждый сенсор содержит в себе сигнал ЭЭГ в момент времени. Коллекция Sensor представляет собой тип Signal – с этим объектом и происходит большая часть взаимодействия программы.

Оценка эмоциональных состояний

В первую очередь исследуем маркер валентного измерения эмоциональных состояний – страх. В отличие от остальных эмоций страх осознается более четко и найти его причины гораздо проще. В случае работы с детьми-аутистами страх является наиболее критичной к распознаванию эмоцией [4].

На рисунке 3 представлен график сигнала ЭЭГ, снятый с датчиков F3, F4, FC5, FC6 в двух эмоциональных состояниях: слева – страх, справа – нейтральное состояние.

На примере данных значений сигнала ЭЭГ рассмотрена реализация визуального отображения сигнала в модуле MathUtils, эти же данные использовались для формирования БЗ в модуле SCOUtils.

Модуль MathUtils

Преобразованные данные переходят в модуль MathUtils, отвечающий за все математические операции, используемые при обработке сигнала.

Для наглядного отслеживания сенсомоторных ритмов оператора реализован программный модуль визуализации сигнала ЭЭГ.

В данном модуле выполнен переход от представления сигнала ЭЭГ как функции времени к представлению сигнала в частотной области. Этот переход осуществляется путем разложения сигнала на гармонические составляющие с помощью преобразования Фурье [5, 6].

На рисунке 4 представлен график спектральной плотности мощности сигнала ЭЭГ, снятый с датчика FC6 в двух эмоциональных состояниях: слева – страх, справа – нейтральное состояние.

Применение данного подхода уменьшает объем обрабатываемых данных для визуальной оценки, дает возможность быстро классифицировать электроэнцефалограммы [7].

SCOptimizer

Руководствуясь принципом неразрушения нижнего исполнительного уровня управления, применение интеллектуальной надстройки в виде ОБЗ основывается на извлечении сигналов обучения из сигнала ЭЭГ оператора [8].

После снятия сигнала ЭЭГ (см. рис. 3), опираясь на предыдущий опыт использования системы, эксперт устанавливает соответствующий уровень эмоционального возбуждения.

Для аппроксимации обучающего сигнала применяется разработанный ОБЗ с выбранной моделью нечеткого вывода (Сугено 0 порядка). Используются сигнал с блока распознавания сигнала EPOC+, взятый с лобных долей головного мозга (см. рис. 3), и идентификационное значение соответствующей эмоции.

На следующем этапе проектирования БЗ для нечеткого вывода осуществляются формирование в автоматическом режиме полной БЗ и дальнейшая оптимизация правых частей правил (см. рис. 5).

На рисунке 5 изображена база правил в виде сети с четырьмя слоями. Первый слой – входные переменные. Второй слой – нечеткие терм-множества входных переменных. Третий слой соответствует правилам БЗ с соответствующим номером правила в базе правил. Последний слой – выходной, который отображает числовые параметры правила. На этапе создания БЗ полученный обучающий сигнал используются для формирования лингвистических переменных для входных значений. В данной работе количество нечетких множеств в каждой ЛП ограничено до 3.

Структура базы правил (см. рис. 6) показана соединительными линиями между различными слоями. Каждый узел в слое правил связан с теми терм-множествами входного слоя, которые включены в левую часть (часть «если») продукционного правила.

Кроме того, он связан и с терм-множествами выходной переменной.

На рисунке 7 в графическом окне изображены функции принадлежности (ФП) терм-множеств переменной.

Список внизу окна содержит ФП и их параметры. Первая колонка в списке – имя терм-множества, следующая – тип распределения, затем показаны параметры распределения.

На рисунке 8 в первом графике изображены обучающий сигнал
и результат модели выходной переменной. Линия зеленого цвета отображает обучающий сигнал, линия синего цвета – выход модели.

На втором и третьем графиках – максимальный уровень активаций правил и количество активированных правил.

Результат

После создания БЗ с помощью программы SCOptimizer были осуществлены экспорт модели и интеграция в реализованное ПО.

Регистрируемый программным продуктом сигнал ЭЭГ, используя БЗ, возвращает коэффициент, определяющий уровень эмоционального возбуждения. На основе этого коэффициента путем экспертной оценки на экран выводится предупреждение об уровне эмоционального возбуждения (см. рис. 9).

Вывод

Результаты показали возможность программной реализации определения уровня эмоционального возбуждения. Проведенная работа демонстрирует оптимальную обучаемость системы, возможность создания БЗ на основе регистрируемого сигнала ЭЭГ и использования полученных результатов для распознавания эмоций.

Использование интеллектуальной надстройки в виде ОБЗ, основанной на нечеткой логике, в распознавании эмоций является наиболее оптимальным решением по сравнению с использованием нейронных сетей, которые представляют собой исключительно абстрактный математический аппарат. Применение различных видов интеллектуальных вычислений в дальнейшем способно сделать систему самообучаемой.

Стоит отметить, что дальнейшее развитие КИСДАОДА неразрывно связано с ростом количества анализируемых данных, расширением БЗ и увеличением функционала системы.

Благодаря тому, что данная система является когнитивно-интеллектуальной, адаптируемой под конкретного ребенка, она способна сделать более доступной терапию аутизма.

Литература

1. Ульянов С.В., Мамаева А.А., Шевченко А.В. Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов. Ч. 1 // Системный анализ в науке и образовании. 2016. № 5. URL: http:/www.sanse.ru/archive/42 (дата обращения: 18.10.2017).

2. Ульянов С.В., Решетников А.Г. Мамаева А.А., Скотников С.В. Гибридные когнитивные системы управления на примере управления транспортным средством // Системный анализ в науке и образовании. 2016. № 2. URL: http:/www.sanse.ru/archive/40 (дата обращения: 18.10.2017).

3. Ульянов С.В., Решетников А.Г., Мамаева А.А. Гибридные когнитивные нечеткие системы управления автономным роботом на основе нейроинтерфейса и технологии мягких вычислений // Програм-мные продукты и системы. 2017. Т. 30. № 3. С. 420–424.

4. Peters J.M., Taquet M., Vega C., Jeste S.S., Fernández I.S., Tan J., Nelson C.A., Sahin M. and Warfield S.K. Brain functional networks in syndromic and non-syndromic autism: a graph theoretical study of EEG connectivity. BMC Medicine, 2013, vol. 11, no. 7, p. 54; doi: 10.1186/1741-7015-11-54.

5. Николаев А.Р. Спектральные характеристики ЭЭГ на первом этапе решения различных пространственных задач // Психологический журн. 1994. Т. 15. № 6. С. 100–106.

6. Николаев А.Р., Иваницкий Г.А., Иваницкий А.М. Воспроизводящиеся паттерны альфа-ритма ЭЭГ при решении психологических задач // Физиология человека. 1998. Т. 24. № 3. С. 5–12.

7. Сахаров В.Л., Андреенко А.С. Методы математической обработки электроэнцефалограмм. Таганрог: АНТОН, 2000. 44 с.

8. Ульянов С.В., Литвинцева Л.В., Добрынин В.Н., Мишин А.А. Интеллектуальное робастное управление: технологии мягких вычислений. М.: Изд-во ВНИИгеосистем, 2011. 406 с.