Учебное пособие 2232

ЗАКЛЮЧЕНИЕ

Всоответствии с указом президента от 07.07.2011 года одним из приоритетных направлений развития науки, технологий и техники в Российской Федерации является разработка и развитие интерфейса человекробот (задача П11-2). При этом ключевая проблема - развитие новых неинвазивных сенсорных систем, включая силомоментное очувствление, электромиографию и электроэнцефалографию.

Внастоящее время бурно развивается научно-техническая область, связанная с разработкой и исследованием малогабаритной аппаратуры нейроинтерфейсов. Эта аппаратура позволяет проводить неинвазивную регистрацию электроэнцефалографической активности головного мозга, обрабатывать, интерпретировать полученные данные и выдавать соответствующие управляющие команды для подачи на внешнее оборудование.

Вмонографии рассматриваются вопросы проектирования беспроводных приборов регистрации ЭЭГ человека. Рассмотрены варианты проектирования устройств, осуществляющих регистрацию 8 и 16 каналов ЭЭГ монополярным способом. Также рассмотрены варианты проектирования устройств, осуществляющих регистрацию 4-х каналов ЭЭГ биполярным способом.

Данная монография направлена на изучение и практическую реализацию системы регистрации ЭЭГ головного мозга, способной записывать электрические сигналы с микроэлектродов. Благодаря исследованиям полученных значений можно лучше понять картину скачков и всплесков, генерируемых нейронами головного мозга, и выявить те закономерные изменения, которые позволят четко управлять решающей схемой.

Электрические сигналы, снимаемые с электродов, имеют амплитуду порядка нескольких микровольт (мкв) и должны быть усилены специальными схемными решениями с фильтрами, настроенными на определенные частоты, способными выбирать интересующую полосу частот.

Данная монография будет полезна широкому кругу инженеров в области

разработки и исследования медико-биологических систем на различных научно-производственных предприятиях, а также широкому кругу молодых специалистов, занимающихся обучением, исследованиями и разработкой в области электроэнцефалографических исследований.

250

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1.Звёздочкина Н.В. Исследование электрической активности головного мозга / Н. В. Звёздочкина. – Казань: Казан. ун-т, 2014. – 59 с.

2.Бакалов В. П. Основы биотелеметрии / В. П. Бакалов. - М.: Радио и связь, 2001. - 352 с.

3.Кореневский Н. А. Проектирование медицинской аппаратуры для

диагностики и лечебных воздействий: монография / Н. А. Кореневский, Е. П. Попечителев, С. А. Филист. Курск: Курская городская типография. - 1999. – 537 c.

4.Попечителев Е. П. Электрофизиологическая и фотометрическая медицинская техника: учеб. пособие / Е. П. Попечителев, Н. А. Кореневский; под ред. Е. П. Попечителева. – М.: Высш. шк., 2002. – 470 с.

5.Биотехнические системы: Теория и проектирование: учеб. пособие / В. М. Ахутин, А. П. Немирко, Н. Н. Першин, А. В. Пожаров, Е. П. Попечителев, С. В. Романов. Л.: Из-во Ленингр. ун-та, 1981. 220 с.

6.Теория и проектирование диагностической электронномедицинской аппаратуры: учеб. пособие / В. М. Ахутин, О. Б. Лурье, А. П. Немирко, Е. П. Попечителев. – Л.: Изд-во Ленингр. ун-та, 1980. 148 с.

7.Краснов Л. А. Аппаратная регистрация электрических биопотенциалов. Биомедицинские измерительные преобразователи: учеб. пособие / Л. А. Краснов, В. П. Олейник. – Харьков: Нац. аэрокосм. ун-т им. Н. Е. Жуковского «Харьк. авиац. ин-т», 2014. – 96 с.

под ред. К. В. Зайченко. СПб: СПбГУАП, 2001. 140 c.

9.Орлов Ю.Н. Электроды для измерения биоэлектрических потенциалов: учеб. пособие / под ред. И. С. Щукина. – М.: Изд-во МГТУ им.

Н.Э. Баумана, 2006. – 224 c.

10.Р 50.2.0872013. Электроэнцефалографы, электроэнцефалоскопы и электроэнцефалоанализаторы. Методика поверки.

11.Нейротехнологии: нейро-БОС и интерфейс «мозг – компьютер»: монография / В. Н. Кирой, Д. М. Лазуренко, И. Е. Шепелев, Е. В. Асланян, Н. Р. Миняева, О. М. Бахтин; Южный федеральный университет. – Ростов-на- Дону: Из-во Южного федерального университета, 2017. – 244 с.

251

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ……………………………………………………………………...... 3

1.ОСНОВНЫЕ ТЕОРЕТИЧЕСКИЕ СВЕДЕНИЯ ОБ ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ………………………………………......... 4

1.1.Биопотенциалы…………………………………………………………… 4

1.2.Электроэнцефалография……………………………………………….... 4

1.3.Основные виды ритмов ЭЭГ…………………………………………….. 6

1.4.Методы съема ЭЭГ………………………………………………………. 9

1.5.Артефакты ЭЭГ…………………………………………………………... 16

1.6.Нейроинтерфейсы………………………………………………………... 19

2.ПЛАТА CYTON……………………………………………………………….. 20

2.1.Начало работы с платой Cyton…………………………………………... 20

2.2.USB Dongle для плат Cyton и Ganglion………………………………..... 20

2.3.Электроды и электродная паста………………………………………... 21

2.4.Батарейный блок для платы……………………………………………... 21

2.5.Загрузка, установка и запуск графического интерфейса OpenBCI…… 22

2.5.1.Подключение USB-ключа OpenBCI……………………………….. 22

2.5.2.Подключение батарейного отсека с аккумуляторами 6V AA…… 22

2.5.3.Переключение режима платы Cyton………………………………. 23

2.5.4.Подключение платы Cyton из графического интерфейса……….. 23

2.5.4.1.Выбор вида платы………………………………………….. 23

2.5.4.2.Выбор протокола последовательной передачи…………... 24

2.5.4.3.Поиск последовательного COM-порта для USB-ключа…. 24

2.5.4.4.Выбор количества каналов………………………………… 25

2.5.4.5.Проверка статуса и смена радиоканала…………………... 25

2.5.4.6.Изменение имени файла воспроизведения……………….. 28

2.5.4.7.Выбор настроек SD–карты……………………………….. 29

2.5.4.8.Запуск системы……………………………………………... 29

2.5.4.9.Устранение неисправностей………………………………. 30

2.5.4.10.Проверка работоспособности платы Cyton……………... 31

2.6.Характеристики платы и вспомогательные устройства……………….. 32

2.6.1.Характеристики платы……………………………………………… 32

2.6.2.Выводы на плате……………………………………………………. 33

2.6.3.Кнопочные выключатели на плате………………………………… 33

2.6.4.Ползунковые переключатели………………………………………. 33

2.6.5.Печатная плата Cyton……………………………………………….. 34

2.7.Формат данных платы Cyton……………………………………………... 35

2.7.1.RFDuino вместо стандартного Bluetooth…………………………... 35

2.7.2.Скорость соединения с USB-ключом……………………………… 35

2.7.3.Запуск платы Cyton…………………………………………………. 35

2.7.4.Инициирование бинарного перевода……………………………… 36

252

2.7.5.Версия прошивки 1.0.0……………………………………………... 36

2.7.6.Версия прошивки 2.0.0……………………………………………... 36

2.7.7.Двоичный формат…………………………………………………... 37

2.7.8.Таблица байтов для версии прошивки 1.0.0………………………. 37

2.7.9.Таблица байтов для версии прошивки 2.0.0………………………. 38

2.7.10.24-х битные значения данных со знаком………………………… 39

2.7.11.16-битные значения данных………………………………………. 40

2.7.12.32-х битная временная метка без знака………………………….. 40

2.7.13.Интерпретация данных ЭЭГ……………………………………… 40

2.7.14.16 - канальные данные при использовании платы Daisy……….. 41

2.7.15.Перспективы улучшения протокола передачи………………...... 42

2.8.SDK для платы Cyton……………………………………………………... 43

2.8.1.Обзор протокола Cyton Command…………………………………. 43

2.9.Набор команд…………………………………………………………….. 44

2.9.1.Выключение каналов……………………………………………….. 44

2.9.2.Команды управления тестовым сигналом………………………… 45

2.9.3.Команды настройки канала………………………………………… 45

2.9.4.Настройки канала по умолчанию………………………………….. 47

2.9.5.Команды для включения/отключения измерения импеданса…… 47

2.9.6.Команды для работы SD-картой…………………………………… 48

2.9.7.Команды потоковых данных……………………………………….. 48

2.9.8.Остальные команды………………………………………………… 49

2.9.9.Команды для 16-канальной системы………………………………. 49

2.9.10.Выбор максимального числа каналов……………………………. 49

2.9.11.Новые команды прошивки v2.0.0………………………………… 50

2.9.12.Команды отсчета времени………………………………………… 50

2.9.13.Получение номера радиоканала………………………………….. 51

2.9.14.Установка номера канала радиосистемы………………………… 51

2.9.15.Повторное определение радиоканала хоста…………………….. 51

2.9.16.Определение времени опроса радиомодуля…………………….. 52

2.9.17.Установка времени опроса радиомодуля………………………… 52

2.9.18.Установка значения скорости передачи по умолчанию для радиомодуля хоста……………………………………………………. 53

2.9.19.Установка высокой скорости передачи для радиомодуля хоста.. 53

2.9.20.Установка гиперскорости передачи для радиомодуля хоста…… 53

2.9.21.Состояние

радиосистемы…………………………………………………………. 53

2.9.22.Прошивка v3.0.0, новые команды………………………………... 54

2.9.23.Режимы платы……………………………………………………... 54

2.9.24.Команды для использования платы Wifi Shield…………………. 55

2.9.25.Команда для получения версии прошивки………………………. 55

2.9.26.Неиспользуемые символы в формате ASCII…………………….. 56

253

2.10. Особенности программирования платы Cyton. Версии прошивки

2.xx и 3.xx………………………………………………………………….. 56

2.10.1.Установка прошивки из Arduino Library Manager………………. 56

2.10.2.Ручная установка прошивки платы Cyton……………………….. 57

2.10.3.Ручная установка библиотеки для платы Cyton с поддержкой

SD–карты…………………………………………………………….. 57

2.10.4.Ручная установка прошивки WiFi Master………………………... 57

2.10.5.Клонирование репозитория из ресурса Github…………………... 58

2.10.6.Установка прошивки ChipKIT Core……………………………… 58

2.10.7.Выбор «OpenBCI 32» в качестве платы для прошивки…………. 58

2.10.8.Выбор DefaultBoard.ino из примеров…………………………….. 58

2.10.9.Предварительная загрузка аппаратных настроек……………….. 58

2.10.10.Подключение ключа и выбор последовательного порта……… 59

2.10.11.Перевод платы Cyton в режим загрузки………………………... 60

2.10.12.Загрузка прошивки версий 1.xx…………………………………. 61

2.10.13.Загрузка прошивки для 8-битной платы………………………... 65

2.10.14.Устранение проблем с загрузкой………………………………... 67

2.10.15.Примечания по обновлению и использованию прошивки

платы Cyton v2.0.0……………………………………………………. 68 2.10.15.1.Отправка пакетов данных с Pic32 на ПК……………. 68 2.10.15.2.Отправка одного байта данных каждые 10 мс на частоте 100 Гц……………………………………………………. 69

2.10.16.Новая методика оптимизации кода для микроконтроллера

Pic32…………………………………………………………………… 69

2.11.Особенности программирования радиомодулей……………………... 70

2.11.1.Настройка системы для программирования радиомодулей……. 70

2.11.2.Использование прошивки радиомодулей версии 2.xx………….. 71

2.11.3.Загрузка прошивки на плату Cyton………………………………. 72

2.11.4.Загрузка прошивки версии 2.xx в радиомодуль платы Cyton….. 72

2.11.5.Программирование радиомодуля DEVICE с ключом OpenBCI.. 73

2.11.6.Загрузка версии прошивки Pass Thru Radio 2.xx………………… 73

2.11.7.Загрузка прошивки хоста в ключ OpenBCI……………………… 75

2.11.8.Загрузка версии прошивки HOST 2.xx…………………………… 75

2.11.9.Загрузка прошивок версии 1.xx…………………………………... 75

2.11.10.Загрузка прошивки Pass Thru Radio версии 1.xx………………. 76

2.11.11.Загрузка прошивки HOST версии 1.xx…………………………. 76

2.12.Внешний триггер на плате Cyton………………………………………. 77

2.12.1.Внешний запуск с прошивкой 3.xx………………………………. 77

2.12.2.Внешний запуск с прошивкой 2.xx………………………………. 78

2.12.3.Внешний запуск с прошивкой 1.xx………………………………. 80

2.13.USB-ключ……………………………………………………………….. 82

2.13.1.Ползунковый переключатель…………………………………….. 82

2.13.2.Печатная плата USB-dongle………………………………………. 82

254

3.ПЛАТА DAISY………………………………………………………………… 83

3.1.Печатная плата Daisy…………………………………………………… 83

3.2.Исправление ошибки на плате Daisy…………………………………... 84

4.ПЛАТА GANGLION…………………………………………………………... 86

4.1.Характеристики платы…………………………………………………. 86

4.2.Описание входных контактов платы………………………………….. 88

4.3.Переключатели выбора режима регистрации ЭЭГ…………………… 88

4.4.Электропитание платы…………………………………………………. 89

4.5.Начало использования программы Open BCI GU для сбора данных с платы Ganglion……………………………………………………………. 90

4.6.Формат данных платы Ganglion………………………………………... 94

4.6.1.Стандартная настройка Bluetooth 4.n BLE………………………... 94

4.6.2.Запуск платы и инициирование бинарной трансформации……… 94

4.6.3.Двоичный формат…………………………………………………... 95

4.6.4.19-битное сжатие…………………………………………………… 95

4.6.5.18-битное сжатие……………………………………………………. 97

4.6.6.Измерение импеданса контакта кожа-электрод…………………... 99

4.6.7.Вывод протокола……………………………………………………. 100

4.6.8.Примеры интерпретации данных с платы Ganglion……………… 101

4.6.8.1.18-битное дельта-сжатие…………………………….. 101

4.6.8.2.19битное дельта-сжатие…………………………….. 102

4.6.8.3.18-битные данные со знаком…………………………… 104

4.6.8.4.19-битные данные со знаком…………………………… 105

4.6.8.5.Интерпретация данных ЭЭГ……………………………. 105

4.7.SDK для платы Ganglion……………………………………………….. 106

4.7.1.Обзор протокола команд Ganglion………………………………… 106

4.7.2.Набор команд……………………………………………………….. 107

4.7.3.Новые команды для прошивок v2.xx……………………………… 108

4.8.Программирование платы Ganglion…………………………………… 109

4.8.1.Скачивание последней версии прошивки…………………………. 109

4.8.2.Сборка из источника данных………………………………………. 109

4.8.3.Модификация файлов Simblee Board……………………………… 110

4.8.4.Установка прошивки из Arduino Library Manager………………... 111

4.8.5.Ручная установка прошивки Ganglion……………………………... 111

4.8.6.Ручная установка прошивки WiFi Master…………………………. 111

4.8.7.Клонирование кода из репозитория Github……………………….. 112

4.8.8.Выбор «Simblee» в качестве прошиваемой платы……………….. 112

4.8.9.Выбор DefaultGanglion.ino из доступных примеров……………… 112

4.8.10.Создание файла OTA……………………………………………… 112

4.8.11.Настройка мобильного устройства для программирования

OTA……………………………………………………………………. 114

4.8.11.1.Настройка OTA для iPhone…………………………….. 114

4.8.11.2.Настройка OTA для Android…………………………… 115

255

4.8.12.Использование мобильного устройства для программирования

OTA……………………………………………………………………. 117

4.8.13.Обновление прошивки платы Ganglion с использованием аппаратного обеспечения…………………………………………….. 120

4.8.14.Настройка программы Arduino для программирования платы

Ganglion………………………………………………………………... 121

5.ПЛАТА WIFI SHIELD………………………………………………………… 122

5.1.Начало работы с платой WiFi Shield…………………………………... 122

5.1.1.Описание кнопок и контактов ввода-вывода……………………... 123

5.1.2.Руководство по началу работы с WiFi Shield…………………….. 124

5.1.3.Борьба с потерей пакетов в WiFi Shield ………………………….. 124

5.1.4.Плата Cyton с WiFi Shield………………………………………….. 125

5.1.5.Плата Ganglion с WiFi Shield………………………………………. 126

5.1.6.Режим работы WiFi Shield…………………………………………. 127

5.1.7.Режим WiFi Station………………………………………………….. 127

5.1.8.Режим WiFi Direct…………………………………………………... 127

5.1.9.Светодиодный индикатор состояния D2………………………….. 127

5.1.10.Замечания по работе с WiFi Shield……………………………….. 128

5.1.11.Настройка режима WiFi Station…………………………………... 128

5.1.12.Изменение сохраненных учетных данных………………………. 129

5.1.13.Стирание сохраненных учетных данных………………………… 129

5.1.14.Конфигурация Wi-Fi для прошивок 1.XX……………………….. 130

5.1.15.Пример подключения WiFi Shield к локальной сети…………… 130

5.1.16.Соединение с OpenBCI GUI………………………………………. 131

5.1.17.Передача потоковых данных c платы Cyton…………………….. 131

5.1.18.Передача потоковых данных c платы Ganglion…………………. 134

5.1.19.Просмотр IP-адреса, MAC-адреса, версии прошивки WiFi

Shield и других параметров конфигурации…………………………. 135

5.2.Прошивка Wifi Shield…………………………………………………… 137

5.2.1.Программа WiFi Shield Over The Air………………………………. 137

5.2.2.Обновление прошивки проводным способом…………………….. 140

5.2.3.Загрузка прошивки в WiFi Shield………………………………….. 141

5.2.4.Получение последовательного порта для программирования…... 141

5.2.5.Подключение WiFi Shield к программатору………………………. 142

5.2.6.Изолирование и питание WiFi Shield……………………………… 142

5.2.7.Компиляция исходного кода и формирование двоичного кода…. 143

5.2.8.Прошивка ядра ESP8266……………………………………………. 144

5.2.9.Выбор “Adafruit Huzzah ESP8266” в качестве платы…………….. 145

5.2.10.Выбор DefaultWifiShield.ino из примеров……………………….. 145

5.2.11.Компиляция исходного кода в Arduino………………………….. 145

5.2.12.Компиляция исходного кода с помощью make………………….. 146

5.2.13.Получение последовательного порта для программирования…. 146

5.2.14.Загрузка кода………………………………………………………. 146

256

5.3.API для платы WiFi Shield……………………………………………… 146

5.3.1.Подключение Wifi Shield к локальной беспроводной сети……… 146

5.3.2.Получение IP-адреса Wifi Shield…………………………………... 147

5.3.3.Открытие сокета TCP на компьютере……………………………... 147

5.3.4.Режим вывода Raw………………………………………………….. 147

5.3.5.Режим вывода JSON………………………………………………… 147

5.3.6.Плата WiFi Shield как HTTP сервер……………………………….. 148

5.3.7.Парсинг данных с платы Wifi Shield………………………………. 149

5.3.8.Формат raw потока байтов…………………………………………. 149

5.3.9.Формат JSON………………………………………………………... 149

5.4.SDK для платы Wifi Shield…………………………………………….. 150

5.4.1.Ручная установка……………………………………………………. 150

5.4.2.Отправка данных на WiFi Shield…………………………………... 150

6.НАСТРОЙКА ПЛАТ CYTON И GANGLION ПЕРЕД РАБОТОЙ…………. 151

6.1.Настройка для регистрации ЭЭГ……………………………………… 151

6.2.Настройка для регистрации ЭКГ……………………………………… 154

6.3.Настройка для ЭМГ……………………………………………………. 155

6.4.Головная гарнитура для регистрации ЭЭГ…………………………… 156

6.5.Места размещения электродов при регистрации ЭЭГ………………. 161

7.ДОПОЛНИТЕЛЬНОЕ СТОРОННЕЕ ОБОРУДОВАНИЕ………………….. 169

7.1.Подключение платы MyoWare к плате Cyton………………………... 169

7.1.1.Использование виджета EMG GUI OpenBCI……………………... 172

7.2.Подключение платы MyoWare к плате Ganglion…………………….. 174

7.3.Подключние датчика пульса…………………………………………... 177

8.ОБРАБОТКА РЕЗУЛЬТАТОВ ИЗМЕРЕНИЙ ЭЭГ СИГНАЛОВ………….. 179

8.1.Программа OpenBCI GUI……………………………………………… 179

8.1.1.Настройка макета программы……………………………………… 184

8.1.2.Преобразование записей больших размеров……………………… 187

8.1.3.Настройка графических виджетов…………………………………. 188

8.1.3.1.Виджет “Временной ряд”……………………………….. 188

8.1.3.2.Виджет “БПФ”…………………………………………… 190

8.1.3.3.Виджет “Акселерометр”………………………………… 191

8.1.3.4.Виджет “Участок головы”………………………………. 191

8.1.3.5.Виджет “Фокус”…………………………………………. 193

8.1.3.6.Виджет “Диапазон мощности”…………………………. 193

8.1.3.7.Виджет “ЭМГ”…………………………………………... 195

8.1.3.8.Виджет “Сеть”…………………………………………… 196

8.1.3.9.Виджет “SSVEP”………………………………………… 199

8.1.3.10.Виджет воспроизведения……………………………… 200

8.1.3.11.Виджет пульса…………………………………………. 200

8.1.3.12.Пользовательский виджет…………………………….. 200

8.1.4.Программа OpenBCI Hub………………………………………….. 204

257

8.2.Обработка данных в программе MATLAB…………………………… 216

8.2.1.Установка программы и загрузка данных………………………… 216

8.2.2.Анализ полученных данных……………………………………….. 220

8.3.Обработка данных в программе Neuromore………………………….. 224

8.4.Обработка данных в программе OpenViBE………………………….. 230

8.5.Обработка данных с помощью LSL…………………………………... 235

8.6.Обработка данных с помощью BrainBay……………………………... 239

8.7.Обработка данных с помощью BioEra………………………………... 245 ЗАКЛЮЧЕНИЕ…………………………………………………………………... 250

БИБЛИОГРАФИЧЕСКИЙ СПИСОК…………………………………………… 251

258

Научное издание

Журавлёв Дмитрий Владимирович

АППАРАТУРА ДЛЯ ЭЛЕКТРОЭНЦЕФАЛОГРАФИЧЕСКИХ

ИССЛЕДОВАНИЙ

Монография

Редактор Г. В. Биндюкова

Подписано в печать 02.03.2021.

Формат 60х84 1/16. Бумага для множительных аппаратов. Усл. печ. л. 15,1. Тираж 500 экз. Заказ № 20.

ФГБОУ ВО «Воронежский государственный технический университет» 394026 Воронеж, Московский просп., 14

Участок оперативной полиграфии издательства ВГТУ 394026 Воронеж, Московский просп., 14

259