Технология интерфейса мозг-компьютер (ИМК) была впервые разработана как инструмент, обеспечивающий базовое взаимодействие, такое как общения, без движения. В последние несколько лет произошел сдвиг в сторону новых групп пациентов и приложений, таких как помощь пациентам с инсультом в восстановлении движения или помощь нейрохирургам в более точном картировании мозга для более быстрого и безопасного проведения операций.

Рассмотрим детальнее основные виды современных интерфейсов мозг-компьютер. Их можно разделить на четыре основных группы:

1.Речевые интерфейсы мозг-компьютер

2.Моторные интерфейсы

3.Интерфейсы для управления киборгами (чипирование живых организмов)

4.Интерфейсы для реабилитации

Речевые интерфейсы

1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи

Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.

В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.

Исследуемому пациенту с трудноизлечимой эпилепсией была проведена временная установка 72 субдуральных электродов. Регистрация ЭКоГ с имплантированных электродов производилась с использованием усилителя g.HIamp и программной платформы BCI BCI2000, которая собирала данные с частотой 1200 Гц .

Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.

Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом

2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер

В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .

В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.

В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.

Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.

Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.

Например, последовательность воображаемых фонем (звуков)

w/ih/aa/r/ /k/aa/m/ih/t/aa/t/ /t/aa/t/eh/

Интерфейс распознает и произнесёт как

We are commited today

Спасибо за внимание. Подписываемся и всё такое.

https://vk.com/exomech

https://www.facebook.com/Exomech

https://www.instagram.com/exomech_official
И наш дискорд где можно про все это поговорить и спросить!

https://discord.gg/pMZN7TM

Источники

https://link.springer.com/chapter/10.1007/978-3-319-57132-4_2

https://link.springer.com/chapter/10.1007/978-3-319-57132-4_3

Но начнем с теории.

Нейроинтерфейс (или интерфейс «мозг – компьютер») – так называется устройство для обмена информацией между мозгом и внешним устройством. В качестве объекта управления может выступать не только компьютер, но и любое другое электронное устройство: квадрокоптер, система «умного дома», промышленный робот или боевой дрон, экзоскелет и даже искусственные органы чувств.

Медицина на данный момент является основной областью применения нейроинтерфейсов. Здесь интерфейс «мозг – компьютер» открывает новые возможности в области протезирования и реабилитации инвалидов с различными моторными нарушениями. Например, после инсульта многие пациенты не могут говорить. В этой ситуации нейроинтерфейс выступает умным посредником между мозгом и внешней реальностью, единственным средством общения. Парализованные пациенты с помощью такого устройства могут управлять протезом и инвалидной коляской или даже механическим экзоскелетом.

Пользователь и нейрокомпьютерный интерфейс работают вместе. Пользователь после периода обучения начинает генерировать сигналы мозга, которые кодируют намерение, а нейрокомпьютерный интерфейс , также после обучения, обнаруживает эти сигналы, декодирует и переводит их в команды на устройство вывода, которое выполняет намерение пользователя.

Нейроинтерфейсы бывают инвазивные и неинвазивные. Инвазивные это те что внедряются в череп. Они очень сложны и опасны в использовании и установке. Наш нейроинтерфейс неинвазивный и полностью безопасный.

На фото ниже вся эволюция нейроинтерфейсов и можно заметить что они все примерно одинаковые по топологии.

Неинвазивный нейроинтерфейс не предполагает вторжения в организм – электроды прикрепляют к коже головы. Несмотря на то что мозг располагается глубоко в черепе, электрические поля, создаваемые нервными клетками, улавливаются электродами на поверхности головы. Этот метод уже давно применяется при снятии электроэнцефалографии.

На данный момент существует 2 пути реализации работы нейроинтерфейсов: через дешифровку сигналов мозга и через двойную шифрацию сигнала.

Прямая дешифровка однозначно более перспективный путь, но и многократно сложнее в реализации. На данный момент, несмотря на то что общие принципы работы контуров мозга более-менее изучены, более сложные структуры и их алгоритмы изучены не очень подробно и не пока не известно как можно «загружать» нужную информацию в нужные узлы или же дублировать их электронным аналогом. Поэтому аналитическая дешифровка и затруднена, хоть и возможна, что можно увидеть в самых современных проектах . Это протезы с ОС, о которых написано выше, усилители памяти, контролеры эмоций и «привязанностей» .

При двойной шифрации, которую в основном и используют, не пытаются определить что именно значат каждый сигнал, а просто, собирая статистику таких сигналов, выделяют его и маркируют под определенную задачу.

Такие интерфейсы наиболее хорошо отработаны, повторяемы в реализации и относительно распространены. Именно через этот метод и работают ms-04

А теперь разобравшись в теории рассмотрим подробнее модели нейроинтерфейсов — ms-04a и ms-04b

MS-04а

Данный нейроинтерфейс сделан на универсальной нейрооснове. На ней можно также сделать и нейростимулятор, путем просто замены электроники на затылке.

В качестве основного материала каркаса выбрал PLA пластик. Выбор был сделан в пользу PLA благодаря его свойству биоразложения. Каркас производится методом 3д печати.

Твердые электроды представляют собой пластинки из нержавеющей стали. Электрическая составляющая полностью загерметизирована внутри каркаса. На затылке находится электронная начинка, включающая в себя блитуз модуль и усилитель-АЦП ЭЭГ сигнала.

В качестве особенностей можно выделить следующее:

1.Один канал ЭЭГ + референсный датчик + заземление (прищепки)

2.Распознавание экстремально низкого уровня сигнала

3. Фильтр с высокой сопротивляемостью шумам

4. Использована универсальная основа.

5. Расщепление спектра. Считывание происходит с 4 датчиков.

Анализируется следующая информации :

1.Исходная электроэнцефалограмма (сырец сигнал)

2.Определяются следующие мозговые волны: Дельта, Тета, Низкие Альфа, Высокие Альфа, Низкие Бета, Высокие Бета, Гамма

Имеется специальное ПО как для ПК так и для телефонов.

Кроме того имеется SDK для всех платформ (андроид, ios, win)

Связь с компьютером происходит через блитуз 5.0. Иные версии блитуза работают нестабильно или не работают совсем.

Питание 2 батарейки AAA

После многочисленных тестов с этой моделью было найдено более оптимальное дизайнерское решения для корпуса.

Данная модель обладает куда более меньшим корпусом. При этом он более удобен для настройки под размеры головы, благодаря раздвижным элементам корпуса. Кроме того в этой модели возможно снятие сигнала с более высоко расположенных участков мозга, а не только с лобных долей.

Технические параметры такие же как и в предыдущей модели — начинка осталась такая же.

1.Один канал ЭЭГ + референсный датчик + заземление (прищепки)

2.Распознавание экстремально низкого уровня сигнала

3. Фильтр с высокой сопротивляемостью шумам

4. Использована универсальная основа.

Анализируется следующая информации :

1.Исходная электроэнцефалограмма (сырец сигнал)

2.Определяются следующие мозговые волны: Дельта, Тета, Низкие Альфа, Высокие Альфа, Низкие Бета, Высокие Бета, Гамма

Связь с компьютером/телефоном происходит через блитуз 5.0. Иные версии блитуза работают нестабильно или не работают совсем.

Питание 1 батарейка cr2032

Спасибо за внимание. Подробнее про такие устройства как обычно тут
https://vk.com/exomech

https://www.facebook.com/Exomech

https://www.instagram.com/exomech_official
Кроме того есть специальный бионическо-экзоскелетный дискорд канал

https://discord.gg/pMZN7TM

Схема этого датчика очень простая и является просто обвязкой ИУ. Рассмотренный здесь сверхпростой мышечный датчик ЭМГ значительно облегчает начало освоения бионики. В нем используется сверхпростая схема усилителя из трех компонентов, состоящая из инструментального усилителя INA128 (ИУ), конденсатора и выпрямительного диода для выпрямления полуволнового сигнала (который в основном удаляет весь сигнал отрицательного напряжения, чтобы не повредить аналоговый сигнал). Выход идет на контроллер.

Инструментальный усилитель усиливает сигнал, поступающий на дифференциальные входы и вычитает синфазный сигнал, что приводит к частичному подавлению шума, представленного на обоих каналах. В схеме датчика используется реактивное сопротивление конденсаторов, прикрепленных к контактам УА, которые устанавливает регулируемое частотно-зависимое усиление, тем самым усиливая только более высокие частоты и, таким образом, создавая эффект, аналогичный фильтру высоких частот. Сопротивление конденсаторов (который обратно пропорционален усилению ИУ) рассчитывается из следующего уравнения

Сопротивление= 1 / (2 * PI * Частота * Емкость)

Для датчика ЭМГ требуется 3 электрода: отрицательный, положительный и заземляющий, при этом положительный и отрицательный электроды расположены рядом друг с другом и разделены зазором в 1 см. Эти электроды размещаются над мышцами, за которыми вы хотите наблюдать, а заземляющий электрод - на костной областью с минимальной активацией мышц или без нее. Точное расположение электродов можно определить методом проб и ошибок и никак иначе, к сожалению. Используемые электроды были диаметром 30 мм и были от миостимулятора. Но подойдут любые электроды от ЭКГ.

Единственные дополнение, которого нет в схеме, чтобы увидеть сигнал ЭМГ, - это источник напряжения 5 В для питания вашего датчика. Можно взять прямо с арудино. Сигнал EMG не будет впечатляющим, но достаточно хорошим для некоторых простых приложений. Если вы просто видите шум, возможно, в вашей комнате слишком много мощных электроприборов. Если вы решите запитать эту схему от сетевого блока питания, то это также может быть причиной очень шумного сигнала.Лучше питать от батареек или же иных хорошо стабилизированных источников.

Амплитуда сигнала ЭМГ с течением времени является хорошим индикатором мышечной активности, поэтому простое сжатие мышц виртуальную кнопку ввода. Представьте, что вы сжимаете бицепс, и рука робота сжимается. Вы даже можете комбинировать несколько датчиков для большего контроля, например, по одному на каждом бицепсе, чтобы контролировать левую и правую стороны автомобиля с дистанционным управлением или робота.

Если вы хотите делать более сложные вещи с помощью ЭМГ , вам нужно будет изучить расширенную обработку сигналов и и фильтрацию сигналов, но для простых вещей достаточно и этого.

Печатная плата датчика очень маленькая

А в готовом виде он выглядит вот так. Размер около 1 см * 1 см.

https://vk.com/exomech

https://www.facebook.com/Exomech

https://discord.gg/pMZN7TM

Спасибо за внимание!

Основной результат моей работы с лета по осень это была унифицированная основа для нейроустройств, а вовсе не нейростимулятор. На ней можно сделать как и прекрасный, явно не уступающий иностранным, tDCS стимулятор лобных долей, так и функциональный 4-х канальный нейроинтерфейс. Обычные нейроинтерфейсы имеют 1-2 канала, более считается излишним. То есть это как бы унифицированная база. Возможно преобразование в многие устройства использующие нейротехнологии.

Основа состоит из нескольких элементов: каркас, регулировочные болты и внутренняя проводка.

1.Корпус печатный. Материал PLA. Состоит он из 3-х частей: 2 боковых элемента и затылочная часть. В затылочной части имеется специальная площадка для установки электроники и элементов питания. Боковые элементы имеют по 2 группы держателей входных электродов. Они позволяют охватить всю лобную долю мозга.

2. Регулировочные болты. Болты врезаны в корпус и нужно приложить хорошую силу чтоб их выломать. Позволяют регулировать размеры интерфейса под любые головы. Такого лично я не видел ни у кого. Кроме того позволяют разобрать всё на простые элементы.

3. Внутренняя проводка. Врезана в корпусе и залита компаундом. Вырвать или повредить невозможно (без разрушения корпуса). На участке регулировочных болтов имеется штекерное соединение для разборности.

Основа является готовым скелетом для любых нейроустройств, но сама нейроустройством не является. Можно сказать что основа является материнской платой для проектируемых нейросистем и на неё надо установить всё дополнительно, дабы придать функционал.

Чтобы придать свойство стимулятора мозга способного улучшить настроение и уменьшить воздействие от вредных привычек нужно установить контролер тока, элементы питания и хитрые мягкие электроды. Вот в этой статье можно прочитать подробней про разработанный нейростимулятор.

Чтобы преобразовать это в нейроинтерфейс нужно докупить модули усиления и анализа ээг и блитуз модуль. Ну и опять же установить мягкие электроды. Работать он будет в качестве устройства снятия данных с мозга, но не управления чем то. То есть получив данные на ПК нужно будет их как то преобразовать и куда то направить. Это более чем просто - самый первый пост в нашей группе вк как раз про это

Сделано было уже очень много таких основ и, можно сказать что налажено, производство.

Спасибо за внимание. Более подробно про это и иные бионические устройства  можно прочитать тут

https://vk.com/exomech

https://www.facebook.com/Exomech

И наш дискорд

https://discord.gg/pMZN7TM

Для того чтобы получить желаемый эффект (например, увеличить способности к математике или скорость реакции), необходимо правильно выбрать зоны мозга, и разместить на них электроды с соответствующим зарядом. Варианты применения tDCS очень разнообразны, и, по сути, ограничиваются только знанием функций различных областей мозга.

Изучалось следующее воздействие:

1. «Реконструкция потребностей»

АНОД (кр): левая дорсолатеральная префронтальная кора (F3)

КАТОД (бел): правая дорсолатеральная префронтальная кора (F4)

Эффект: возможность "программировать» привычки или уменьшать воздействие уже имеющихся.

АНОД (кр): левая дорсолатеральная префронтальная кора (F3)

КАТОД (бел): правая надбровная область (FP2)

Эффект: улучшение настроения, снижения депрессии и тревожности.

Более подробно про tDCS можно прочитать вот тут

Для проведения исследований было сделано 3 прототипа. Схема стимуляции была примерно одинаковая, но различались токи и точки приложения.

Первая модель была сделана в 2018 и представляла из себя комбинацию из tDCS стимулятора и нейроинтерфейса. Управлялось с ручного компьютера, управляющего ардуиной уно на самом нейроприводе. Им же задавались токи. Одиночный прототип.

Более подробно про этот прототип нейропривода можно прочитать тут. В конструкции были обнаружены множественные недостатки. Да и вообще система сложна и очень неудобна.

Вторая модель была много проще и представляла из себя репликацию классических tDCS стимуляторов. Состояла она из 2 мягких электродов, мягкого ремешка для закрепления и ограничителя-контроллера тока. Это была модель 2019 года. Одиночный прототип. Питалось все от усб и через мелкую схемку удерживался нужный ток.

Похожее решение применялось моим коллегой в своих экспериментах.

Последняя модель так является попыткой репликации существующих моделей стимуляторов, но с переработкой. Можно сказать даже что реплицируется только внешний вид, а начинка применяется полностью своя, разработанная с учетом предыдущих моделей.

Работы над этой моделью ведутся в данный момент, но уже налажено штучное производство. Каркас удобно настраивается под любую голову и имеет нужные точки для контактов (спереди) и электроники (сзади).

В этой модели можно пробовать оба воздействия без перестройки, при этом контакты не будут слезать, а само устройство не будет мешаться.

В качестве теоретической опоры были выбраны сии статьи:

1."Реконструкция потребностей"

http://www.sciencedirect.com/science/article/pii/S0149763413001802

http://ajcn.nutrition.org/content/100/4/1003.long

2. «Искусственное счастье"

http://www.scielo.br/pdf/rbp/v31s1/en a06v31s1.pdf

http://www.ncbi.nlm.nih.gov/pubmed/26842422

https://vk.com/exomech

https://www.facebook.com/Exomech

https://discord.gg/pMZN7TM

Примером технологий, принесенных этой ветвью может служить оцифровка сознания, нейроинтерфейсы или же стимуляторы tDCS .

2.Архитектурная бионика

Эта ветвь бионики отлична от других. В ней не создаются машины, но создаются строения на основе свойств растений или иных биологических систем.

Чаще всего здания, построенные в рамках этой ветви, имеют повышенную энергоэффективность, требуют меньше материалов, прочней, но и куда сложней в строительстве.

3.Сенсорная бионика

Сенсорная бионика исследует особенности ориентации или вообще отдельыне органы чувств для создания искусственных аналогов.

Примером технологий, появившихся в результате развития этой ветви бионики, являются слуховые импланты, искусственные глаза и даже радары.

4.Общеморфологическая бионика

Самая широкая и развитая ветвь бионики. Тут мы переносим или исследуем общие черты биосистемы— походка, принцип действия органа, биохимическая реакция и т.п.

Эта ветвь бионики дала искусственные органы и протезы, экзоскелеты и даже такие технологии как киборгизация и аугментация .

Основными методами исследования и разработки в бионике является методы реконструкции и переноса.

1. Метод бионической реконструкции заключается в определении каких то определенных свойств у биологического объекта и создание технической системы, используя в качестве параметров тех. задания свойства определённые у биологического объекта. Назначение системы при этом не меняется, то есть создает прямой аналог.

Примером биологической реконструкции может служить искусственное сердце.

Если кратко - берем био. свойства и создаем аналог того, откуда мы взяли эти свойства.

2. Метод переноса заключается в извлечении свойств биологической системы и создание технического устройства или модели иного назначения, но использующие эти свойства. Примером тут могут служить нейроинтерфейсы или вся область бионической архитектуры.

Если кратко - берем био. свойства и создаем что то новое, используя их.

К сожалению сейчас бионика является раздробленной наукой, идеи и методы которой приходиться восстанавливать и адаптировать. Чем мы собственно и занимаемся. )

Спасибо за внимание. Более подробно про бионику можно прочитать тут

https://vk.com/exomech

https://www.facebook.com/Exomech

И наш дискорд

https://discord.gg/pMZN7TM