Зрение и нейронные сети - как мы на самом деле видим мир
Вы когда-нибудь задумывались что мир, который вы видите, на самом деле по большей части продукт нейронных сетей вашего мозга с массой доработок, закрашивания, раскрашивания, удаления артефактов и всё это происходит на скорости порядка 24-60 кадров в секунду. Что по меркам скорости генерации кадров нейросетями даже таких кремниевых монстров, как Nvidia RTX4090 и Nvidia A100, довольно хороший результат. Сравнение мозга с видеокартами, конечно, очень приблизительное. Мозг не оперирует дискретными кадрами, и люди, разумеется, могут реагировать на события, происходящие со скоростью выше 1/60 секунды. Однако это простые реакции, не включающие полного построения визуального образа или его осознанной оценки. Как правило, это простые реакции на движение: уклониться, отстраниться, защититься, нажать на кнопку. При недостаточности информации она заполняется из памяти или воображения. Описывая такой опыт, люди говорят, что увидели мелькнувшую тень. Событие произошло слишком быстро, для построения её полноценной визуальной картины. Эксперименты на добровольцах по распознаванию незнакомых изображений, указывают на предел полного восприятия изображения (которое потом доброволец может описать или нарисовать) в 1/60 секунды. Дальнейшее уменьшение времени демонстрации приводит к пробелам в деталях, вплоть до возможности описать только общую яркость картинки, но не детали изображения. Мерцание же люди могут воспринимать, отдельными областями сетчатки вплоть до 180-200 гц иногда и выше, это важно учитывать в источниках света и дизайне экранов мониторов.
Теперь давайте попробуем убрать все доработки нейронных сетей мозга и представить картину именно такой, какой она изначально приходит из сетчатки в зрительный центр. Совсем не похоже на то, к чему мы привыкли и что воспринимаем в акте зрения.
А это то к чему мы привыкли, после всех процессов обработки и синтеза картинки. Разница бросается в глаза.
Человек: «Ну, мы ведь не так уж сильно отличаемся.»
ChatGPT4: «Совершенно верно! Мы оба являемся набором нейронных сетей вовлечённых в многослойной обработке данных, чтобы превращать исходные сигналы в значимые выводы. Ваши нейросети основаны на функции клеток, тогда как мои на операциях транзисторов.»
Мы всё видим вверх ногами
Первое, что бросается в глаза, — это то, что изображение перевёрнуто и отзеркалено. Это особенность оптической системы глаза, хрусталик фокусирует на сетчатку перевёрнутое изображение. Нейронные сети мозга отражают картинку по горизонтали и переворачивают в более привычную для нас ориентацию.
Оптическая система глаза формирующая перевёрнутое и отражённое изображение реальных объектов.
В середине XX века профессор Эдинбургского университета Теодор Ерисманн провёл интересный эксперимент, в котором его студент Иво Кохлер носил очки, которые с помощью зеркал корректировали изображение, проецируя на сетчатку «правильное» (не перевёрнутое) изображение. Однако для Кохлера оно воспринималось как перевёрнутое. Что интересно, после периода острой дезадаптации, когда студент с трудом выполнял повседневные задачи, уже через неделю постоянного ношения очков нейроны зрительного центра адаптировались к новым данным и переиндексировали позиции ганглиарных клеток. Для Иво мир снова стал «правильным». А вот когда он снимал очки, то теперь наоборот всё выглядело перевёрнутым без них. Тоже самое происходит если носить очки с призмами которые зеркально отражают видимое изображение, в пределах недели человек будет видеть нормальную, а не зеркальную картинку, читать текст, водить машину.
Вы легко можете проверить это на себе, и для этого не нужно неделю носить зеркальные очки, а потом привыкать видеть мир без них. Просто осторожно надавите на глазное яблоко пальцем снизу или сверху. Вы увидите тёмное пятно в вашем поле зрения с противоположной стороны от того места, где надавили. Вы механически стимулируете участок сетчатки через конъюнктиву и склеру и тёмное пятно появляется в месте, где этот участок индексирован в зрительном центре.
Слепое пятно (Зрительный нерв)
Зрительный нерв на фотографии глазного дна.
Большое чёрное пятно в правом поле зрения левого глаза и в левом поле зрения правого глаза — это место, где зрительный нерв с его 1,5 миллиона аксонов ганглионарных клеток сетчатки собирается в пучок и уходит в мозг для передачи данных. В этом месте глаз не воспринимает свет, и оно известно как «слепое пятно». Однако мы его не замечаем, потому что мозг активно дорисовывает недостающие данные, используя информацию либо от второго глаза, либо из окружающих областей, если доступен только один глаз.
Сложность нейронных сетей, ответственных за заполнение слепого пятна, относительно невелика — эта задача напоминает инструмент "ластик" в программе Photoshop. Вы можете увидеть эффект слепого пятна, закрыв один глаз и приблизив небольшой объект, палец или карандаш ко второму. Если открыт второй глаз, увидеть слепое пятно не получится так как нейросеть будет заполнять пробел данными из второго глаза. Но когда открыт только один глаз в какой-то момент кончик карандаша исчезнет. Интересно, что этот эффект невозможно наблюдать, если двигать карандаш быстро — у нейросети ответственной за заполнение слепого пятна есть динамический буфер, из которого она берёт данные, но он достаточно маленький меньше секунды. Так что, если карандаш будет находиться в зоне слепого пятна дольше секунды этот буфер истощится и у нейросети не будет информации о карандаше чтобы его дорисовать, она использует данные пейзажа окружающего слепое пятно и кончик карандаша исчезнет.
Как найти слепое пятно в поле зрения.
Чёткое и цветное изображение: реальность или иллюзия?
Вы, возможно, заметили, что большая часть поля зрения на иллюстрации к посту, кажется чёрно-белой и довольно размытой, а только маленький участок в центре — чёткий и цветной. Однако вы ничего подобного в своём поле зрения не наблюдаете.
На самом деле, человеческий глаз воспринимает свет двумя типами фоторецепторов: палочек (rods) и колбочек (cones). Колбочки, в свою очередь, подразделяются на три сабкласса: красные, синие и зелёные, каждый из которых воспринимает определённые длины волн света, отвечая за цветовое восприятие. Основная часть колбочек сосредоточена в макуле — маленькой области сетчатки, которая находится в центре фокуса хрусталика. Именно поэтому мы чётко и в цвете видим лишь небольшую часть поля зрения.
Слои сетчатки на гистологическом срезе. Обратите внимание, что фоторецепторы слой палочек и колбочек расположен в самом низу и лежит на слое клеток пигментного эпителия. Куда логичным было бы расположение фотосенсоров на поверхности, чтобы остальная клеточная машинерия не поглощала свет, а клетки передающие электрические импольсы (ганглиарный слой) поместить вглубину, как мы реализовали это в цифровых фотокамерах где фотосенсоры на поверхности, а дорожки контактов в глубине на подложке чипа. Но в эволюционном процессе логика никогда не присуствовала.
Но как же мы воспринимаем всё изображение таким чётким и цветным, а главное целостным? Ответ заключается в непроизвольных движениях глаз, называемых саккадами. Глаз совершает саккады несколько раз в секунду, сканируя поле зрения и перемещая зону макулы, чтобы собрать цветовую информацию и данные о резкости изображения. Мозг затем синтезирует эти фрагменты в единое целостное чёткое и цветное изображение. Колбочки требуют в три раза больше фотонов для своей функции поэтому при низкой освещённости мы практически не воспринимаем цветовую информацию.
Есть достаточной простой оптический эффект который может показать работу буфера синтеза данных макулы. Если пристально смотреть в одну точку непроизволные саккады подавляются и буфер нейросети хранит данные о цвете даже если само изображение больше не является цветным стоит отвести взгляд буффер обновится и информация о цвете будет потеряна.
Пикабу Gif анимацию размещать не позволяет поэтому ознакомиться с этим эффектом можно здесь.
Сосуды сетчатки и циркулирующие в них клетки
Сосудистая система сетчатки, обратите внимание как сосуды тянутся к макуле, наиболее энергозатраной области сетчатки.
Тени, которые вы иногда видите в своем поле зрения и которые напоминают корни, — это сосуды сетчатки: артерии и вены. Эти сосуды, а также кровь, циркулирующая в них, поглощают часть света, доступного фоторецепторам, и создают систему теней. И да, разумеется, в мозгу существует нейросеть, которая убирает тени от сосудов и выравнивает яркость изображения, так что мы не замечаем их в обычной жизни.
Иногда тени от сосудов сетчатки можно увидеть, если смотреть на яркий источник света. Фоторецепторы, не перекрытые сосудами, получают больше фотонов и могут временно перегрузиться, в то время как те, что перекрыты сосудами, получают меньше света. На несколько секунд можно заметить инвертированное изображение сосудистой сети, которое будет выглядеть как негатив — белые сосуды на темном фоне. Это происходит потому, что нейросеть, которая обычно обрабатывает данные о тенях сосудов, может задержать обработку, пока фоторецепторы не восстановятся, вы сможете наблюдать изображение сосудов своей сетчатки.
Сосуды вашей сетчатки иногда можно увидеть если посветить через закрытые глаза ярким светодиодным фонариком. Фонарик нужно приблизить вплотную к глазу под углом 120-160 градусов.
С сосудами сетчатки связан ещё один интересный эффект: по ним постоянно циркулируют клетки, включая достаточно крупные, такие как макрофаги. Вы наверняка не раз замечали их в виде ярких точек, которые быстро перемещаются в вашем поле зрения по сложным траекториям. На самом деле эти траектории повторяют рисунок сосудов сетчатки. Чаще всего вы видите эти яркие точки, когда резко встаёте — внезапное снижение давления крови в мозге вызывает кратковременную гипоксию. В такие моменты нейросеть, ответственная за удаление этой информации, временно не справляется с анализом коррекцией картинки, и вы видите свои иммунные клетки, путешествующие по сосудам сетчатки.
Мушки
Мушки в поле зрения они могут быть светлыми или тёмными.
Совсем другой механиз формирования мушек перед глазами, вы обычно видите их когда смотрите на яркий светлый фон, например небо в ясный день или яркий экран. Это тени от микроскопических помутнений в стекловидном теле. Стекловидное тело это мягкий гель который заполняет глаз и прижимает сетчатку с клеткам пигментного эпителия и хориоидеи. Большое количество таких аномалий может указывать на заболевания глаз, но они присуствуют у каждого практически с детского возраста и их число увиличивается со временем. Мушки так же убираются из зрительного процесса нейросетьи, и при долгом взгляде на однотонный яркий объект, эта сеть перегружается.
Анализ изображения
Кроме нейросетей, отвечающих чисто за обработку изображения, в зрительном центре также происходит анализ данных: расчёт относительной скорости объектов, распознавание объектов (да, именно в такой последовательности) и эмоциональная интерпретация увиденного. Одна из самых больших и сложных нейросетей, участвующих в анализе визуальных данных, — это система распознавания лиц. Она настолько доминирует в зрительном процессе, что мы способны воспринимать даже смайлики :) и интерпретировать их эмоции :( . Как и любые нейросети, система распознавания лиц и эмоций иногда ошибается, и мы видим лица там, где их на самом деле нет этот эффект называется Параидолия. Это психологический феномен, при котором человек воспринимает знакомые образы или формы в случайных данных, таких как облака, текстуры или узоры. Компьютерные системы сталкиваются с аналогичными проблемами, но в значительной степени они решаются путём увеличения объёма данных для обучения.
Это тема отдельной статьи но к данным зрительной коры имеет доступ как сознательная часть мозга фронтальных долей так и безсознательная основанная на рефлекторном поведении. В некоторых случаях при травмах головы и кровоизляних в мозг возникает очень интересное явление известная как Слепой взгляд или Лоджная слепота. При это человек осознанно зрением не обладает, не может например читать или называть предмет который ему показывают. Но в то же время, такие люди прекрасно ориентируюстя, могут уворачиваться от брошенных в них предметах и водить машину, (по крайней мере в симуляторе) если умели это делать до травмы. Рефлекторное зрение у них не нарушено, в то же время фронтальная доля мозга отвечающая за осознанные действия визуальные данные не получает.
Болезни сетчатки
Кровоизляние в макулярный регион при возрастной дегенерации сетчатки.
Болезни глаз коварны как раз тем, что во многих случаях человек не испытывает никакого дискомфорта или аномалий зрения. Нейросети компенсируют всё более ухудшающуюся картинку, пока количество шума и недостаток входящих данных больше не может привести к синтезу изображения. Даже потеряв свыше 50% ганглиарных клеток или фоторецеторов, люди с дегенерацией сетчатки практически не испытывают какого-либо дискомфорта максимум отмечая ухудшение зрения в темноте. А вот повреждения макулы в результате кровоизлияния или травмы всегда критичны, как именно макула через саккады формируют основной массив данных для синтеза картинки.
Результат кровоизлияния в макулярный регион, потеря основного массива данных от макуляных фоторецепторов коллапс значительной части нейронных сетей формирующих изображение.
Поэтому очень важно регулярно обследовать своё глазное дно у окулиста и обращать внимания не любые аномалии вашего зрения. Особенно если у вас есть заболевания которые могут вести к повреждению сетчатки, такие как сахарный диабет или высокое артериальное давление.
Ещё я надеюсь эта статья заставила вас задуматься о том кто Вы на самом деле? Человек с собвенным я, внутренним миром мечтами и желаниями или набор довольно независимых нейросетей реагирующих на операции ввода и вывода данных и котором нравиться поддерживать иллюзию целостной личности?