nastyden

Сегодня в наркодиспансере. Пришёл за справкой для работы, а там огорчение:

Введение (общеизвестные факты): Большая нейронная сеть (более сложная, с большим числом слоёв и большим числом нейронов в каждом слое, сложнее организованная) намного лучше решает задачи, для которых она обучена, чем маленькая, обученная на такие же задачи. Это связано с тем, что первая способна выделить и распознать намного больше признаков. Это хорошо работает в замкнутой системе данных, однако при выходе за эту систему (например при получении новых данных, или необходимости экстраполяции) большая нейронная сеть зачастую ведёт себя хуже, чем сеть поменьше, т. к. у большой слишком много степеней свободы (ака СПГС, Синдром поиска глубинного смысла). Большая сеть скорее всего выдаст абсолютно случайный результат или не выдаст его вообще, в то время как сеть попроще сможет дать более-менее удобоваримый результат.

Это связано с тем, что чем сложнее сеть после какого-то момента, тем меньше информации содержится на её выходе и тем менее ценна эта информация. Это и есть проблема переобучения.

Пример: классификация цифр, когда количество классов не известно заранее.

Самый простой вариант: на любой вход - ответ «это цифра». Информации ноль.

Посложнее: деление на чётные-нечётные, простые-непростые, кратны 3,4 (ещё что-то?)

Максимально возможное число классов: 10 (каждая цифра — свой класс). Информации при такой классификации снова ноль, хотя классификация максимально возможная!

Допустим обучили сеть на цифрах 0-8 и попросили определить, к какому классу относится 9. Максимально сложная сеть, которая классифицировала каждую цифру, как отдельный класс с задачей не справится (присвоит рандомный класс или ни какого вообще). Сеть попроще может выдасть, что это нечётное или кратно 3 или непростое.

Прямая аналогия этого примера: старый ботаник и молодой. Старый знает тысячи видов бабочек и может их всех распознать. Или старый инженер. Он знает 100 способов компоновки ракеты и может выбрать нужный, исходя из требуемой задачи. И тут попадается неизвестная науке бабочка, или требуется ракета для задач, для которых ракеты ранее не применялись. Старый ботаник будет, например, просто отрицать существование такой бабочки. Старый инженер будет утверждать, что с помощью ракеты поставленная задача не решается, т. к., цитата: «Никто в здравом уме не будет решать эту задачу таким способом — есть стандартные, ими и решайте и не морочьте мне голову.» Знакомо? =). Молодой же специалист пусть и не всегда, но всё же с хорошей долей вероятности сможет решить эту задачу.

Другой пример: Не из нейронных сетей. Задача регрессионного анализа и экстраполяции данных. Пусть есть две модели: максимально сложная, у которой число степеней свободы (неизвестных коэффициентов) равно числу экспериментальных точек, и вторая - простая линейная функция с двумя коэффициентами. Максимально сложная модель с нулевой погрешностью опишет все имеющиеся данные (график пройдёт через все точки), но не сможет предсказать ничего за пределами этих точек (график скорее всего либо задерётся сразу максимально вверх, либо максимально вниз - рандом). Линейная функция худо-бедно опишет имеющиеся точки и сможет хоть как-то предсказать, что будет происходить за пределами области измерений: хотя бы убывать или возрастать — покажет тренд.

Тут в дело вступает понятие бритвы Оккама: нам нужна максимально простая функция, подходящая под наши цели, но не проще того. Тут же и философия и практический подход: да, есть вероятность предсказать/сделать неправильно с использованием более простых методов, но она не 100%, да и усилий мы потратим меньше на разработку.

Что-то сильно унесло меня в другую степь. Вернусь к проблеме переобучения. Итак, есть две сети: простая и сложная. Какую выбрать?

Решение — адаптация! Нужна нейронная сеть, которая сама адаптируется под требуемый класс задач. Возможно что-то по аналогии с Adaptive MCMC – подстраивать сложность (увеличивать или уменьшать) в зависимости от текущего состояния проблемы (по факту, как детально мы хотим описать рельеф функции ошибок). А возможно что-то, как в уже проскакивавшем примере самоадаптирущейся нейронной сети для игры в Марио: начинаем с самой простой сети и усложняем (точнее даже, оно само усложняется!), пока не сможем удовлетворительно решать поставленные задачи. Я так обычно пишу код, когда нужно быстро что-то сделать =) архитектура? Не не слышали — само вырастет!

Снова философский вопрос (пока без ответа). Где золотая середина? Самоадаптирующийся организм приспособится под задачи, но он не будет оптимальным! Задачи то он будет решать, но не обязательно оптимальным образом: долго и/или дорого (с большим потреблением энергии. Если адаптировать извне, то какие выбрать параметры и критерии для адаптации (а ведь они нужны!). Тоже сделать адаптивыми? И далее по кругу?

Сделать самоадаптирующийся алгоритм для оптимизации первого? 0_о Это вообще сможет сработать? Всё-таки оптимизация какого-то процедурного или функционального алгоритма — это одно, а нейронная сеть — это немного другое в силу сложности восприятия для интеллекта человека.

Судя по всему, природа пошла по пути самоадаптации. Это работает, но работает через ж. Человек, как швейцарский нож, может решить все стоящие перед ним задачи, но далеко не самым оптимальным образом.

Стоит ли нам не рыпаться и продолжать движение в том же направлении, или можно будет всё-таки найти эффективное лекарство от Проклятия Размерности (то, из-за чего необходимость адаптации и проблема переобучения вообще существует)? Тогда можно было бы, например, создать идеального человека, свободного от «вирусного мусора» в ДНК, с идеально оптимизированной структурой памяти и коры головного мозга, итд. Нужно ли вообще это лекарство и идеальная оптимизация? У меня ответов нет. Может только у меня?

Вообще нейронные сети так быстро развиваются. Может через пару-тройку-десяток лет они сами ответят мне на это вопрос? О_о

В большинстве случаев человеческое сознание линейно или в крайнем случае двумерно. Что это значит?

Это значит, что человек способен нормально воспринимать или "видеть" мысль только если в ней логические блоки идут один за другим. Т.е. если имеется т.н. логическая цепочка. Причём, что важно, для гладкого приёма информации каждое последующее звено должно быть логически связано с предыдущим (вспомним уроки Русской речи в 5 классе, а заодно и любые курсы по грамотной речи и письму).

Если же начинаются ветвления этой цепочки (или вставки в скобках, например, как эта), то многие уже начинают путаться.

Ну а если это не цепочка, а, например, двумерный граф, тогда такую логическую конструкцию уже практически невозможно описать словами и так же невозможно быстро эту информацию воспринять.

Получается, что интерфейс между сознанием и внешним миром похож на машину Тьюринга или и того проще - на магнитную головку от ленточного магнитофона: мы можем воспринимать только детерминированную последовательность блоков-комманд-объяснений, где каждый последующий блок связан с предыдущим. В противном случае слушатель/читатель начинает тормозить, "тупить" и теряться, ведь ему требуется значительное время чтобы обработать кусок информации, логически не связанный с предыдущим куском, чтобы найти ему место в общей картине, как паззлу.

Думается, что в зависимости от интеллекта и опыта человека, размер и сложность единичных  блоков может быть разным: кто-то сможет сразу понять и представить синхрофазотрон или свидетеля из Фрязино, а кому-то придётся объяснять, что это такое отдельно.

То же самое и с выдачей информации. Человек не может выдать всю картину сразу. Ему придётся _последовательно_ излагать каждый блок и устанавливать связи между блоками.

В зависимости от опыта и умения человека он может выстроить максимально длинную цепочку и потом дополнить её недостающими ответвлениями и связями, или же может начать хаотично объяснять разные места и потом пытаться описать связи между ними.

Последний вариант, по идее, встречается чаще всего в силу природы устройства памяти и мозга человека: мозг всегда обрабатывает всю информацию, как единое целое, даже ту, которую вы не помните/знаете явно, но которая сидит у вас в подсознании (на 2-ом или 3-ем уровне - привет, Юнг =) ).

Этим, кстати, легко можно объяснить интуицию, только настоящую, а не просто рандомную генерацию ответов с аргументом "мне так кажется".

Мозг обрабатывает информацию целиком, а вот передаётся она в большинстве случаев только последовательно: речь, текст. И в этом огромная проблема: т.к. два раза происходит конверсия информации, сначала развёртка из целого в ленту, потом снова свёртка из ленты/потока в целостную картину, то высока вероятность возникновения неточностей на каждом из этих двух этапов. Может получиться самый настоящий испорченный телефон: один не совсем точно сформулировал свою мысль, второй не совсем так услышанное трактовал. В итоге картина, возникшая в мозгу у второго может быть диаметрально противоположной той, что изначально была в мозгу первого.

Вторая проблема мозга: малый буфер памяти, которая приводит к тому, что даже последовательно и логически правильно изложенная информация, но идущая одним блоком в одном предложении со множеством различных конструкций и связующих звеньев, типа "который", которые приводят к тому, что люди, которые читают данное предложение запутываются в словах, забывают начало предложения и вынуждены перечитывать его сначала вновь и вновь, пока мысль целиком не поместится в долговременную память, становится очень трудной для восприятия.

А при разговоре это приводит к тому, что говорящий сам сбивается и вынужден переформулировать мысль снова и снова, пока не сможет выразить её целиком.

В случае двумерной и иногда трёхмерной логической конструкции (хотя по факту любая сколь угодно сложная логическая конструкция может быть представлена в виде графа, описываемого двумерной матрицей) на помощь приёму-передаче может прийти графическое изображение, типа блок-схемы или всё того же графа. Изображение может быть нарисовано на бумаге, напечатано, построено на компьютере - как угодно. Так можно гораздо быстрее передать и воспринять сложную информацию.

Воистину, поговорка "Лучше один раз увидеть, чем 100 раз услышать" как раз про это.

Проблема с приёмом-передачей информации была всегда и всегда порождала недопонимание, но есть ещё одна глобальная проблема, которая становится всё более и более актуальной. Это усложнение информации нас окружающей, которой необходимо обмениваться и обрабатывать.

Уже во многих областях жизни человек не способен в принципе не то что самостоятельно обработать информацию, но даже уже и не знает самих методов обработки информации, т.к. забыл их.

Пример: бухгалтер и налоги за год: жмёт кнопочку в Экселе или 1С, но формул и нормативов уже не помнит, а ещё хуже - никогда и не знал, т.к. сразу выучился жать кнопочку в Экселе.

Другой пример: сложные инженерные расчёты. Новые специалисты учатся сразу использовать специализированные программы, но не знают реальной теории, стоящей за всеми этими расчётами, т.к. они её никогда толком и не учили, а учили только, куда тыкать мышкой в программе.

Это в какой-то мере оправдано, т.к. на то, чтобы изучить и понять всю теорию могут уйти годы, десятилетия, а решать насущные проблемы нужно уже сейчас.

Таким образом, фактически, человек - уже сейчас - это кибернетический организм, синтез живой нейронной сети и машинной логики. Только машина пока находится снаружи и взаимодействие с ней производится через стандартные интерфейсы (зрение, пальцы).

И это ещё даже без упоминания о зависимости человека от современной медицины, прививок, лекарств, механизмов для физической работы, итд.

Развитие искусственного интеллекта прогрессирует достаточно хорошо и он сразу же ставится на службу в помощь человеку. В качестве примеров можно привести поисковые движки, автомобильный автопилот, онлайн роботы-юристы, различные системы диагностирования болезней. Все эти вещи работают на основе нейронных сетей, т.е. удовлетворяют определению "интеллекта".

В дальнейшем все эти системы будут всё более и более развиты, заменяя таким образом часть функций мозга с неизбежным атрофированием их у последнего.

Человек разучится водить машину - за него это будет делать автопилот, нужно будет лишь уметь нажать, куда ехать.

Профессия врачей-диагностов и вообще все врачи-специалисты неизбежно исчезнут.

(Профессия врачей-хирургов исчезнет по немного другой причине - благодаря прогрессу в робототехнике. Робот всяко сделает операцию лучше, чем любой сколь угодно опытный врач, по аналогии, как хороший станок с ЧПУ значительно превосходит любого высококлассного токаря)

Обязательно в какой-то момент сложность информации станет такой, что справиться с ней сможет только лишь искусственный интеллект. Что произойдёт с человеком после этой точки - сложно предугадать.

Возможно это станет симбиоз органики и компьютера, где органическому мозгу будет отведена роль генерирования новой информации (т.е. творчества), а электронная часть будет заниматься её обработкой. Типа, подумал человек, что неплохо было бы построить мост через реку, представил его в своём воображении, а компьютер с интеллектом уже сам просчитал оптимальную конструкцию с учётом задуманного дизайна, составил логистические цепочки подвоза материалов и выдал указания роботам строителям. Роботы-строители в свою очередь этот мост построили.

Возможно, что со временем разум полностью переедет в компьютеры, т.к. физические границы возможностей компьютеров пока кажутся огромными, а вот физические границы человеческого мозга уже достигнуты и без генной инженерии и/или другого активного вмешательства их не раздвинуть.

Вот как-то так.