5710

Нейросеть, застывшая в стекле

Нет, это не безделушка из серии «муха в янтаре». Группе учёных из университета Висконсина, Массачусетского технологического и Колумбийского университетов удалось реализовать искусственную нейронную сеть, распознающую цифры, в виде микроскопической стеклянной пластинки. Для работы ей не требуется ни электропитание, ни подключение к каким-либо другим устройствам — фактически это автономный аналоговый компьютер, который будет работать до тех пор, пока сохраняется его целостность.

Искусственные нейросети состоят из множества синтетических нейронов, которые активируются, если совокупная величина сигналов на их входах превышает некое пороговое значение. Нейроны соединены между собой связями, имеющими определённые весовые коэффициенты (т. е. вклад одних сигналов в срабатывание функции активации — больше, а других — меньше).


Чтобы создать аналогичную структуру в стекле, в него добавили инородные включения — частицы графена и пузырьки воздуха. Расположение и форма этих включений эквивалентны функциям активации и весовым коэффициентам связей. Так, графен — материал с нелинейными оптическими свойствами — начинает пропускать свет только после того, как его интенсивность достигает определённой величины, а до этого остаётся непрозрачным.

Нейросеть изначально была обучена на компьютере и лишь затем воплощена в стекле. Но учёные отмечают, что есть технологии, позволяющие реализовать обучение прямо на месте, за счёт использования оптических материалов с изменяемыми свойствами.


Для подачи на вход нейросети двухмерное изображение рукописной цифры размером 20 × 20 пикселей заменяют на одномерное (фактически колонки пикселей выстраивают в линию). Включения в стекле преобразуют фронт световой волны таким образом, что энергия концентрируется в одной из десяти областей, соответствующих цифрам.


Нейросеть, обученная на пяти тысячах изображений, корректно распознаёт цифры в 79 случаях из 100. Авторы статьи утверждают, что могли бы добиться лучшего результата, если бы не ограничения, связанные с процессом изготовления стекла.

Физический размер пластинки — 80λ на 20λ, где λ — длина волны света, используемой для представления информации. Теоретически на распространение волны может влиять каждый атом, хотя на практике вряд ли удастся использовать включения размером меньше 10 нм. Но даже при таком масштабе потенциальное количество весов превышает 10 миллиардов на квадратный миллиметр.


Учёные предполагают, что быстрые и миниатюрные нейросетевые вычислители, которым для работы достаточно света, могут быть использованы в «широком спектре информационных устройств». Учитывая, что исследование финансировалось DARPA, нельзя исключать и военное применение технологии.


Источник


P. S. Это экспериментальный пост. Я работаю научным консультантом в Политехническом музее, и в мои обязанности входит изучение научных новостей в своей области (компьютерные технологии). По итогам я выбираю наиболее любопытную новость и делаю короткий доклад на внутримузейном научном семинаре. Этот пост был создан на основе одного из таких докладов. Если затея вам понравится, я буду периодически публиковать интересные новости из мира IT (а может, и не только).

Искусственный интеллект

4.9K поста11.4K подписчиков

Правила сообщества

ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Вы смотрите срез комментариев. Показать все
2
Автор поста оценил этот комментарий
Блин, реально прикольная технология. Нейросеть, работающая со скоростью света. В принципе, и на компьютере нейронки после обучения работают довольно быстро, но чтобы вот так моментально - офигеть!

Тест с докладом считаю успешным. Продолжайте!
раскрыть ветку (15)
0
Автор поста оценил этот комментарий

А скорость света и не такая большая. Электронные устройства могут на 10 ГГц работать, если не экономить энергию, свет за это время 3 см пройдет. В принципе последовательно установленные ключи на микросхеме могут выдать ответ за сравнимое время.

А вот мы, динозавры из мяса, свою нейросеть запускаем на не 10 ГГц, а на 10 Гц, в миллиард раз медленней.

раскрыть ветку (14)
1
Автор поста оценил этот комментарий

Но ведь мозг - это аналоговое устройство, к нему неприменима частота. Да и ритмы мозга являются следствием его работы, а не причиной - который задавали бы ему тактовую частоту.

раскрыть ветку (9)
1
Автор поста оценил этот комментарий

На глазок скорость принятия быстрых решений и есть с задержкой около 100 мс, то что на уровне рефлексов, скорее всего это и есть тактовая частота для синхронизации данных. И само наличие ритмов признак синхронизации чего-то с чем-то, памяти и логики, например.

https://habr.com/ru/company/audiomania/blog/521690/

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Хм, может вы и правы...

0
Автор поста оценил этот комментарий

Вот это вы сейчас меня как громом поразили. Это с чего же вдруг к аналоговым устройствам неприменима частота? Возьмите радиоприёмник — устройство аналоговое по самое не могу. Скажете, что к нему частота неприменима? )

раскрыть ветку (6)
0
Автор поста оценил этот комментарий

Частота сигнала в приёмнике - это другое. А я говорю про тактовую частоту вычислений. В нейронах мозга она ограничена "инертностью" - скоростью протекания химреакций, которые участвуют в передаче сигналов.

раскрыть ветку (5)
0
Автор поста оценил этот комментарий

Я человек простой. Вижу утверждение «к аналоговым устройствам неприменима частота» — выпадаю в осадок) Это уже потом начинаются объяснения, «шо конкретно ты имела в виду».
Строго говоря, и комментатор выше нигде не говорил, что эта условная частота 10 Гц — тактовая. Вот возбуждается какой-нибудь нейрон в среднем 10 раз в секунду вследствие тех самых реакций — ну и вполне допустимо говорить, что он срабатывает с частотой 10 Гц.

раскрыть ветку (3)
Автор поста оценил этот комментарий

"имел ввиду", а не "имела"!

Я - он! Я с утра проверял!

раскрыть ветку (2)
0
Автор поста оценил этот комментарий

Верю, верю! Доказательства можно не предъявлять.
Это же цитата(

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

/застегивая ширинку/

Эх, а я так надеялся...

0
Автор поста оценил этот комментарий

В нейронах мозга она ограничена "инертностью" - скоростью протекания химреакций, которые участвуют в передаче сигналов.

Так мозг без синхронизации просто скатится в эпилептический припадок ))

0
Автор поста оценил этот комментарий
У нас элементов нейросети чуть побольше и сами элементы чуть получше устроены.
раскрыть ветку (3)
0
Автор поста оценил этот комментарий

Ничего впечатляющего. 10 миллиардов нейронов, большая часть в резерве или вспомогательая, тупо передает данные по нервам. Устроены, конечно, похуже, так как электронные имеют виртуальные связи между собой, что изменяются за наносекунду, а у человека при обученнии связи растут годами. Все процессы в миллиарды раз медленней. Объем данных нейросети человека 10-100 мегабайт, всё в виде расплывчатых образов. Вообще ни о чем, ни по объему, ни по скорости.

И по надежности ни в какое сравнение не идут

https://ru.wikipedia.org/wiki/Список_когнитивных_искажений

После ряда самоубийств пилотов с пассажирами, в самолетах даже пилотам прав меньше дали, самолетами теперь управляют компьютеры, а пилоты штурвалом просто рекомендации дают, которые компьютеры могут и отклонить.

Достоинства в стиле "теплого лампового звука", кто хочет, тот в это верит.

раскрыть ветку (2)
0
Автор поста оценил этот комментарий

Ну нет, с этим уже я согласиться не могу. Хоть я и не специалист по мозгу, но даже моих знаний хватает, чтобы понять, что это — смесь устаревших представлений 70-летней давности и просто неверных утверждений.

С количеством нейронов вы почти на порядок ошиблись, по современным данным их в среднем 86 млрд. То, что большая часть нейронов «в резерве и вспомогательная» — так учёные уже давно не считают. Связи в искусственных нейросетях тоже не за наносекунду меняются, столько могут занимать разве что самые последние результирующие стадии. А вообще на обучение довольно сложных нейросетей даже на мощном современном железе могут уходить недели. И у человека вовсе не обязательно такие связи годами выстраиваются. Для некоторых хватает времени ночного сна, а самые маленькие шипики и вовсе за секунду могут образоваться. Про 10–100 МБ — тоже величина крайне сомнительная. Как это было подсчитано? Разве что человек в символьном виде столько информации может выдать. А так-то при наличии 86 млрд нейронов, да тысяч синапсов у каждого, да разных связей между ними... На одно только описание мгновенного снимка коннектома уйдут петабайты.

Ну а уж утверждать, будто искусственные системы не подвержены искажениям, вообще смешно. Весь интернет в примерах того, как на ровном месте спотыкаются даже хорошо обученные нейросети. Например, если добавить во входную информацию едва заметный шум.

В общем, конда музей откроется, приходите на экспозицию по мозгу, точно узнаете много интересного)

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Весь человеческий мозг содержит 86 миллиардов нейронов; примерно 16 миллиардов нейронов находятся в коре больших полушарий

За разум отвечает 16 миллиардов, остальные за кишки всякие, координацию, дыхание. Резерв тоже присутствует, даже при поражении целых отделов мозга, оставшиеся участки берут на себя недостающие функции, не гении конечно, но сознание остается.

Смотрите статью

Мужчина, который живёт без 90% мозга, озадачил учёных

https://habr.com/ru/post/395965/

А вообще на обучение довольно сложных нейросетей даже на мощном современном железе могут уходить недели

Так и обучение это не способность отличать собаку от кошки, а переработка эпических объемов информации. Например нейросеть в игру Го долго обучалась играть, но результат повторение и совершенствование игровой стратегии что люди тысячи лет вырабатывали, новый стиль игры, красивый по своему.

Или человек своей нейросетью, одна из самых сильных сторон причем, может распознать пусть 1000 лиц, а китайская система распознавания различает миллиард китайцев, с точностью достаточной для проведения платежей (а не так как мы, год не видели и уже забыли Вася это или Петя или похож просто).

Про 10–100 МБ — тоже величина крайне сомнительная. Как это было подсчитано? Разве что человек в символьном виде столько информации может выдать

В любом виде человек хранит мизер сжатой информации. Попробуйте рисунок на ладонях вспомнить, который видели тысячи раз, нет его в памяти. Или где были 7 дней назад в некоторое время. Или марку и номер машины что во дворе стояла, тоже нет информации, а при попытки вспомнить она будет придумана.

Вот тут про глюки памяти

https://habr.com/ru/company/spbifmo/blog/459082/

Воспоминания можно не только позаимствовать, но и придумать — это так называемая ложная память. В этом случае человек абсолютно уверен, что правильно запомнил то или иное событие — обычно это касается мелких деталей, нюансов или отдельных фактов. Например вы можете уверенно «припоминать» как ваш новый знакомый представлялся Сергеем, в то время как на самом деле его зовут Стас. Или «абсолютно точно помнить» как положили в сумку зонт (а вообще-то хотели положить, но отвлеклись).

Иногда ложная память может быть не такой уж безобидной: одно дело — «припомнить», что забыл покормить кота, а другое — убедить себя в том, что совершил преступление, и сконструировать детальные «воспоминания» о произошедшем. Исследованием такого рода воспоминаний занимается группа ученых из Бедфордширского университета в Англии.

Глюк на глюке. То память не помнит что было, то помнит чего не было.

На одно только описание мгновенного снимка коннектома уйдут петабайты.

Это шум не имеющий значения. Снимите вы этот снимок, а через день половина соединений будут не актуальны.

Все равно что для повторения кирпича брать не размеры x, y, z, а расположение каждого атома. Вместо 3 байт будет 1071*10^22 атомов. Но не нужно столько. От кирпича нужны только размеры. От человека набор образов, что поместятся на древнем CD диске с запасом.

Попробуйте сами проверить детские или давние воспоминания о местности и сравнить с гуглокартами, воспоминания весьма условные, самый минимум чтобы сориентироваться на местности, все детали теряются начисто. Детализация такое впечатления что 50*50 пикселей, там то ли 5-этажка, то ли сарай, а там то ли яма, то ли овраг. А там дорога километра 2, но может и 5. Целые пласты воспоминаний могут быть уложены в несколько образов, по впечатлениям это килобайты данных (причем искаженных, часто придуманных), ни каких петабайт.

Или хороший пример книга, файлик типа "Война и мир" 0.7 мегабайта, а в нем целые жизни по сути описаны. И информации там больше, чем может рассказать о себе средний человек. Типа учился в школе, там пару раз дрался и разбил окно, потом в армии, потом работа, в 8 утра встал, в 8 вечера дома, потом пенсия и огурцы на даче. Вся жизнь, все воспоминания, вся личность в 0.1 мегабайте текстовых данных (это еще без сжатия). И хорошо когда есть такая автобиография, думаю большинство пенсионеров целые года жизни потеряет начисто.

Ну и пример что нет петабайтов, ни вы ни я не запомним ключ типа 88898987873, или не сможем вычислить в уме 111*222, это считается просто, но мы будем тупить несколько минут. Как-то слабовато для петабайтного супер компьютера. А для нейросети что экономит каждый килобайт памяти да, логично, в памяти ничего лишнего, ни в оперативной, ни в долговременной. Только то что нужно для выживания.

Весь интернет в примерах того, как на ровном месте спотыкаются даже хорошо обученные нейросети

Значит плохо обучены. Это вначале нейросети обманывали рисунком на лице, чтобы не распознавали. Сейчас вычисляют по росту, походке, все вместе факторы уже сложно подделать. Думаю разработчики уже думают как выделять тех кто подделывает признаки, было бы желание обучить нейросеть.

Странно только что нейросеть не обучили на самосознание. Локально задачи решают, а перейти на более высокий уровень абстракции не получается. Правда и люди не все осознают что происходит и себя в этом мире, так что не удивительно.

Может просто времени не хватило, обучать в виртуальном мире заготовки нейросетей и ждать пока научится мыслить абстрактно. Тогда и наступит конец истории человечества.

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку