Я попытался вытянуть максимум возможного с моей стороны. Самый сложный проект из всего что делал. Ютуб сразу глобально забанил возможность показа, поэтому пришлось заливать в VK
нейросетевой upscale. ссылка на 4к источник https://drive.google.com/file/d/1vYOYyCjeETNztFkv7Zl2YlWn1tc...
В сериалах и фильмах про полицию часто показывают, как из видео и фотографий низкого качества удаётся получить детальное изображение человека или номерного знака автомобиля. Неизвестно, были ли в руках у спецслужб такие технологии ранее, но с появлением нейросетей это стало реальностью. Исследователи из Калифорнийского университета в Сан-Диего и NVIDIA наглядно продемонстрировали работу такого алгоритма.
Разработанная нейросеть умеет кодировать растровое изображение сверхнизкого разрешения во вполне качественную картинку. В отличие от уже существующих алгоритмов, способных повышать разрешение, новый алгоритм способен работать не только с фиксированным разрешением, но и с разными масштабами без чётких ограничений по разрешению.
Одним из главных достижений разработчиков стало то, что для улучшения качества исходного изображения нейросеть анализирует и описывает не всю картину целиком, а разные её фрагменты. Указывается, что при получении координат определённого места на изображении соответствующая локальная функция использует кодированное представление признаков на окружающей области и воссоздаёт предполагаемые пиксели. В результате это позволяет рендерить изображение произвольного разрешения.
Примеры работы нейросети представлены в видео:
Для обучения нейросети использовался датасет DIV2K, состоящий из тысячи фотографий в разрешении 2K и уменьшенных в два, три и четыре раза версий. Перед алгоритмом стояла задача сначала уменьшить разрешение изображения, а затем вернуть его в исходное, полностью восстановив оригинал.
Источник- https://4pda.ru/2020/12/22/379814/?utm_referrer=https://zen.yandex.com&utm_campaign=dbrДароу \ (•◡•) /
Уже обычная история - я, десяток кружек чая и отопление комнаты видеокартой.
В преддверии нового года хочу порадовать всех любителей этого мульта :D
непережатый ютубом источник https://drive.google.com/file/d/1igJ63NO8lAzzxPyrwIo8x_z-FcQ...
Представляем заключительную лекцию из курса по нейронным сетям от 3blue1brown. В этой лекции речь пойдет о формулах обратного распространения. Одной из важных тем, которая позволит разобраться с основными моментами дифференцирования сложных функций в контексте сетей.
https://www.youtube.com/watch?v=rP_k8cpsNWY&featu..
Благодарим за создание выпуска:
Переводчика – Федора Труфанова;
Редактора – Михаила Коротеева;
Диктора – Никифора Стасова;
Монтажера – Олега Жданова
Нет, это не безделушка из серии «муха в янтаре». Группе учёных из университета Висконсина, Массачусетского технологического и Колумбийского университетов удалось реализовать искусственную нейронную сеть, распознающую цифры, в виде микроскопической стеклянной пластинки. Для работы ей не требуется ни электропитание, ни подключение к каким-либо другим устройствам — фактически это автономный аналоговый компьютер, который будет работать до тех пор, пока сохраняется его целостность.
Искусственные нейросети состоят из множества синтетических нейронов, которые активируются, если совокупная величина сигналов на их входах превышает некое пороговое значение. Нейроны соединены между собой связями, имеющими определённые весовые коэффициенты (т. е. вклад одних сигналов в срабатывание функции активации — больше, а других — меньше).
Чтобы создать аналогичную структуру в стекле, в него добавили инородные включения — частицы графена и пузырьки воздуха. Расположение и форма этих включений эквивалентны функциям активации и весовым коэффициентам связей. Так, графен — материал с нелинейными оптическими свойствами — начинает пропускать свет только после того, как его интенсивность достигает определённой величины, а до этого остаётся непрозрачным.
Нейросеть изначально была обучена на компьютере и лишь затем воплощена в стекле. Но учёные отмечают, что есть технологии, позволяющие реализовать обучение прямо на месте, за счёт использования оптических материалов с изменяемыми свойствами.
Для подачи на вход нейросети двухмерное изображение рукописной цифры размером 20 × 20 пикселей заменяют на одномерное (фактически колонки пикселей выстраивают в линию). Включения в стекле преобразуют фронт световой волны таким образом, что энергия концентрируется в одной из десяти областей, соответствующих цифрам.
Нейросеть, обученная на пяти тысячах изображений, корректно распознаёт цифры в 79 случаях из 100. Авторы статьи утверждают, что могли бы добиться лучшего результата, если бы не ограничения, связанные с процессом изготовления стекла.
Физический размер пластинки — 80λ на 20λ, где λ — длина волны света, используемой для представления информации. Теоретически на распространение волны может влиять каждый атом, хотя на практике вряд ли удастся использовать включения размером меньше 10 нм. Но даже при таком масштабе потенциальное количество весов превышает 10 миллиардов на квадратный миллиметр.
Учёные предполагают, что быстрые и миниатюрные нейросетевые вычислители, которым для работы достаточно света, могут быть использованы в «широком спектре информационных устройств». Учитывая, что исследование финансировалось DARPA, нельзя исключать и военное применение технологии.
P. S. Это экспериментальный пост. Я работаю научным консультантом в Политехническом музее, и в мои обязанности входит изучение научных новостей в своей области (компьютерные технологии). По итогам я выбираю наиболее любопытную новость и делаю короткий доклад на внутримузейном научном семинаре. Этот пост был создан на основе одного из таких докладов. Если затея вам понравится, я буду периодически публиковать интересные новости из мира IT (а может, и не только).
Мы группа самоорганизованных студентов медицинского ВУЗа из Ижевска создали нейросеть, способную ставить диагнозы основываясь на жалобах и показателях крови.
Из – за невозможности публиковать свою работу в научных журналах по неким причинам, мы оформили ее в свободный доступ.
Работу прочесть можно тут: https://vk.com/club4552712?w=wall-4552712_1658
Нейросеть основана на огромном количестве структурированных медицинских знаний.
Мы написали нейросеть методом обратного распространения используя сигмоидную функцию активации. Создав свыше 25 млн клинических случаев по учебникам получили данные, которые можно включить взаимосвязь и применить различные математические методы: выделить среднее арифметическое, метод достоверности, узнать моду и проверять значения посредством теории вероятности.
Вручную мы создали свыше 20 тыс. данных создав зависимость между 986 жалобами и 22 классами заболеваний.
Для чего мы сделали это?
Врачам требуется учитывать много факторов при постановке диагноза и еще больше, когда попадаются сложные случаи. Хотим чтоб каждый человек получил качественную диагностику, которая поможет ему улучшить качество его жизни.
Результаты работы нейросети вы можете узнать в документе
Будем очень благодарны если вы оставите отзыв, поддержите нас и расскажете об этом вашим друзьям/знакомым.
Нам требуются любая помощь, так что если вы хотите помочь в создании и развитии проекта и заняты в области медицины/программировании пишите на почту с пометкой: “Желаю в проект”. Обучим, научим, объясним. med-itproject@yandex.ru
Мы занимаемся разработкой экзоскелета кисти с биологической обратной связью для реабилитации детей с синдромом ДЦП. А точнее, пытаемся обучить нейросеть распознавать сигналы мозга для управления экзокистью.
Хочу рассказать, с чего началось и как продвигается наше исследование.
Несколько месяцев назад мы начали подготовку данных - сняли около 1000 энцефалограмм, которые содержат признаки, характерные для мысленного представления определенных движений кистью. Всего планируем снять 2000 ЭЭГ, но уже сейчас у нас достаточно данных для начала работы.
Следующий этап - установка видеокарты GeForce RTX 3090 c GDDR6 24Гб. Она позволяет обрабатывать большие обучающие выборки благодаря наличию большого объема памяти и использованию технологии CUDA. Но в новизне видеокарты скрывались подводные камни, которые я не без труда, но с успехом преодолел.
Видеокарта «взлетела» не сразу. Для начала стало ясно, что она не помещается ни в один из имеющихся в наличии корпусов. Был приобретен новый корпус Full Tower и отдельно блок питания на 750Вт. При попытке задействовать возможности CUDA в обучении нейронных сетей возникла следующая проблема – видеокарта слишком новая, фреймворки и библиотеки для искусственного интеллекта (DeepLearning4j, Theano, TensorFlow) её еще не поддерживают. Выход – скачать исходники фреймворков для ИИ и самостоятельно перекомпилировать их для поддержки видеокарты. Однако в процессе оказалось, что эти фреймворки ускоряются не только за счет ресурсов видеокарты, но и требуют поддержки современных инструкций процессора. Был приобретен современный процессор Inter Core I7-10700K с поддержкой AVX, AVX2 команд – , вместе с новой материнской платой и 32 Гб DDR4.
И вот наконец GeForce RTX 3090 смогла продемонстрировать свои возможности!
На первом графике видно, как задействуется память видеокарты и ресурсы GPU при обучении Convolution 1D — сверточной одномерной сети, обрабатывающей временные ряды — данные исследований ЭЭГ. Ранее обучение нейронной сети на этом датасете занимало около 4 часов. На новой видеокарте — порядка 3-4 секунд.
А вот задача посложнее: LSTM — рекуррентная сеть с долгой краткосрочной памятью. Те же данные считаются дольше — около 2 минут, и нагрузка на GPU выше:
Видеокарта решает! Раньше при внесении даже небольших изменений в конфигурацию сети, приходилось ждать несколько часов, чтобы понять, каким образом внесенные изменения отобразились на качестве распознавания признаков нейронной сетью. Теперь эта задача существенно облегчается.
Таким образом, видеокарту удалось запустить в Keras, используя только что вышедшее обновление TensorFlow в версии для GPU.
Однако эти решения используют Python, который при всех его положительных качествах (возможность быстрого прототипирования нейронных сетей, развитые библиотеки для работы с данными, простота и скорость разработки приложений) плохо подходит для многопоточных задач, когда в пределах одного приложения надо получать данные с устройства в реальном масштабе времени, обрабатывать их, подавать на вход ИНС, сохранять в файл, управлять внешними устройствами, рисовать данные на экране и т.д.
Поэтому необходимо было получить возможность работать с ИНС в Java-приложениях, но с этим из-за использования слишком нового железа возникли трудности. Описанными в мануалах способами GPU никак не хотел подключаться, и решения на тематических форумах на сайте разработчиков и GitHub не было, а те рецепты решения проблемы, которые советовали разработчики, не помогали.
Возникло понимание, что причина проблемы - в несовместимости ряда библиотек, компонентов фреймворка, с новыми библиотеками CUDA от NVIDIA.
Пришлось скачивать исходники и пытаться собирать библиотеки под необходимые платформы: CUDA 11.* и CuDNN 8.*, что оказалось нетривиальной задачей: имелось несколько тысяч файлов и масса условий окружения для нормальной сборки, а мануалы описывали сборки устаревших версий и не работали с новыми.
Кроме того, в исходных кодах возникали некоторые ошибки компиляции, одинаковые как для компиляции из Windows 10 (VS2019), так и из Ubuntu (gcc).
Удалось скомпилировать, после правки исходных кодов, часть зависимых библиотек проекта - libnd4j, а затем уже с ними библиотеку nd4j-cuda-11.1.
Ранее поддержка проекта рекомендовала использовать snapshots - версии библиотек из специального репозитория:
«we’ll be releasing a version with 11.0 in a bit, for now you can use snapshots and see if that works? https://deeplearning4j.konduit.ai/config/config-snapshots»
Однако, как оказалось, часть необходимых для работы файлов там отсутствовала, и рекомендация не помогла.
https://oss.sonatype.org/service/local/artifact/maven/redire...
404 — Not Found
Path /org/nd4j/nd4j-cuda-11.0/1.0.0-SNAPSHOT/nd4j-cuda-11.0-1.0.0-20201117.023522-181-windows-x86_64.jar not found in local storage of repository «Snapshots» [id=snapshots]
Что и обусловило компиляцию недостающих файлов. К счастью, версия deeplearniung4j для 11.0 версии CUDA импортировалась, и, добавив в проект в виде отдельных jar и dll файлов скомпилированные библиотеки, удалось запустить приложение на видеокарте!
Часть POM файла работоспособного проекта:
Скомпилированные библиотеки добавлены в зависимости вручную:
В данном случае - обучение на сравнительном не большом объеме данных заняло 42 минуты 37 секунд, на CPU эта же задача выполнялась более 2500 минут при полной загрузке процессора.
Вот так я сам добавил поддержку современных видеокарт в Deeplearniung4j, чтобы не дожидаться, пока это сделают разработчики.
Спасибо за внимание. Пока мы еще в начале пути, буду продолжать рассказывать о нашей работе!
Wang et al.
В то время как мир справедливо обеспокоен дипфейками и другими умными обработками видео и фото, одна форма обработки существует уже много лет, и это фотошоп. Все мы знаем, что журнальные фотографии часто удачно редактируются с помощью Photoshop или другого программного обеспечения для обработки изображений. В исследовании, опубликованном на сервисе препринтов arXiv, группа исследователей представила алгоритм искусственного интеллекта, способный обнаруживать искажения изображения на человеческих лицах – вероятно, наиболее распространенную обработку в Instagram. Алгоритм также может предсказывать место редактирования и отменить эффект.
«Деформация лица – интересная проблема, поскольку это область, которую на удивление трудно обнаружить людям, но она широко используется и имеет далеко идущие последствия», – пишут исследователи в своем исследовании.
Тема действительно популярна, поиск по запросу в Google «Instagram обработка изображений» имеет более 20 миллионов результатов(на англ), а хэштег #photomanipulation содержит более 2 миллионов публикаций. Исследователи также показали, что люди на удивление плохо обнаруживают этот тип обработки фото: в исследовании, представленном в статье, люди были правы только в 53,5% случаев – лишь немногим лучше, чем подбрасывание монеты.
Поэтому на помощь приходит новый алгоритм. Пока что он работает только с одним типом манипуляции – с деформацией, но исследователи говорят, что он может быть адаптирован для нескольких типов обработки – как это всегда бывает с этими алгоритмами машинного обучения, все зависит от того, как алгоритм обучается. Кстати, данная ИНС лежит в открытом доступе на GitHub.
Видео с описанием техники обнаружения.
Источник: 4everScience
P.S если вам интересны новости про искусственный интеллект, можете глянуть нашу краткую подборку недавних достижений в этой области:
Перевод: Vert Dider
Исследователи MIT обнаружили, что инфицированных, даже бессимптомных, можно определить по звуку кашля, записанного на смартфон. Асиптоматичные пациенты проявляются менее очевидно: нервно–мышечная деградация ослабляет голосовые связки и межреберные мышцы и диафрагму, ответственные за дыхание. Человеческое ухо разницы не замечает, но искуственный интеллект способен различить ее.
Ученые собрали 200 тысяч сэмплов от 70 тысяч людей через вебсайт, где любой мог загрузить звук своего кашля. Из них 2500 сэмплов было от больных ковидом. На тестовых данных модель правильно идентифицировала 98.5% людей с COVID, и 100% из них асимптоматичных.
Ранее этот метод использовался для диагностики пневмонии и болезни Альцгеймера.
Мой комментарий: это изобретение если будет доведено до реализации может сильно изменить распространение вируса. Достаточно заставить людей кашлять в микрофон при входе в магазины, метро, рестораны, работу, и вы сразу отсеиваете 98.5% ковидных.
Вин Дизель ответил на вопросы пикабушников. Видео и текстовая версия интервью лежат на отдельной странице, а авторы лучших вопросов уже получили награды в профиль на память!
