Сообщество - Машинное обучение

Машинное обучение

223 поста 3 387 подписчиков
29

Датасет Пикабу

Времени фиксить pikastat нет(да и, честно говоря, есть идеи проектов по-интереснее), поэтому выкладываю базу в паблик, чтоб люди могли пособирать интересную статистику и по-обучать интересные модели машинного обучения. Если кто обучит GPT-2/3, вообще цены не будет(я хотел сам, но ниасилил).


Качать тут -> https://pikastat.d3d.info/

Заливать в постгрес


Внутри 2'999'610 пользователей, 6'907'622 постов, 153'708'150 комментариев, всякие штуки типа сообществ и прочего, а также история всех полей с определённого момента. 


Если вдруг непонятно, какие столбцы за что отвечают, пишите, объясню)

67

Не так уж далеко от истины

Нейросеть обучили делать заголовки на российских новостях

"Две трети россиян не знают, что думают" - это прям 5+.

Не так уж далеко от истины Юмор, Нейронные сети, Новости, Длиннопост, Заголовки СМИ, Заголовок, Политика
Не так уж далеко от истины Юмор, Нейронные сети, Новости, Длиннопост, Заголовки СМИ, Заголовок, Политика
Не так уж далеко от истины Юмор, Нейронные сети, Новости, Длиннопост, Заголовки СМИ, Заголовок, Политика
Не так уж далеко от истины Юмор, Нейронные сети, Новости, Длиннопост, Заголовки СМИ, Заголовок, Политика
Не так уж далеко от истины Юмор, Нейронные сети, Новости, Длиннопост, Заголовки СМИ, Заголовок, Политика

Источник: телеграм-канал Московские новости.

Показать полностью 3
18

Можно ли GPU-расчёты на AMD ?

Решил наконец купить в домашний десктоп дискретную видеокарту. Играю крайне мало, зато хочу делать расчёты с GPU-ускорением. Считаю под Линухом на Питоне - Numpy, Scipy, Pandas. Планирую начать также играться в ML - всякий там Tensorflow, PyTorch, scikit-learn, Catboost и другие модные бренды. Не картинки, скорее всякие численные данные.


Поскольку я не настоящий красноглазик, а ленивый аналитик, сильно возиться с конфигурированием софта и костылянием не хотелось бы, а заниматься именно архитектурой расчетов.


Поскольку это не критичная штука, а я тот ещё еврей, то хочу взять с рук в Мск, бюджет 6-9 тыр. То есть получается либо GTX 1060-1070, либо RX 570-580. Причём Радеоны дешевше на 1-2 тыщи.


Итак, ВОПРОС: если я беру AMDшную видеокарту, замучаюсь ли я запускать на ней указанные выше фреймворки? На Nvidia+CUDA работает всё вплоть до утюгов и джаваскрипта. А что с поддержкой OpenCL, ROCm, или на чем работает AMDшное ускорение? Есть ли она из коробки, или можно ли её вкатить без танцев с бубном?


Прошу ответы от тех, кто действительно в курсе или пробовал. Ссылки на годные объяснения буду плюсовать люто, бешено, как положено кандидату наук.

Можно ли GPU-расчёты на AMD ? Сложный выбор, AMD, Nvidia, Машинное обучение, Видеокарта, Текст, Компьютерное железо
2716

Ave, Caesar, morituri te salutant

Октавиан Август

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Клавдий

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Нерон

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Калигула

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Тиберий

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Гальба

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Отон

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Авл Вителлий

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Веспасиан

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Тит

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Домициан

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Траян

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Адриан

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Антонин Пий

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Луций Вер

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Марк Аврелий

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Коммод

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Дидий Юлиан

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Гета

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности

Император Валериан I

Ave, Caesar, morituri te salutant Император, Древний Рим, Внешность, Нейронные сети, Photoshop, Бюст, Длиннопост, Реконструкция внешности
Показать полностью 18
335

Симулятор истребителя F-16 под управлением ИИ победил пилота ВВС США со счетом 5-0

Симулятор истребителя F-16 под управлением ИИ победил пилота ВВС США со счетом 5-0 Darpa, Искусственный интеллект, f-16, Истребитель, Авиасимулятор, Воздушный бой, Технологии, ВВС США, Видео

Военно-исследовательнский институт DARPA провел испытания применения искуственного интеллекта для управления истребителем, под названием Alpha Dogfight. Пилот ВВС США провел в авиасимуляторе истребителя F-16 пять воздушных боев против компьютера, и проиграл искуственному интеллекту все пять. В данной симуляции были задействованы только авиапушки, оставляя более сложные приемы (такие, как ракеты) для будущего.


В процессе обучения нейронная сеть провела 4 миллиарда симуляций. DARPA поздравили создавшую сеть компанию, стартап Heron Systems, которая также обошла подобные разработки более крупных компаний вроде Lockheed Martin.


Помимо интеграции искуственного интеллекта в боевые машины ВВС США для повышения их боеспособности, подобные симуляции также могут помочь тренировать человеческих пилотов. "Стандартные приемы воздушного боя, которые учат летчики-истребители, здесь не сработали", признал проигравший машине пилот. Но в последних раундах человек смог продержаться дольше.


Полное видео:

5068

Нейросеть Гугл.Брейн научилась создавать 3D модели достопримечательностей из тысяч фотографий туристов!

Видео без звука.

Отсюда - https://redd.it/i731rp

8164

Чудеса нейросетей

Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет

Решил применить маски нейросетей на рисунке и посмотреть что из этого выйдет, потратил около минут 30 результат честно удивил. Интересно посмотреть что у вас может получиться)

Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Чудеса нейросетей Нейронные сети, Цифровой рисунок, Faceapp, Длиннопост, Девушки, Портрет
Показать полностью 11
1728

Прокрутил фотку через Pantomime, помог Белле лучше сыграть в "Сумерках"

Увидел у @ProfessorDowlell сервис pantomime.it . Там можно загрузить фото себя, свой собаки и всех кого хочешь и заставить изображать самые популярные эмодзи. Подумал, что это точно поможет Белле из сумерек.

Прокрутил фотку через Pantomime, помог Белле лучше сыграть в "Сумерках" Сервис, Искусственный интеллект, Deepfake, Гифка, Кристен Стюарт, Эмоции, Нейронные сети, Актеры и актрисы
Прокрутил фотку через Pantomime, помог Белле лучше сыграть в "Сумерках" Сервис, Искусственный интеллект, Deepfake, Гифка, Кристен Стюарт, Эмоции, Нейронные сети, Актеры и актрисы
Прокрутил фотку через Pantomime, помог Белле лучше сыграть в "Сумерках" Сервис, Искусственный интеллект, Deepfake, Гифка, Кристен Стюарт, Эмоции, Нейронные сети, Актеры и актрисы
23

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть

Наверное, вы слышали про технологию Яндекса DeepHD, с помощью которой они как-то раз улучшили качество советских мультфильмов. Увы, в публичном доступе ее еще нет, а у нас, рядовых программистов, вряд ли найдутся силы написать свое решение. Но лично мне, как обладателю Retina-дисплея (2880х1800), недавно очень захотелось посмотреть «Рика и Морти». Какого же было мое разочарование, когда я увидел, как мыльно на этом экране выглядит 1080р, в котором существуют оригиналы этого мультсериала! (это прекрасное качество и обычно его вполне достаточно, но поверьте, ретина так устроена, что анимация с ее четкими линиями в 1080р выглядит мыльновато, словно 480р на FHD-мониторе).


Я твердо решил, что хочу увидеть этот мультсериал в 4К, хотя и совершенно не умею писать нейросети. Однако решение было найдено! Любопытно, что нам даже не придется писать код, понадобится лишь ~100 ГБ места на диске и немного терпения. А результат — четкое изображение в 4К, которые выглядит достойнее, чем любая интерполяция.

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть Нейронные сети, Качество, Длиннопост

Подготовка


Во-первых, надо сразу понять, что в открытом доступе нет технологии по увеличению видео с помощью нейросетей. Вообще. Но зато есть несколько проектов, которые способны увеличивать фотографии. А раз так, давайте перекодируем наше видео в огромную кучу кадров!

Это можно сделать через Adobe Premiere Pro или другую программу для работы с видео, но я уверен, что такая установлена далеко не у всех. Поэтому давайте воспользуемся консольной утилитой ffmpeg. Я взял первую серию первого сезона, и понеслось:

$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg

Почему JPG, а не PNG?

Подождав примерно 10 минут, мы получим большущую папку с изображениями. У меня она заняла 26 ГБ.

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть Нейронные сети, Качество, Длиннопост

Осталось обработать каждый из этих кадров!


Как будем обрабатывать?


Я нашел три варианта, работающих более-менее нормально — это небезизвестный Let’s Enhance, waifu2x (натренирован на аниме) и Mail.ru Vision.

Чуть позже я обязательно покажу примеры.

Mail.ru Vision и Let’s Enhance неплохо обрабатывали изображения, но они, к сожалению, не опенсорсные, то есть для обработки 31000 картинок нам придется писать создателям на почту и, вероятно, немало заплатить. Поэтому я пригляделся к оставшемуся waifu2x, но он не порадовал меня качественным результатом, были шумы и нечеткости. Все-таки «Рик и Морти» — это не аниме.

Я уже было отчаялся бесконечно листать Github и тематические форумы, но… Спасение вдруг пришло! Нашелся вариант, который работает на машине локально, обрабатывает картинку меньше, чем за секунду, и показывает отличное качество. И вы не поверите, кто в очередной раз пришел нам на помощь!

Adobe Photoshop!

И нет, я не буду рассказывать true story о том, как там можно парочкой фильтров сделать хорошую картинку. Adobe действительно натренировали самую настоящую нейросеть, которая при масштабировании внутри программы может дорисовать изображение!

Для начала нужно открыть исходное изображение, затем перейти через верхнее меню в Изображение > Размер изображения… и выбрать ресамплинг «Сохранение Деталей 2.0».

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть Нейронные сети, Качество, Длиннопост

Результат приятно удивил! Пожалуй, впереди только Let’s Enhance. Вот и обещанное сравнение (исходное изображение приближено примерно в 8 раз)

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть Нейронные сети, Качество, Длиннопост

— И что теперь, вручную обрабатывать каждый кадр через фотошоп?


Конечно, нет! В фотошопе есть инструмент Actions, который позволяет сначала записать последовательность действий, а потом применить ее на целую папку с изображениями. Не буду расписывать весь процесс, он легко гуглится.

Я оставил свой ноутбук обрабатывать тридцать одну тысячу кадров на ночь по шаблону «сделай апскейл в два раза и сохрани». Проснулся утром — все готово! Еще одна папка с кучей кадров, но теперь уже в 4К и с размером в 82 ГБ.

Назад, в видео

Нам снова поможет ffmpeg.

Понимаем, что мы совсем забыли про аудиодорожку, и достаем ее из оригинального файла:

ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3

А потом скидываем саунд в папку со всеми 4К-кадрами. Все наши труды прошли не зря, мы готовы к финальной склейке!

ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4

Будьте внимательны: после -r ставьте именно такое количество кадров, какое было в оригинале, иначе звук не будет совпадать с картинкой!

Готово!

Мы получили первую серию «Рика и Морти» в 4К. Вот сэмпл. Конечно, это было немного по-ламерски, что ли… Но на самом деле у такого подхода есть серьезное преимущество. При работе с другими фильмами или мультиками мы можем удобнейшим образом, прямо через Photoshop доводить их кадры до идеала. Подобрали идеальную резкость и балансировку цветов под несколько кадров из фильма, потом записали свои действия в Action, распространили на весь фильм, и получили отличный результат без всяких математических сложностей. Это делает чудо-апскейл чуть ближе к обычному пользователю. Сложнейшие вещи, к которым люди шли веками, воспроизводятся быстро и без специальных знаний — что это, если не будущее?


Источник:

https://habr.com/ru/post/438886/

Показать полностью 3
31

Pantomime — новый сервис для анимации лиц и создания стикеров на нейронках

Зацените новый сервис — pantomime.it.


Загружаешь фотку друга/собаки/Ван Гога, выбираешь эмоцию, и твоя фотка оживает. Можно наделать стикеров и троллить друзей.

Pantomime — новый сервис для анимации лиц и создания стикеров на нейронках Анимация, Настя Ивлеева, Мобильная фотография, Онлайн-Сервис, Нейронные сети, Искусственный интеллект, Гифка
Мои подписки
Подписывайтесь на интересные вам теги, сообщества,
пользователей — и читайте персональное «Горячее».
Чтобы добавить подписку, нужно авторизоваться.
Отличная работа, все прочитано!