MAPNHKA

MAPNHKA

Пикабушница
Дата рождения: 17 января 1988
поставилa 10921 плюс и 134 минуса
Награды:
5 лет на Пикабу
133 рейтинг 3 подписчика 44 подписки 5 постов 0 в горячем

Как добиться успеха

Как добиться успеха Вдудь, Успех, Доброта, Стартап, Длиннопост

Всем привет, мы небольшая команда, которая занимается сайтом-агрегатором комментариев на конкурс к видео канала вДудь, в мае нам исполняется два с половиной года, на пикабу есть пара статей о нас: вот и вот.


Сегодня мы затронем на первый взгляд непрофильную для нас и при этом весьма дискуссионную тему: что такое успех и как его добиться. Многие из вас наверняка смотрели видео Юры о Кремниевой долине, которое чуть более, чем полностью посвящено успеху в IT сфере. Нужно отметить, что мы с большим уважением относимся к творчеству Дудя и считаем его безусловным талантом не только как интервьюера, но и как популяризатора значимой для общества информации. Однако к этому видео наше отношение оказалось неоднозначным.


Дело в том, что в своих предыдущих роликах, затрагивающих социально значимые темы, Юра подходил с очень важной и правильной позиции. Говорил ли он о проблеме ВИЧ, человеке после войны, или Колыме, его основными героями становились простые люди, такие как мы с вами. Именно в этом была ценность этих роликов: Юре удавалось показать, что самые обычные люди могут мечтать, любить, помогать другим и полноценно жить, преодолевая самые сложные жизненные обстоятельства. Успех этих людей в своих небольших начинаниях - это именно то, что движет наш мир вперед, как бы читалось между кадров, и с этим сложно было не согласиться.


Видео про Долину совсем иное. Нам показали людей, которые оперируют венчурными миллионами или работают в успешных компаниях и имеют доход в сотни тысяч долларов в год. Казалось бы, вот она квинтэссенция успеха, к которой нужно стремиться. Но всё не так просто.


Давайте рассмотрим, что такое успех на примере нашего сайта.


По меркам Долины наш проект - это фиаско. За всё время существования мы не заработали ни копейки, совершенно не интересны инвесторам, у нас нет никаких перспектив масштабирования. Воображаемые профессионалы из Долины вздохнут и загробным голосом скажут: "Ребята бросьте это дело, стопайте виртуалки, глушите нейронные сети, займитесь чем-нибудь другим. Это провал."


Но мы все равно продолжаем. Почему? Вот два факта:


1. За время работы сайт посетили десятки тысяч человек, которым была интересна очень узкая тема - конкурсы канала Вдудь. Ответов на вопросы, какие посты на конкурс имеют больше всего лайков или какие условия, приз и победитель были в конкурсе к видео, например, с Ефремовым, в гугле или поиске ютуба не найти. У нас можно. Поэтому каждый день иногда десятки, а бывает, что и сотни человек посещают наш сайт. Это, конечно, не миллионы, но с другой стороны, количество сэкономленных этими людьми часов на поиске нужной им информации измеряется тысячами. Время - это самое дорогое, что есть у человека, и если то, что вы делаете позволяет сэкономить время других людей, разве это не успех?


2. Как-то раз в одном из выпусков Вдудя при объявлении победителей конкурса мы заметили нечто странное. Приглядитесь:

Как добиться успеха Вдудь, Успех, Доброта, Стартап, Длиннопост

Заметили? Три ноля в конце даты выглядят несколько странно, не так ли? Это миллисекунды. "Кто этот программист-недоучка, который забыл, что пользователям миллисекунды не интересны?"-, негодовала наша команда... Негодовала недолго.

Как добиться успеха Вдудь, Успех, Доброта, Стартап, Длиннопост

Ой... Кажется это мы сами и забыли...


Проведя небольшую археологию удалось выяснить, что Юрина команда использует наш сайт как минимум начиная с интервью с Доренко, правда тогда они еще замазывали наши косяки и нам очень стыдно, что мы обрекли приличных людей на это:

Как добиться успеха Вдудь, Успех, Доброта, Стартап, Длиннопост

И используют до сих пор. Вот кадр из интервью с Лапенко, это последний ролик в котором объявлялись победители:

Как добиться успеха Вдудь, Успех, Доброта, Стартап, Длиннопост

Мы никак не связаны с шоу Вдудь, никто из его команды не просил нас делать то, что мы делаем, и мы ни с кем из них в принципе никогда не общались. И тем не менее наш сайт оказался полезным для них. Разве это не успех?


Если строго следовать логике, пропагандируемой Юрой в фильме о Долине, мы должны бросить этот неудавшийся проект, мотануть в CA и найти себе инвестора пожирнее для проектика поинтереснее, ну или на худой конец устроиться в Apple. Но если мы так сделаем, то десятки тысяч людей будут терять тысячи часов в поисках интересующей их информации, а команде Юры придется вновь пролистывать килобайты плохо структурированного текста на Ютубе.


Завершить наверно стоит небольшим рассуждением, которое возможно заставит задуматься кого-то из читателей. Если вы смотрели видео Таира или иногда посматриваете видео на канале Русские Норм, то наверное обратили внимание, что Юра пообщался с людьми, у которых уже кто-то когда-то брал интервью. “Это проверенные люди, они неплохо смотрятся перед камерой и говорят интересные вещи, у них можно взять еще с десяток интервью”, - скажете вы и отчасти будете правы. Но еще дело в том, что не существует миллиона успешных стартаперов. Их количество измеряется, конечно не единицами и не десятками, а тысячами. Но если разделить эти тысячи на всё айтишное население нашей планеты, вы получите очень скромные доли процента. Как бы ни был грустен этот факт, скорее всего вам не повезет. Может и повезти, но статистика против вас. Что же тогда делать?


Как по вашему, на чем держится наш мир? Держится ли он на тех, кто создал Google или на тех, кого ищут через Google, когда что-нибудь нужно? Держится ли он на тех, кто добрался до вершины или же на тех, кто по пути к вершине давал им приют и пищу? Видео о Долине как будто говорит нам, что он держится на первых, однако интуиция подсказывает, что он держится и на тех и на других. Первых всегда будет мало, просто потому, что вершина крошечная, всем там места не хватит. Дошедшие до вершины - это герои, на которых можно сколь угодно долго равняться, но при этом никогда их не достигнуть, такой путь далеко не для каждого. Но что может каждый - это сделать жизнь другого человека чуточку лучше. Без венчура или корпорации, дающей тебе в руки огромные ресурсы, просто из подручных средств и необязательно жизнь миллионов людей. Начать можно с одного, потом помочь десяти, потом, возможно, придумать, что может помочь тысяче и на этом остановиться. Это будет иметь не меньшую ценность, чем проекты, которые масштабируются на весь мир и зарабатывают миллиарды. Это не рецепт того, как создать компанию-единорог, это рецепт того, как сделать наш мир лучше, чем он есть.

Показать полностью 4

Как мы делали искусственный интеллект на комментариях к видео канала Вдудь и удивлялись Word2Vec.

О том, как мы делали сайт для Вдудя я писала в предыдущем посте: https://pikabu.ru/story/kak_myi_delali_sayt_dlya_vdudya_5676... . Но этого нам показалось мало)

Как мы делали искусственный интеллект на комментариях к видео канала Вдудь и удивлялись Word2Vec. Нейронные сети, Программирование, Вдудь, Длиннопост, Word2vec, Telegram, Чатботы, Чат-бот

Итак, по долгу службы у нас уже были комментарии к видео канала Вдудь (для сайта о котором я писала ранее). Оставалось придумать что с ними можно сделать еще. Так уж получилось, что обработкой естественного языка мы занимались давно и со времени последних экспериментов прошли годы. И вот за эти годы появилось нечто, которое хотелось пощупать - Word2Vec.

Конечно, можно было бы построить честного чат бота на каких-нибудь LSTM сетях, имитирующего средне-статистического комментатора к видео Вдудя, но нам это было не так интересно, как поэкспериментировать с Word2vec. За этим незамысловатым названием стоит довольно удачная попытка автоматически извлекать"смысл" слов из набора текстов и дать возможность этим смыслом алгебраически оперировать.

Концептуально Word2Vec стремится имитировать мышление - ведь наше сознание тоже занимается постоянным извлечением смыслов отдельных терминов и, манипулируя ими, порождает новые. Под смыслом в Word2Vec понимается вектор в многомерном пространстве, а под алгебраическими операциями - операции с векторами - сложение и вычитание. Магия Word2Vec - это когда хорошо обученной (не нашей:)) модели на вход подается формула, к примеру:

Лондон+Россия-Англия и модель не моргнув глазом выдает: "Москва"! И правда, Москва по отношению к России - это то же, что Лондон по отношению к Англии. Чудеса! Другой пример уже наш: что будет если из профессии программиста убрать магию?...... место для ответа.......

Спросим Word2Vec: программист-магия = ИНЖЕНЕР! Попробуйте поспорить! А теперь представьте себе, что этот вывод модель сделала изучив только комментарии к видео канала Вдудь и БОЛЬШЕ НИЧЕГО. Никаких словарей, онтологий, тезаурусов и т.д. Только 700к+ коротких комментариев, написанных в спешке, политизированных, неприличных, саркастических, восторженных и т.д. Разумеется никто в этих комментариях специально не отвечал на поставленный вопрос и главное явных обсуждений программистов в этих комментариях не было. То есть наша модель сумела схватить "смысл" слов программист и магия и даже смогла найти слово, которое лучше всего подходит если мы займемся "вычитанием" смыслов. Неплохо, да?

Технически построение модели осуществить было довольно просто:

1. Извлечь комментарии к видео с канала Вдудь. В этом прекрасно помогает Youtube api, мы использовали обертку для Java maven: com.google.apis:google-api-services-youtube:v3-rev193-1.21.0, полученные комментарии заботливо положили в файлик.

2. В теории Word2vec можно обучать на текстах никак их не преобразовывая, но мы все же решили отстемить (привести к начальным формам слов), поскольку выборка была небольшая и хотелось на выходе Word2Vec получать сразу то, что нужно. Для этого использовали яндексовский mystem. Внимание! Не используйте mystem для конкуренции с яндексом (это выжимка из их лицензии, подробнее читайте на сайте mystema :)

3. Для построения модели использовали deeplearning4j в которой Word2Vec есть из коробки и который очень просто использовать.

4. Перед построением немного фильтрации - слишком короткие комментарии убираем, слишком длинные тоже, убираем неактуальные части речи - союзы, частицы, предлоги, спасибо mystem.

5. Размерность итогового вектора выбрали 150, использовали негативное сэмплирование и скипграммы. Запускаем обучение!

Обучение производилось на GeForce GTX 980M и заняло несколько часов. Модель мы подключили к простенькому телеграм боту, чтобы можно было легко экспериментировать http://t.me/NeuroDudj_bot . Бот выдает не одно слово, а несколько наиболее близких к формуле на входе. Если хотите поразмять мозги - попробуйте к каждому слову, выдаваемому ботом на формулу придумать объяснение, то есть догадаться, что модель "имела ввиду". Для слов, которые модель не знает бот выдает забавные фразы, обозначающие отсутствие ответа. Интересные формулы и ответы на них присылайте в комментарии.

Ну и напоследок: на волне недавних попыток роскомнадзора заблокировать телеграм узнаем, что же думает по этому поводу наша нейронная сеть:

Как мы делали искусственный интеллект на комментариях к видео канала Вдудь и удивлялись Word2Vec. Нейронные сети, Программирование, Вдудь, Длиннопост, Word2vec, Telegram, Чатботы, Чат-бот

Мне кажется иногда нейросеть "умнее", чем мы думаем)

Показать полностью 1

Как мы делали сайт для Вдудя

Год подходил к концу. Весь декабрь в мыле готовились к очередному релизу - зарелизились, выдохнули... Как отдыхает программист от работы? Конечно же пишет код, была бы идея...


Но обо всем по порядку.

Как мы делали сайт для Вдудя Вдудь, Длиннопост, Программист, Будни программиста

Есть спортивный журналист Юра Дудь, помимо прочего ведущий почти одноименного шоу. Обсуждать достоинства и недостатки авторского проекта я не буду, скажу только, что отдельные выпуски мне нравятся. Еще больше мне нравятся его конкурсы. Потому что это, как минимум, неплохой повод пораскинуть мозгами, как максимум – стать единоличным обладателем нетленной реликвии от интересного человека. При условии, что вы удачливее других. Весь год меня мучил вопрос: как Юра с командой отбирают победителей? Ответ поразил в самое сердце.


В недавнем интервью с Ксенией Собчак Юра намекнул - выбирая победителя, они просматривают десятки тысяч комментариев. По-честному, вручную. Только вдумайтесь в эти цифры - ДЕСЯТКИ ТЫСЯЧ! Мысленно воздвигнув команде Дудя памятник, я открыла последний выпуск шоу на ютубе и ради интереса попробовала повторить этот подвиг. И поняла, что нужно не скульптуру ваять, а за голову хвататься. Приходится перелопатить килобайты информации – тексты участников конкурса буквально тонут в тысячах не связанных с конкурсом комментариев.


В связи с этим вопрос. Если вы смотрите шоу "Вдудь", неужели у вас ни разу не возникало желания увидеть все комментарии на конкурс сразу, а не зажимать кнопку Page Down в надежде на следующей подгрузившейся странице найти хотя бы один? У меня постоянно.


Итак, идея пришла, когда я в очередной раз зажимала вышеупомянутую кнопку. Даже не идея, озарение – решением проблемы станет сайт – агрегатор, на котором будут отображаться только комментарии, относящиеся к конкурсам шоу "Вдудь". Сказано-сделано! Мы с ребятами сварили литр кофе и взялись за ноутбуки. В процессе реализации были придуманы дополнительные функции для представителей команды Юры – авторазметка просмотренных комментариев, лайк, выбор победителя, различные фильтры. Старая добрая формула «идея + праздники = интересный проект» сработала на «ура» и 16 января мы опубликовали сайт. Поскольку пост не рекламный, ссылок на него я приводить не буду (если интересно, скину по запросу). Единственное, что мучает - функциональность "для Юры" до сих пор так и не нашла своего адресата. Сколько бы мы ни писали и не пытались выйти на связь, в том числе через участников его команды - тишина…


Вот расскажите, как докричаться Дудю, что для подведения итогов конкурса, ему больше не нужно просматривать 30000 комментариев к каждому видео?


P.S. Баянометр ругался на картинку

Показать полностью 1

Долгожданный подарок от Деда Мороза

Как только я увидела посты, про анонимного Санту, сразу же зарегистрировалась и села ждать распределения адресов. Хоть я и читала на сайте, что вероятность получить подарок совсем не 100% и морально была готова к этому, хотелось чуда. Время шло, а чудо все не шло, точнее не ехало и сообщения о, том, что подарок отправили не было. И я уже перестала ждать, но тут, ТАДАМ, приходит оно, сообщение от Деда Мороза и трек) И посылка мне идет аж из Улан-Удэ.

Сегодня, наконец, добралась до почты и вот я уже быстро режу скотч. Я, честно, не понимаю как у людей хватает терпения качественно снять весь процесс открытия, я лично очень торопилась)

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

Вот она, заветная коробочка! Открываем пакетик с чем то белым бумажным...

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

И тут я уже прыгаю от радости! Наклейки, много наклеек!

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

Магнитики!!!!! (Они уже на холодильнике)

и один традиционный:

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

Дальше я достала милого тюленя, но снять его не получилось, он тут же был реквизирован малышней.

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

Вместе с тюленем лежал новогодний секлянный шар, но он был утащен столь стремительно в детский домик, что фото нет)

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

Чудесные мушки скоро отправятся за хариусом.

А еще у меня появился стаканчик для кофе в машину с лого пикабу.

Долгожданный подарок от Деда Мороза Тайный Санта, Новый Год, Длиннопост, Новый год 2018 тайный Санта

И два пакета кедровых орешков, заботливо подписанные "каленые" и "обычные".  Скоро пойдем дегустировать!

Огромное спасибо тайному Санте! Это чудесный подарок, спасибо, что внимательно отнесся к моим пожеланиям и в подарке нет сладостей. И пусть подарок немного опаздал к Новому году, он приехал прямо перед моим днем рождения!

Показать полностью 7

Здоровых зубов всем в новом году!

Здоровых зубов всем в новом году! Новый Год, Ёлки, Первый пост

Раз в год страраюсь посетить стоматолога, в этом году дотянула почти до Нового года, благодаря чему смогла сфотогорофировать это чудо стоматологического творчества.

Показать полностью 1
Отличная работа, все прочитано!