Сегодня хочу рассказать вам о том, почему подавляющее большинство нейросетей, которые мы видим и используем сегодня, основаны на технологии Google Transfer.
1. Высокая точность и производительность
Google Transfer Learning (обучение переносу) позволяет использовать уже обученные модели для решения новых задач. Это значит, что вместо того, чтобы обучать нейросеть с нуля, мы можем взять уже существующую модель, которая была обучена на огромных наборах данных, и адаптировать её под наши нужды. Это значительно увеличивает точность и производительность.
2. Экономия времени и ресурсов
Создание и обучение нейросети с нуля требует огромных вычислительных ресурсов и времени. Использование Google Transfer Learning позволяет сократить затраты на обучение и быстрее получить результат.
3. Доступность и удобство
Google предоставляет огромное количество предобученных моделей через свои платформы, такие как TensorFlow и Keras. Это делает технологии доступными даже для тех, кто не обладает глубокими знаниями в области машинного обучения. Разработчики могут легко интегрировать эти модели в свои проекты.
4. Сообщество и поддержка
Google активно поддерживает сообщество разработчиков, предоставляя подробную документацию, обучающие материалы и форумы для обсуждения. Это помогает быстрее решать возникающие проблемы и улучшать модели.
5. Инновации и лидерство
Google постоянно инвестирует в исследования и разработки в области искусственного интеллекта. Их передовые технологии и новаторские подходы делают их модели одними из лучших на рынке.
Какие у вас мысли по этому поводу? Делитесь в комментариях!
Надеюсь, этот пост поможет вам лучше понять, почему Google Transfer Learning так популярен в мире нейросетей. Если у вас есть вопросы или дополнения, буду рад обсудить в комментариях!
Обновление в новом проекте Talkvio построенном на базе форума с более 250 000 сообщений из далекого 2007 года и уже большим количеством новых с момента создания нового движка в 2023 году. Отличается наличием минусов, есть возможность указывать свое отношение к автору и менять свое отношение через системы кармы и очков (что выгодно отличается от обычного лайканья постов). Есть пометки моего (авторский контент), поиск, блочный редактор с черновиками, черновики для комментариев, оповещения, фильтры для тех кто интересуется топами комментариев или постов, многочисленные разделы со свежим/лучшим/комментируемым/авторским, реверсные и прямые отображения комментариев, подписки на теги и на пользователей, избранное, увеличение изображений, оформление своей страницы, публикацию по расписанию, подъемы постов, случайная лента / случайные посты, сайт доступен на 2 языках, имеет темную и светлую тему, подсказки для новичков, справка, живая панель комментариев, управление клавиатурой, скрытие просмотренных постов, и многое другое. Так же ужеесть приложение на андроид. Многие вещи внедряются и дорабатываются и открыты для предложений. Реклама отсутствует как таковая. В будущем ресурс будет уделять гораздо больше вниманию авторскому контенту. Ссылка на ресурс и приложение на android в комментарии. Предложения по улучшению от пикабушников и участников Talkvio рассматриваются, внедрено уже более 500 таких улучшений и предложений за последний год.
Изменения:
Исправлен таймер в выборе отложенного поста, было непонятно что можно менять значение по единицам
Списки теперь допустимы в целом в оформлении постов.
Исправлена ситуация когда с сиротствующей настройкой 18+ человек заходил во взрослую тему и не видел основного поста
Выпуск 0.4.5 версии на андроид, должна быть исправлена проблема с возможностью поделиться ссылкой в telegram
Добавлена привычная функция для пикабу - призыв модератора и администратора/разработчиков используя @ обращения.
Исправлено отображение меню на телефонах, теперь при разворачивании пунктов их фокусирует. @FreshNevalyashka, спасибо.
Я Саша, .NET Fullstack разработчик. Недавно разработал парсер обратных ссылок сайта (через API). Кроме выгрузки беклинков сайта он сразу же определяет тип ссылки. То есть он переходит на каждую страницу и анализирует откуда идет ссылка (например, ссылки из блог комментария, из поста на форуме, из сайдбара, из статьи и т.д.). Для анализа использую последнюю модель gpt-4o. Такой парсер помогает максимально быстро проанализировать стратегию линкбилдинга конкурентов. Отчета парсера на выходе выглядит так:
Если вам нужен парсер ссылок или другие парсера сайтов или документов - пишите мне в телеграм. Всегда рад новым клиентам и интересным задачам!
Ситуация следующая: неделю назад я удалил текстовой файл с расширением .odt. Сейчас же он сильно мне пригодился. Я испробовал все программы для восстановления файлов. Они нашли мой текст, но восстановили с повреждениями (какая-то информация в нём есть: весит 17.6 килобайт). Приложение LibreOffice, где я его создал, и открыть не может из-за повреждений, и восстановить не может.
Есть ли решение моей проблемы? Можно ли как-то восстановить файл или починить его? Меня бы устроило и 80% моего текста, то есть хотя бы открыть с повреждениями. Помогите, пожалуйста! Спасибо заранее ♥
Первая в мире женщина-фрилансер в 1955 году с четырьмя детьми?
Женщины-фрилансеры и удаленщицы были очень многочисленны в некоторых странах, например в США, еще в первой половине XIX века. Пряли, ткали, вышивали. Для одного или нескольких предприятий, числясь сотрудницами и не числясь, на оборудовании работодателя или собственном. Не удивлюсь, если и в России такое было.
Не говоря уже о "фрилансершах", работавших на частных клиентов.
Порой путь человека может быть предопределён. Завтра исполняется 69 лет Тиму Бернерсу-Ли, создателю всемирной паутины, о жизни которого мы завтра вам расскажем подробно. Великие люди порой затмевают своих предков, так случилось и сейчас: мало кто знает родителей человека, создавшего WWW.
Но как вам создание одной из первых программ для диагностики ошибок в железе и ПО первого коммерческого компьютера? Первая в мире женщина-фрилансер в 1955 году с четырьмя детьми? Человек, который в середине ХХ века смог добиться равных условий труда и равной оплаты для программистов? Женщина, которая считает, что самое классное в программировании – это машинный код! Это всё мать Тима, Мэри Ли Бернерс-Ли (Вудс). Сейчас мы познакомимся с ней поближе!
Мэри Ли и маленький Тим Бернерс-Ли
Сегодня вы будете читать историю жизни «бабушки интернета», которая очень любила прогресс. Технический прогресс даёт вам возможность читать этот текст самому, или послушать его в подкасте, который для вас подготовил автор.
❯ Семья и учёба Мэри Ли
Мэри Ли родилась в учительской семье в 1924 году. Её мать с рождением ребёнка преподавать перестала, а отец продолжил. Он занимался с теми детьми, успехи и способности которых были невысоки. Мэри пошла в одну из первых школ с совместным обучением мальчиков и девочек. Сама Мэри любопытно отзывалась о своём месте обучения:«Школа не отличалась академичностью, но занималась воспитанием хороших граждан; там не было побоев палками, задержаний и прочих дисциплинирующих моментов. А в школе брата была и травля, и удары палками, и другие подобные вещи».
Будущая учёная начала делать карьеру по прямому совету родителей. Её родители и познакомились на собрании в защиту прав женщин. В рамках этих собраний не только говорилось о политических правах женщин, но и о том, что должна быть альтернатива замужеству для жизни. Такой альтернативой стала работа и высокая квалификация. Так Мэри Ли начала свой путь к программированию с класса с сильным математическим уклоном, который не так давно стал доступен для девочек. Затем последовало обучение в университете, которое пришлось на время Второй Мировой войны, и эвакуация из Бирмингема в небольшой городок Лидни.«Депрессивный, но красивый», – так описывала его Мэри. Там она продолжила учиться, причём жили студенты в домах простых граждан, даже не в интернате, его не было.
После возвращения в Бирмингем выяснилось, что здание, где проходили занятия, подверглось бомбардировке, было разрушено крыло здания. В институте не хватало преподавателей: все ушли на фронт. За два года у Мэри сменилось 5 учителей математики, что сильно сказалось на обучении. В возрасте около 20 лет лишь благодаря стипендии она смогла уехать в Манчестер и заняться там инженерной подготовкой за свой счёт. Стипендия составляла 75 фунтов в год, чего хватало, со слов Мэри, на безбедную жизнь. Для примера, у её коллег (еврейских беженцев) было всего 22 фунта в год.
Мэри Ли Вудс, в студенчестве
В 1944 году Мэри как талантливую выпускницу направили в центр авиационных исследований, но там она остаться не смогла. Её брат, лётчик, совсем недавно погиб на войне. Мэри вернулась ближе к дому, она тяжело переживала смерть брата и хотела быть ближе к своей семье. До 1947 года она продолжила изучать математику в институте и увлеклась астрономией, которая привела её в… Австралию!
❯ Австралия, астрономия и дискриминация
Для этого всего-то потребовалось прочитать статью в научном издании астрономического общества, написать статью её директору, доктору из Канберры, который оценил уровень подготовки молодого математика и выдал Мэри стипендию на обучение в обсерватории Канберры. На корабле для иммигрантов с контрактом на два года Мэри направилась изучать астрономию. Астрономом ей стать было не суждено.
Почему? Сексизм, господа. Ей дали «очень интересную работу» осуществлять классификацию звёзд по величине и радиусу. Простая техническая работа, которая не требует вообще никакого творчества. А досталась она Мэри по одной причине: мужчине, который занимался этой работой, просто не хватало терпения её вести. Но узнала Мэри об этом позже, уже когда покинула работу. Всего она провела в Австралии три года, сохранив воспоминания о прекрасном месте отдыха, катании на лошадях, красивых видах и совершенно неинтересной работе.
Удивительный путь в программисты
После возвращения домой Мэри впервые познакомилась с компьютером, просто найдя объявление: «Требуются математики для работы на цифровом компьютере». До этого никакого опыта работы с компьютерами у неё не было, она их даже не видела и пользовалась только механическим калькулятором Brunsvigas, который умел работать с перфокартами.
Что делает айтишник, когда чего-то не понимает? Идёт курить мануалы. Именно этим и занялась Мэри, она пошла в библиотеку читать, что же такое компьютер и… подала заявление на работу!
Сама Мэри так описывала своё собеседование: «Я пошла на собеседование; и, поскольку я кое-что знала о компьютерах, я могла задавать умные вопросы. Это должно было на треть увеличить мою первоначальную зарплату». Так она устроилась в фирму «Ферранти», где ей предстояло работать с первым коммерческим компьютером «Ferranti Mark 1».
Можно подумать, что Мэри, говоря современным языком «ушла в айти» за большими деньгами, но это не совсем так. На тот момент работа в компьютерной фирме не была особо прибыльной, местные жители предпочитали близлежащие фабрики хлопкопрядильной промышленности. А «Ферранти» в том районе делали радиоприёмники, где девушки на конвейерах монотонно паяли компоненты. Но Мэри наняли не паяльщицей, а в команду программистов.
Причём в компании была просто шикарная система обучения. Мэри вспоминала: «Нам показывали основы, некоторые базовые вещи, а потом – ну, ты сам разбираешься. У коллег спрашиваешь. Советуешься. Тебе поставили задачу, а ты её выполняй, всё очень просто. Не справляешься – свободен». Любопытно, но никаких гендерных различий в этой сфере не было, что мужчины, что женщины получали одинаковую «вводную», только мужчинам больше платили. Об этом мы расскажем чуть позже.
❯ Совсем (не)пыльная работа
Задачей Мэри было программирование в машинном коде. Она занималась решением систем уравнений. Огромного их количества. Задачи выполнялись для авиации: расчет напряжений вдоль крыльев и ряд похожих сложных и однообразных вычислений. А самое главное — очень многочисленных вычислений.
Код писался на тридцати двух символьной системе. Для этого нужно было выучить наизусть таблицу соответствия между 32 цифрами базы чисел, их числовым эквивалентом и их эквивалентом в двоичной системе счисления.
Та самая таблица, которую нужно было знать наизусть и уметь использовать.
Инструкции вводились в компьютер с перфолент, результат обработки также выводился на них. Программа формировалась пятисимвольными буквенно-цифровыми значениями, которые пробивались в двоичном коде на перфолентах.
Отдельную проблему создавала оперативная память. Она была реализована через трубки Уильямса–Килберна и вмещала двадцатибитное слово. Второе слово в память уже не помещалось и переходило во вторичную память, магнитный барабан. Любая настройка программ вызывала большие сложности в том числе и из-за того, что машина была одна и время пользования было сильно ограниченным. В то время существовала шутка, связанная с IBM: у руководителя висел плакат с надписью «ДУМАЙ!», а у работников фирмы «Ферранти» тоже висел плакат «Думай, но не здесь!»
Одной из важных задач, которые ставились перед Мэри, была попытка создания одной из первых диагностических программ. Эта программа должна была выполняться с невероятной экономией памяти. Запустить две программы одновременно было физически нельзя, компьютеры этого просто не умели. Поэтому сначала запускалась программа для теста, и потом она, как ведущая, запускала тестируемую программу.
Компьютер Ferranti Mark 1
В фирме были достаточно напряжённые отношения между инженерами и программистами. Опять же, всё сводилось к тому, что пользоваться компьютером мог лишь один человек. Естественно, время за техникой было чётко разделено, и люди даже спали рядом с компьютером. Мэри рассказывала, что приносили с собой раскладушки и спали непосредственно в зале, ожидая своего времени работы. Вас разбудили, вы бахнули кофе и айда работать!
Программисты постоянно конфликтовали с инженерами, вся трубка (оперативная память) могла оказаться заполненной единицами, машина работать дальше не будет. А у этого было две почти равнозначные причины: или программист накосячил, или машина опять сломалась. Извечный спор: кто виноват и что делать…
❯ Кто должен бороться с дискриминацией?
Когда появился компьютер Mark 1* – надёжность существенно увеличилась, и фирма начала заниматься продажей компьютеров, в первую очередь, в сферу авиастроения. Мэри разработала программу для инвертирования матрицы 40 на 40 и должна была ехать в Италию для демонстрации работы этой программы, но не смогла, на тот момент она уже была беременна, но тут мы чуть забегаем вперёд.
Женщина вяжет за компьютером «Ferranti Mark I». Cнимок рекламный, женщина, скорее всего, – модель. Снимок иллюстрирует надёжность компьютера.
Незадолго до существенного роста фирмы, ещё даже до знакомства со своим будущим мужем, Мэри подняла самый настоящий бунт! Внутри фирмы она начала борьбу за права женщин и успешно в ней одержала победу. Во время работы оказалось, что мужчинам платят больше. На тот момент обсуждение заработка считалось категорически неприличным. После того как разная зарплата стала известна, Мэри обратилась напрямую к руководству фирмы. Ей сделать это было легче, в тот момент она снимала квартиру вместе с помощником руководителя по подбору персонала, у нее был прямой выход на начальство.
Бунт удался. В 1951–1952 годах, когда происходили описываемые события, фирма «Ферранти» установила равные зарплаты для молодых сотрудников вне зависимости от их пола. По мере роста мастерства и продвижения по службе они стали получать равные прибавки, выполняя одинаковую работу.
Однако, был у войны и второй эпизод. Когда «Ферранти» построила новый компьютер для университета, основную работу на нём выполняли университетские сотрудники, а фирма оставила за собой время с полуночи до восьми утра. Под влиянием одного конкретного персонажа мужского пола (который остался неназванным) отдел кадров принял гениальное решение: не допускать женщин на работу с полуночи до 8 утра. Пришлось повторно бунтовать и убирать эту «заботу».
❯ Любовь, семья, работа и фрилансерство
В 1952 году Мэри познакомилась со своим будущим мужем, причём знакомили их аж трижды, но сначала это были мимолётные рабочие встречи, и лишь когда их в третий раз познакомили, уже на праздничном ужине, они вдруг поняли, что раньше встречались. Мэри вспоминала забавную историю, когда она всю ночь работала за компьютером, а будущий муж звонил по телефону, но Мэри слышала всё, что он говорит, несмотря на работающие рядом очень громкие телетайпы. Позже был торжественный ужин, на котором их «познакомили», скоротечный роман, свадьба в 1954 и рождение Тима Бернерса-Ли в 1955 году.
Мэри Ли и Конвей Бернерс-Ли в 1954 году.
С рождением ребёнка (а потом ещё трёх штук) работать на фирме стало сложно, и Мэри придумала… удалённое программирование, фриланс, если хотите. Она могла, находясь у себя дома написать программу под конкретную задачу, а потом протестировать её уже в готовом виде. И такие заказы она активно получала.
Мэри была достаточно известна в своё время в весьма немногочисленной среде программистов, кроме того, её муж, Конвей, оставался на работе и мог помогать с заказчиками. В то время женщин-программистов и так было немного, а чтобы они ещё и на дому работали – вообще уникальная ситуация.
Мэри вспоминала, что ей очень хотелось на работу, она любила свою работу, но никогда не сомневалась, что сделала правильный выбор и стала мамой четверых детей. Она потом вспоминала, что семейное счастье и дети в самом прямом смысле ломают карьеру. Позже была создана F International – британская компания, которую основала другая женщина-программист Стефани Ширли. Эта копания работала именно с женщинами-программистами-фрилансерами. Это была первая подобная компания, и её, в широком смысле слова, политическое влияние имело не меньшее значением, нежели экономическое. Фирма активно привлекала внимание прессы к проблеме работы женщин-программистов. История этой фирмы, по хорошему, стоит отдельного текста.
Стефани Ширли, 1985
Однако для Бернерс-Ли работа в этой фирме не совсем подходила, у Мэри были свои заказчики, например, к ней обращалось Лондонское транспортное управление. Задача Мэри состояла в том, чтобы уменьшить задержки движения общественного транспорта. Группа специалистов рассчитывала, какие условия могут создавать автобусные пробки, а Мэри переводила это всё в работающую программу. Работ было множество, например, запуск метеозондов в военном городе, где нужно было быть крайне аккуратной с округлениями. Параллельно происходила компьютерная революция. Сначала для выполнения задачи Мэри пришлось выучить Mercury, потом Algol, сильно позже – Fortran, уже после возвращения на постоянную работу. Никакие лавры не позволяли отставать от прогресса.
Мэри работа «из дома», если это можно так назвать, до момента, пока младшему, четвёртом ребёнку в семье, не исполнилось 8 лет. Если вспомнить скорость развития информационных технологий, а также помнить, что дети Мэри родились не одновременно, то пропустила она просто невероятный для сферы программирования срок – 16 лет (!!). Вернуться в постоянно изменяющуюся сферу – почти фантастика. Но увлечённый человек может многое.
❯ Возвращение на работу и новый статус
После огромного перерыва Мэри вновь выходит на постоянную работу, но не в айти, а в школу. Не просто в школу, а в специализированную женскую гимназию. Это был серьёзный вызов для Мэри Ли. Она вспоминала: «Я обнаружила, что преподаю математику четырнадцатилетнему ребёнку, который не знает, как складывать числа до десяти, а я не знала, как его научить этому за те 40 минут, которые есть». Кроме того, сама Мэри очень медленно читала и её стиль работы в целом можно назвать «медленным». Преподавала она недолго, поняв, что это «не её» деятельность, несмотря на серьёзные знания математики. При этом, Мэри не «занимала чьё-то место», как может предположить современный читатель. Позже она вспомнит: «Одной из причин, почему я согласилась работать, было полное отсутствие у школы альтернатив. Лучше уж я, чем никого». Мэри часто советовалась со своим мужем и старшим сыном Тимом, получавшим на тот момент передовые знания в области математики, с которыми не была знакома сама Мэри Ли.
И вот тут она вернулась в программирование, научившись использовать фортран. Мэри стала работать в фирме, которая специализируется на PERT (Program Evaluation and Review Technique), методе оценивания и анализа проектов, которые используются при управлении огромными сложными проектами и оптимизации этих систем.
Во время работы Мэри отметила удивительную для себя вещь: молодёжь программирует намного быстрее, чем она, и никто не пишет инструкции и руководства. Её коллеги этого просто не умели, за это взялась сама Мэри.
Позже она со смехом вспоминала: «Теперь я знаю, почему все инструкции такие плохие». Мэри на собственном опыте столкнулась с тем, что писать их – сложный процесс. Просто собрать объём информации и комментариев совершенно недостаточно. После того как она проводила всю работу, делала инструкцию понятной и доступной… Менялась сама программа! Программа существенно меняется чертовски быстро. Да и написание инструкций требовало очень серьёзного анализа – что такое «очевидно»? что такое «все понятно»? Чему уделить много времени? Проработав несколько лет, Мэри поняла, что больше не вытягивает тот уровень и… просто ушла на пенсию в 1987 году в возрасте 62 лет, причём вместе со своим мужем, которому исполнилось 65.
Мэри Ли Бернерс-Ли на одном из последних интервью.
На пенсию Мэри отправила не только усталость от работы, от погони за современными технологиями, но и состояние здоровья. От постоянного стресса у неё стал ухудшаться слух, и она выбрала его сохранение вместо трудовой занятости. Проблемы со слухом на пенсии закончились. В одном из интервью Мэри вспоминала, что на пенсии хорошо. Можно спокойно работать по дому, пользоваться помощью людей, вообще не нервничать. При этом Мэри всегда поддерживали в её рабочих делах муж и семья. Она позже вспомнит, что именно семья помогла ей вернуться в программирование.
❯ Что самое главное в жизни?
У Мэри редко брали интервью, а когда брали, спрашивали в основном про старшего сына Тима Бернерса-Ли и интернет. При этом хоть сама Мэри и называет себя в шутку «бабушкой интернета», но не превозносит заслуги своего старшего сына.
Говоря о своих детях, она весело замечает, что почти всех направила на работу с компьютером: «Пит и Хелен тоже по работе связаны с информационными технологиями. Вся семья – отец, мать, трое детей – занимаются информационными технологиями, лишь один, самый младший, Майк – бунтарь, не пошёл по отеческим стопам!» Младший сын тоже ушёл в науку, он является одним из ведущих исследователей проблемы «углеродного следа». В настоящее время (2020-е гг.) Майк вместе с Тимом изучают влияние ИКТ на климат.
Мэри Ли Вудс и Конвей Бернерс-Ли в 2013 году.
На вопрос «Что в работе за компьютером кажется вам наиболее приятным?» Мэри отвечала: «Программирование на машинном коде, я не получала столько удовольствия от другой работы. Это очень весело, было столько возможностей, хоть это и отнимало чудовищно много времени. Это аккуратно и, в прямом смысле слова, красиво». Вполне вероятно, что и молодость, и хорошая компания повлияли на такие убеждения. Однако они проявились в детях. Мэри с самого детства максимально поощряла тягу к открытию нового и изобретательству у своих детей, что даёт им возможность на протяжении всей жизни оставаться в тонусе и следить за современными технологиями. Иногда она корила себя, что сама упустила прогресс в своё время, предприняла попытку его догнать и до конца не смогла. Возраст берёт своё, учиться становится сложнее…
Мэри Ли Вудс покинет этот мир на шестьдесят третьем году счастливого брака, в возрасте девяносто трёх лет, прожив яркую и насыщенную, а главное, с её собственных слов, счастливую жизнь. Мэри была, в некотором роде, идеалистом, идеалистом был и её муж, о котором стоит рассказывать отдельно. И вместе эти два человека, математики и программисты, что прошли путь от первых программ до современной повальной компьютеризации, воспитали четверых детей. К сожалению, помним мы их преимущественно из-за того, что их первенец, Тимоти Бернерс-Ли, создал интернет (который он на самом деле не создавал) и дал нам возможность познакомиться со своей замечательной матерью, пусть и заочно.
TikTok знают все. ByteDance - тоже, ведь эта компания сделала TikTok. Но мало кто знает, что первый выстреливший продукт ByteDance - отнюдь не приложение с вирусными клипами, а нейроагрегатор новостей Toutiao. Именно в недрах Toutiao возник TikTok и его знаменитый алгоритм, за право над которым китайцы сейчас воюют американцами.
Знакомьтесь, основатель ByteDance Чжан Имин. Именно он отобрал свободное время сначала у миллионов китацев, а потом и у всего мира.
Как только закон о запрете Тиктока в США вступил в силу, сразу начался цирк с конями. Сначала глава ByteDance выступил с обращением, где призвал американцев “встать на защиту свободы слова”, а еще заявил, что “компания не смирится и будет бороться”. Потом СМИ писали, что китайцы хотят продать Тикток американцам без алгоритма (ага, больно он кому-то нужен без алгоритма...). А совсем недавно технологические медиа начали пробрасывать версию, что ByteDance разработает отдельный алгоритм для ускользающей из рук ByteDance (и КПК) американской версии Тиктока. Видимо, чтобы можно было скинуть отжатый актив без особенных мук китайской совести.
Рискну предположить, что стороны будут еще долго бодаться на счет алгоритма. Неудивительно, ведь рекомендательный движок можно смело назвать главным бриллиантом китайского приложения. Эксперты зачастую называют алгоритм Тиктока настоящим произведением искусства, а техноэнтузиасты регулярно пытаются разобраться в его внутреннем мире.
Многие в курсе, что Тикток - это брат-близнец китайского сервиса Douyin (прямо-таки однояйцевый). В 2016 года хитрые китайцы запустили у себя Douyin, а потом “клонировали” его для западной аудитории. Еще чуть позже ByteDance купил платформу musical.ly, объединил её с Тиктоком, влил мегатонны юаней в маркетинг, и вот мы здесь.
Кстати, ставьте лайк, если вас тоже до чёртиков бесила реклама Musical.ly в 2018 году. Репост, если попались на неё и скачали приложение.
Раздражала она не меньше Азино три топора и Джойказино. Кстати, вот эти ребята на картинке (это актеры из основной рекламы Musical.ly в РФ) так много мелькали, что даже стали звездами мелкого пошиба.
Из этой истории хочется сделать вывод, что Тикток просто взял алгоритм у Douyin. И это верно. Однако, у Douyin он возник не из космического китайского вакуума.
В России мало кто знает, что у ByteDance есть еще один сервис, самый первый - новостная платформа Toutiao. И очень зря, потому что это крайне интересная штука. Именно она является мамой Douyin и бабушкой Тиктока (ну или папой и дедушкой, не суть).
Итак, по порядку:
"Человек-рекомендация", или краткая история одного из главных инноваторов Китая
Год назад я делал большую статью про Ван Сина - китайского предпринимателя, скопировавшего целых три американские компании. Последняя из трех - экосистема Meituan - сделала его одним из богатейших людей Китая. Самая первая - Xiaonei (копия цукерберговской соцсети) тоже неплохо выстрелила и работает до сих пор под названием RenRen. А вот между ними была попытка скопировать Twitter.
Тот проект назывался Fanfou, и он оказался не слишком удачным. Но сегодня он нам интересен по другой причине - в нем успел поработать разработчик по имени Чжан Имин.
Чжан Имин в молодые годы. Надеюсь, что это он, с молодыми фотками китайцев всегда непросто (но вроде похож).
До Fanfou Чжан успел немного потрудиться в Microsoft, а еще раньше - в тревел-агрегаторе Kuxun (который, кстати, до сих пор неплохо держится в своей индустрии). Позже, в 2009 г., Чжан основал свой первый стартап - 99fang. Это платформа для поиска объектов недвижимости, что-то вроде нашего ЦИАНа. На нем можно была искать недвижку, фильтровать выдачу и связываться с агентами для сделок. 99fang неплохо выстрелил, и тоже прекрасно себя чувствует по сей день.
Почему я вообще рассказываю про места работы нашего героя? Потому что из них становится отчётливо видно, что Чжан Имин всю свою карьеру плотно работал с рекомендательными сервисам. Он отлично изучил эту область айти и плавал в ней не менее уверенно, чем баоцзы в соевом соусе. Так что, вполне логично, что именно на алгоритмы рекомендаций он сделает ставку в своём главном детище.
Итак, чувак круто шарил в рекомендательных алгоритмах и в целом был весьма толковым айтишным руководителем (на тот момент уже дорос до топ-уровня). Однако, все его пересечения с алгоритмами были… как бы сказать… слегка местечковыми. То недвижка, то билеты на транспорт какие-то.
Чжан Имин хотел большего. И однажды он поставил себе действительно взрослую задачу:
Запихнуть весь китайский интернет в рекомендательный движок.
С виду - китайский BuzzFeed. Но есть нюанс
В 2012 г. Чжан Имин создает Beijing ByteDance Technology Co., более известную как просто ByteDance. Однако до Тиктока еще было далеко.
Первым продуктом компании стал сервис Toutiao.
Слово “Toutiao” можно перевести на русский как “Заголовки”. Китайцы вообще очень щепетильно подходят к неймингу, и этот случай - не исключение. В нем вся суть. В 2010-х в Китае уже был довольно развитый интернет-сектор. А значит среднестатистический китаец уже тогда легко мог получить уйму самого разного контента (а текста - так вообще вагон и маленькую тележку). Следовательно, диапазон внимания становился более узким, развивалась контентная слепота.
В такой ситуации формулировки в заголовках выходят во главу угла. Человек смотрит на заголовок и по нему принимает решение - открывать ему статью, пост или видео, или серфить по сети дальше. Весьма несложный процесс, не правда ли? Почти рутинный.
Вот и Чжан Имин так подумал. Он решил, что людям в этом аспекте можно здорово помочь. Для этого Toutiao разработал алгоритм, умеющий:
Анализировать заголовки. Для этого используется комбинация из обработки текстов на естественном языке (Natural Language Processing, NLP) и машинного зрения.
Агрегировать контент. Если один и тот же инфоповод мелькает в разных закоулках китайнета, то сервис выбирает самые важные, вирусные и просто интересные части и собирает из них единую сущность.
Профилировать пользователя. Тут понятно - учет предыдущих действий пользователя, анализ его предпочтений и взаимодействий и многое другое. Проще говоря - понять, что конкретно зацепит внимание 40-летнего инженера Ли или 20-летнюю студентку Сянь (пасхалочка детектед).
В технические дебри залезать не буду, там много всего используется. В частности, глубокое машинное обучение, свёрточные нейронные сети (convolutional neural network), коллаборативная фильтрация и много других традиционных (и не очень) методик, применяемых любым адекватным рекомендательным движком.
Интерфейс Toutiao - 2017 (слева) vs 2022 (справа). Не зря все-таки Чжан Имин работал в китайском аналоге Твиттера.
Лучше отмечу три продуктово-технических фичи, благодаря которым Toutiao так полюбился миллионам китайцев:
Фича первая. Toutiao не просто агрегирует контент из китайской сети, но и умеет его менять. Например, сервис может чуть подшлифовать формулировку заголовка, чтобы сделать его более цепляющим, вирусным и вкусным.
Фича вторая. Она связана с первой. Раз Toutiao умеет хорошо докручить агрегированный контент до товарного вида, то увеличивается кликабельность. А чем больше кликов делают пользователи (как один конкретный пользователь, так и все в совокупности), тем точнее становятся дальнейшие рекомендации. Вообще, так умеют делать большинство нормальных алгоритмических лент (например, тот же экс-Твиттер или запрещенные в РФ соцсети Цукерберга), но в те годы действительно хорошо владели этим навыком не только лишь все. Taotiao владел им хорошо, очень хорошо.
Наконец, фича третья. Сервис научился неплохо отстреливать фейковые новости и мусорные инфоповоды. Зачастую он делал это гораздо лучше первоисточника, потому что у него было unfair advantage в виде мощного алгоритмического нейрофильтра. Так что, для китайцев Toutiao стал дополнительным фильтром мозга от всякого мусора (ох, если бы они только знали, какой другой сервис в 2016 г. выкатит ByteDance…).
В последнем пункте еще можно предположить (не настаиваю), что алгоритм Toutiao умел вычищать не только явные фейк-ньюс, но и работать с более тонкими материями. Тут сами продолжите мысль, держа в голове, что речь идет не о случайной стране, а о Китае.
В итоге Чжан Имин смог:
Взять китайский интернет, выбрать из него самое интересное, превратить это интересное в готовый цепляющий контент и выплюнуть его тем, кому он будет наиболее актуален. При этом отцепляя от состава фейки и (возможно) кое-какую лишнюю информацию.
Отличный рецепт. Для Китая начала 2010-х самое то!
На первый взгляд может показаться, что еще один ушлый китаец скопировал очередной американский сервис (на этот раз - BuzzFeed), а автор этой статьи с восхищением копается в очередной китайской подделке. Но это не так:
BuzzFeed начинал как платформа, подкидывающая юзеру наиболее вирусный контент на разные темы. Однако, в погоне за вирусностью BuzzFeed, во-первых, серьезно менял и адаптировал контент из третьих источников, а во-вторых, сам создавал оригинальный контент. И для этого у него была своя команда редакторов (настоящих, кожаных). Нет, понятно, что сейчас у BuzzFeed в почете нейросети, перехватившие львиную долю работы. Однако, в начале было не так.
А вот у Toutiao людей-редакторов отродясь не водилось. Китайский сервис осмелился поставить полный all-in на алгоритмы и машинное обучение. Напомню, на дворе был 2012 г. Только-только набирала обороты предыдущая волна искусственного интеллекта, Cэм Альтман недавно присоединился к Y Combinator, а OpenAI еще и в помине не было.
Кстати, показательно, что Toutiao иногда называют “китайским BuzzFeed с мозгами”. Заметьте, не наоборот! Возможно, эту метафору придумала какая-нибудь честолюбивая нейросетка, кто знает.
Рост, проблемы и решения
Уже в 2014 году у сервиса было 20 миллионов активных пользователей. Для Китая это не предел мечтаний, но за два года - вполне достойный результат. К 2016 г. набралось почти 80 миллионов, а в 2018 г. сервисом пользовались 200 миллионов уникальных китайцев. Вот это уже серьёзные цифры даже для Поднебесной!
Насколько я понял (лол), на графике показано ежедневное число активных юзеров Toutiao по годам. Да, при всём моём интересе к китайскому tech, я терпеть не могу собирать инфу о нём…
Однако, у сервиса была и темная сторона - проблемы с авторским правом. Конечно, далеко не весь интернет защищен копирайтом, и Toutiao вполне хватило бы и свободного контента, чтобы разгуляться. Однако, для пущего сетевого эффекта хотелось охватывать всё.
Изначально Toutiao практически не сотрудничал с издательствами и новостными порталами. Агрегатор просто брал из интернета всё, что не приколочено намертво. За счет этого Чжан Имин довольно быстро перетянул у СМИ серьезную долю интернет-трафика и стал монетизировать её через рекламу.
С одной стороны, это вполне закономерно бесило всю китайскую медийку. Но с другой, они понимали, что воевать в открытую нельзя - в таком случае ByteDance просто испортит им конкурентную позицию и лишит трафика, отключив от своей агрегации. Проще говоря, они прозевали момент, когда Toutiao был маленький и беззубый.
Решение нашлось. Постепенно Toutiao стал заключать партнерства с новостными площадками. У одних (в основном, самых крупных) просто покупали доступ к контенту - Toutiao мог брать их контент, а взамен отчислял процент от своей рекламной выручки, либо же просто платил определенный тариф. Другие стали делать для Toutiao специальные секции. Иногда в них был другой формат, но сильно борзеть было нельзя, иначе ByteDance мог разозлиться и прекратить сотрудничество. Некоторые журналисты, авторы и небольшие издания сразу шли на Toutiao - либо полностью, либо вели на нём рубрики. Взамен получали халявные охваты (примерно как твиттерские блогеры, т.е. вполне обычная интернет-история).
Toutiao действительно плотно проник в жизнь китайцев. Один из пруфов - число ежедневных минут в приложении в сравнении с западными сервисами (на графике данные за 1 квартал 2016 года). *Instagram и FB запрещены в РФ
Нужно сказать, что одна из главных суперсил Toutiao - оперативность подачи релевантной информации. За счет этого периодически удавалось красиво хакнуть рост.
Например, очень круто помогли большие спортивные турниры. Когда в 2014 году в Бразилии проходил футбольный чемпионат мира, Toutiao стал для китайцев лучшим способом получать самые быстрые апдейты. Когда кто-то забивал гол, то оповещение в Toutiao было тут как тут. Не удивлюсь, если китайские любители футбола узнали об унижении бразильцев от немцев на несколько минут раньше, чем весь остальной мир.
Похожий фокус провернули и на Олимпиаде в Рио в 2016 году. Тогда Toutiao запустил социальный проект - “цифрового журналиста”, пишущего короткие заметки о спортивных событиях еще за несколько минут до его окончания. Художественными изысками они не отличались, но зато били все рекорды скорости.
Получается, оба раза китайскому цифровому сервису помогли крупные турниры в Бразилии.
Так вот как, оказывается, работает БРИКС!
Toutiao (точнее весь ByteDance, но до Douyin/Тиктока Toutiao был его главным продуктом) активно привлекал инвестиции. Вложиться успели несколько китайских корпораций, включая “главный аналог Твиттера” Поднебесной под названием Sina Weibo, а также Sequoia Capital, структуры Юрия Мильнера и много кто ещё. Когда Тикток начал разрывать мир и привлекать еще более серьезные суммы, Toutiao тоже перепадало хорошее финансирование.
Как появился Тикток
В 2015 г. на Toutiao появился собственный раздел с видео. Пользователи могли загружать короткие видосы, после чего продвинутые алгоритмы платформы раскидывали их нужным зрителям.
В 2016 г. видеораздел Toutiao собирал более 1 миллиарда просмотров в день, что делало плошадку сервисом коротких видео №1 во всём Китае. Здесь важно, что именно коротких видео! В сегменте длинных были и более зубастые драконы.
В сентябре 2016 года Чжан Имин решил поменять название для видео-секции Toutiao. В итоге выбрали слово, которое на русский можно перевести примерно как “завлекать” или “соблазнять” (на просмотр видео, само собой, про онлифансы в Китае тогда речи не шло). А по-китайски это слово звучит не иначе как “Douyin”.
Уже в декабре этого же года ByteDance понял, что создал нечто колоссальное и монструозное, и отпочковал Douyin в отдельный сервис.
Как вы понимаете, всё самое лучшее для рекомендательного алгоритма нового приложения взяли у Toutiao. Еще через год ByteDance выпускает глобальную версию Douyin под названием TikTok. А дальше - история.
На данном фото уважаемый китайский IT-предприниматель Чжан Имин что-то объясняет какому-то случайному лаоваю.
Toutiao же успешно работает до сих пор, снабжая вирусным контентом и актуальными новостями более 350 миллионов китайцев.
В завершение хотел бы отметить два момента:
Момент первый. Из моей статьи может показаться, что вот был такой китайский интернет-контент, потом пришел Чжан Имин на белом коне, агрегировал весь контент через Toutiao и умчался в закат (точнее, в Тикток). Конечно, в реальности всё было гораздо сложнее. В 2010-х в Китае была жуткая грызня за индустрии, и иногда бойня в tech-секторе выходила за всякие рамки. Погуглите, например, “Войну тысячи Групонов” или как Tencent расправлялся с конкурентами. Так что, ByteDance развивал свой продукт в условиях дичайшего соперничества.
Момент второй. Из истории видно, что китайские стартаперы создали прорывной и очень сильный ИИ-продукты во времена, когда ИИ был совсем не тем, что нынче. Хотя сейчас в ИИ-гонке вроде бы лидирует США со своими OpenAI, Microsoft, Google и Nvidia, кто знает, что там готовят сумрачные китайские гении. На эту тему крайне рекомендую почитать книгу “Сверхдержавы искусственного интеллекта” за авторством Кай Фу Ли (про конфликты китайских предпринимателей там тоже есть, кстати).
Вот теперь the end.
***
Если вам зашло, то подпишитесь на мой тг-канал Дизраптор. Там много подобных материалов - не только про Китай и ByteDance, а вообще. Разборы крутых компаний, инноваций, продуктов и чего только не. Каждый день туда пишу большие содержательные посты, а еще анонсирую все статьи, которые выходят регулярно. Также есть второй канал Фичизм, где я разбираю интересные и яркие фичи. Тоже заходите.
Такую задачу поставил Little.Bit пикабушникам. И на его призыв откликнулись PILOTMISHA, MorGott и Lei Radna. Поэтому теперь вы знаете, как сделать игру, скрафтить косплей, написать историю и посадить самолет. А если еще не знаете, то смотрите и учитесь.
Очередной пример когда автор не понимая процессов идет ругать всех на право и на лево.
Очевидно реклама Яндекса попала сюда примерно следующим образом, Яндекс платит партнерам, которые интегриртся возможно даже автоматически за добавление своего по в установку их по.
Вопрос, имеет ли Яндекс непосредственное отношение. С вероятностью 99% нет, этим занимается сама компания utorrent сделавшая.
p. s. Не говорю что Яндекс хорошие или молодцы, просто в этой ситуации без вины виноваты, а так след гавна за ними имеется.