Нейронная сеть, которая верстает сайты по картинке
Прошёл почти год с того момента, как на GitHub опубликовали алгоритм pix2code. И вот ребята из FloydHub на его основе создали нейронную сеть для вёрстки страниц, которую уже
можно запустить самому.
Работа алгоритма делится на 3 этапа:
1. Алгоритм получает JPEG-изображение дизайна страницы.
2. Алгоритм конвертирует элементы в HTML- и CSS-код.

3. Полученный результат
Чтобы получить такой результат, разработчики скармливали алгоритму скриншоты и присваивали определённые HTML-теги, в итоге получился датасет, с помощью которого можно генерировать шаблонные сайты. Ниже будут примеры.
Алгоритм учится предсказывать соответствующие HTML-теги, последовательно «изучая» изображение на входе. Когда алгоритм предсказывает следующий тег разметки, он получает скриншот и все «правильные» теги HTML-разметки для этого элемента.
Примеры:
- 250 циклов работы алгоритма;
- 350 циклов работы алгоритма
- 450 циклов работы алгоритма;
- 550 циклов работы алгоритма.
Везде выше можно посмотреть пример исходного кода, сгенерированного нейронной сетью, а вот оригинальный сайт, скриншоты которого скармливали алгоритму.
Более техническое описание проекта доступно по ссылке, а ноутбук для запуска в Jupyter лежит тут.
Взято отсюда.
На самом деле желающих иметь сайт всё равно ещё очень много, зачастую в фирме 1,5 человека работает и на тендерах и прочих не онлайн продажах, а сайт всё равно нужен как визитка компании. Да, многие через соц.сети продают, но это довольно небольшая ниша ширпотреба, а очень много фирм которые либо b2b, либо продают дорогие товары, им без сайта или хотя бы площадки на каком-нить агрегаторе никуда.
Впрочем у меня может быть деформация картины мира, из ЦА нашей компании. Но опыт подсказывает что любой зачуханный магазин мебели/дверей на окраине и то хочет себе онлайн магазин(то что он ему не нужен, не значит что он его не хочет и не купит).
Соглашусь, но мало кто это поймет.
1)ВК выбирают не потому что это круче, а потому что это единственная возможность хоть как-то получить продажи, без особых затрат, у всех нормальных компаний есть и страница в ВК и сайт и инстограмм и по чуть чуть с каждого источника получают свою ЦА.
Плюс к этому не всю ЦА можно найти в соцсетях. (щебень, пожарные сигнализации, медицина и еще около 10000 тематик)
Картина поменяется если VK сделает полноценные магазины как в Ebay
2) WEb сейчас в моде и только развивается, веб состоит не только из сайтов визиток, сейчас любая аналитическая система, панель управления делается в виде веб интерфейса (на беке API для фронта, на фронте react/vue) , доля таких проектов в среднем бизнесе очень велика.
3) Нейросеть никого не заменит, но она поможет веб-разработчикам делать какие-то простые вещи быстрей, подготавливать структуру проекта и всякое такое, а мелкие блоки и логику придется уже продумывать сасостоятельно, т.е. другими словами , человек который пользуется нейросетью все равно должен будет знать от А до Я CSS+JS. И самое главное не стоит забывать о поддержке кода, написать можно все что угодно, а написать поддерживаемый код, придерживаясь методологий , код стайлов - это уже сложней. А еще докумнетация нужна, тесты и куча всего.
p.s. FLOAT:LEFT , кому это нужно в 2018? , уже флексы давно используют.
Полностью с вами согласен)
Человек открывает для себя таинства русского языка
Безо или безе?
Да
примерно
Интересная тема с этими сетями нейронными пошла. Они уже и фотошопят и порнуху снимают. Теперь вот сайты. Рано или поздно это приведет к созданию полностью автоматизированного интеллекта который сможет всем этим управлять и выдавать точные и качественные результаты. А учитывая неминуемую популярность - будет быстро обучаться. Как итог получим качественные и дешёвые ИТ продукты. С которыми не сможет конкурировать даже гениальный человек чисто физически (жрать, срать, спать - роботу не нужно).
ВЫВОД: Бросаем учебу и срочно устраиваемся в ЖЭК дворниками. Скоро эта вакансия станет дефицитом. Получается такой регресс человечества через прогресс машин.
Говоришь, прямо как после изобретения парового двигателя. Или как после появления электричества. И во времена индустриализации так же говорили. А еще после появления компьютеров.
Есть разница между изобретением топора и изобретением "изобретателя топоров". Все о чем ты говоришь - топоры.
Шустро вы версатальщиков с созидателей записали. Но если обойтись без философии, то речь идет всего лишь о том, что машины снова отберут работу у низкоквалифицированных рабочих. Правда, как показывает практика, работа для них все равно находиться, несмотря на бурный рост населения.
Ну верстальщики это просто пример я думаю. Сюда можно практически любую специальность прикрутить при желании. Как оно будет на самом деле, разумеется, покажет время. Однако не стоит недооценивать происходящее я думаю.
Если бы вы почитали о том что такое нейросети, то не питали бы иллюзий относительно их всемогущества. Автоматизировать через них можно далеко не все. Нейронкам по прежнему недоступны абстракции, и едва ли когда будут. А значит архитектура программирования едва ли когда-то будет автоматизирована. Плюс технологии не стоят на месте, и развивают их опять же люди. Обучать нейронки новым технологиям долго и дорого. Очень дорого. Учитывая как часто они сейчас выходят)
Специалистов, занимающихся созидательной деятельностью - на данном этапе нельзя заменить машиной. Как и художников всех мастей.
О!
Нейросеть пишет музыку в стиле Баха так, что более 50% людей, не имеющих высшее образование, не могут отличить музыку, созданную Бахом, от музыки, созданной Н.
Н. Научилась оценавать ценность картин лучше людей. Критиков в топку.
Н. научилась ставить диагнозы и прописывать лечение лучше, чем люди, в связи с чем медпрофсоюз во Франции требовал не использовать его и угрожал забостовкой.
Про художников вообще молчу- в стиле любых художников пишут картины или переводят фотки в картины или что угодно.
Нейросети обучаются в миллионы раз быстрее людей. Мы уже выпустили джинна из бутылки и мы уже проиграли.
я и так Баха от других композиторов не отличаю
1. По стоимости работ. Все тупо.
2. В том-то и фишка, что оценивали люди, которые могут/должны отличать.
1- эта музыка звучит как саундтрек к контре, но никак не в стиле Баха.
2-про оценку картин вовсе бред. Если оценщики опиентируются на ощущения, то на что ориентируется машина? В обоих случаях несерьёзно.
3- тут хз, я не медик
4- произведение искусства это не то, как оно выглядит, а то, что оно за собой несет, насколько увлекает. Нейросеть может создать картину "в стиле" какого-нибудь Айвазовского, но не может выработать собственный стиль и собственные мысли.
Вы знаете, о чем пишите, или "по ощущениям"?
Если бы не знал- то работал бы на заводе ;)
Н. научилась ставить диагнозы и прописывать лечение лучше, чем люди, в связи с чем медпрофсоюз во Франции требовал не использовать его и угрожал забостовкой.
Пиздец врачи пидорасы. Лучше пусть люди умирают от неверных диагнозов зато мы не потеряем работу. Я еще слышал что в Америке из за забастовок врачей не ввели робота анестезиолога хотя он делал инъекции в 10 раз дешевле. И при этом лучше высчитывал дозы. Но нет сохранить свою работу важнее чем чью то жизнь.
Нейросети фотошопят уже. Что мешает им научится рисовать? Сделал фото с натуры, перевел в нужный формат, подфотошопил что надо, распечатал на спецовом принтере, который брызгается масляной краской или любым другим инструментом. Вот тебе и художник.
Но ведь школьник превращается... превращается школьник... в элегантные шор... в студента всмысле.
Нейронкам недоступно представление абстракции.
Развитие все равно не стоит на месте, думаю, что лет 10 пройдет и сможет нейронка хотя бы какие-то зачатки абстракции выдавать.
Любопытно было бы взглянуть) Особенно на количество хард-мощностей для обработки таких массивов данных. Не иначе ниагарский водопад для охлаждения прикрутят XD
тут скорее информация к тому, то нужно быть не верстальщиком, а погонщиком нейросети которая верстает. Что именно это скоро станет современным и быстрым инструментом.
Думаю, что первое время будет примерно как печатный пресс и рукописные книги. Одни дорогие, качественные, красивые, вторые дешевые, но кривоватые. чтоб довести до ума надо будет 10-15 лет.
Выше написал, что это не так.
Да и игру в го, например, стандартной задачей не назовешь- там слишком много вариантов.
Есть нейросети с обучением через "как надо" и сети с обучением без учителя
Быть им мешает неумение мыслить, отсутствие чувств и человечности в целом. Ты можешь быть сколько угодно техничным скульптором, но какой в этом смысл, если никто не хочет смотреть на твои работы? В добавок ко всему, нейросети создают ничего нового, они смешивают существующее.
Человек тоже делает что то новое лишь смешивая старое. Люди это и есть высокотехнологичные компьютеры
сегодня верстальщики, а завтра у тебя считывают мысли, и ИИ сам пишет код под твои хотелки
Потому что тяжело человеку с нынешними знаниями просто на ровном месте представить, чем ты будешь зарабатывать на хлеб в будущем. Потому что никогда не будет той халявы и равноправия как было у людей в мультике WALL-E. Хотя даже там ими всеми правил один ИИ.
_Если вы не заметили у нас уже больше 70-80% людей работает в сфере обслуживания, так как производство почти все автоматизированно. Если автоматизируют обслуживание, людям уже деваться толком некуда будет.
Люди будут заниматься чем то еще? Что за упаднический консерватизм, сейчас огромное количество людей заняты в областях, которых не существовало 5, 10, 15, 20 лет назад, и глупо считать, что мы уперлись в потолок, и ничего нового уже не будет. Люди будут больше заниматься интеллектуальным и творческим трудом, сфера развлечений растет как на дрожжах, люди уже играют в игры за деньги, пока роботы гайки закручивают. Вот так потеря, да?
Базовый доход ? Кто-то же должен покупать произведенное и автоматизированное
А вообще, чиновников давно пора автоматизировать.
Паровая машина - пустая затѣя. Угля хватитъ въ лучшемъ случаѣ на сто или двѣсти лѣтъ.
Можно нефть использовать как топливо, но и она тоже конечная. Динозавры вряд ли снова появятся.
Дворниками?
Т.е. их не заменят машины? )
А им ходить по улицам не надо. )
А ещё строителей и джамшутов
нейросеть, к сожалению, так не работает. она работает на патернах, обучаясь уже на готовых предметах, что-то дать ей новое без примера, чего свет не видел, она не сможет ничего сделать/построить. Именно поэтому надо уходить в науку
Есть обучение с учителем и без
Интересная тема с этими двигателями. Они уже и телеги толкают и и ткани шьют. Теперь вот автомобили. Рано или поздно это приведет к созданию полностью автоматизированного машины который сможет всем этим управлять и выдавать точные и качественные результаты. А учитывая неминуемую популярность - будет быстро улучшатся. Как итог получим качественные и дешёвые продукты. С которыми не сможет конкурировать даже сильнейший человек чисто физически (жрать, срать, спать - роботу не нужно).
ВЫВОД: Бросаем учебу и срочно устраиваемся в ЖЭК дворниками. Скоро эта вакансия станет дефицитом. Получается такой регресс человечества через прогресс машин.
Плохой вывод...
Ну и бредятина.
Это всего лишь означает, что будет нужно меньше программистов, вот и все, никуда они не исчезнут. "Качественные и дешевые ИТ продукты" будут только те, которые шаблонные
"Завод станкостроительных станков" смотрел? Уже в шаге от российского кинематографа
А чо, норм. Человек будет избавлен от необходимости писать тонны строк кода
Есть еще заводы
И учить языки программирования, пока машины не сделали их государственными.
В этом государстве три официальных языка 1С, Visual Basic и Паскаль.
Ты просто теряешь основную фишку, у тебя появился инструмент который позволит тебе делать работу быстрее, потому как эта история повторяется постоянно: сначала все сайты делали вручную, потом появились готовые CMS, но разработчики не осталась без работы.
Я вот планирую присмотреться и возможно возьму на вооружение, что бы оно за меня делало часть скучной работы, а нюансы прорабатывать буду я.
верстальщиков это не убьет, просто определенный сегмент рынка сможет решать свои задачи без верстальщиков, многим нужны говно сайты без поддержки кода и всяких наворотов, без качественной структуры кода, новых технологий и прочего добра. Сейчас многие вроде как делают даже сайты на WIX , убило ли это веб? зарплаты фронтенд разработчиков только растут.
Когда вышел Bootstap все говорили, что верстка умерла, теперь можно сделать сайт за 30 минут адаптивный, но у где этот бутстрап? Никто им не пользуется, кроме как прототипов или каких-то очень простеньких структур сайта, так же и с этой технологией будет.
Да, есть такое. Я безумно рад развитию технологий и тому, что новички все быстрее приходят к чистому коду и его форматированию. Но также отпугивает повышение конкуренции и реально заменой роботами того, чем ты раньше зарабатывал.
Еще чуть и требования на джуна будут такие большие, что потянет лишь нынешний senior
Курс по ИИ тебе в помощь! Пока не поздно, так сказать ;) Не будешь верстать, будешь нейросети обучать!
PHP комманды туда пока AI не вставит, ровно как и на JS шаблоны для SAP не распилит, и поведение элементов не напишет...
Это временно
По скриншоту начнет понимать весь возможный интерактив? Никогда.
Для этого нужна дополнительная инфа на входе, тогда сути это будет работать как любой из существующих конструкторов сайтов.
По паре скриншотов уже вполне можно создать поведение. Для 90 %заказов этого поведения будет достаточно если заказчик Что то особенное вдруг не захочет. В чем проблема написать бекенд? В большинстве своем одна и тоже функциональность.
Я конечно верю в технологии, но там, где даже у людей будут уточняющие вопросы к заказчику, машина точно ошибётся. За ней потом нужно сидеть исправлять, и хорошо если исправление будет быстрее, чем создание с нуля.
Здесь уже описали идеальное применение этой технологии на данный момент -- быстрое создание живых прототипов будущего сайта для наглядности. Это да, это полезно
Ну как бы обычные верстальщики, уже давно упали в цене, и сейчас продолжают падать, если ты нормальный фронтэнд разработчик, то это не должно тебя пугать.
нуу, я тоже верстак, но никогда не парюсь по этому поводу и вот почему:
наклепать какую-нибудь хрень сможет и нейросеть и еще куча всего.
но сделать хороший продуманный сайт с анимацией не смогут нейросети явно, так что, если ты хороший верстак - бояться нечего)
Пока не сможет.
Это задача создателей прототипов.
Да и до этого дойдет быстро.
почти уверен, что вся разработка замениться нейросетью, кроме всяких сисадминов, возможно.
это дело времени
Скорее всего, к этому времени, привычных нам сайтов не будет.
То есть, относительно, скоро.
А меня - нет. Обычный клипальщик говносайтов.
Не парься, была куча попыток избавиться от верстальщиков и не одна не взлетела
З (заказчик), В (верстающая нейросеть).
З - Долго ещё?
В - Осталось 20 циклов из 50.
З - Покажи, что уже готово.
В - Вот ссылка, остаётся только адаптив настроить.
З - Ага, вижу. Мы тут подумали, нужно изменить хэдер первого блока, также под него изменить хэдер второго блока, и измени основной цвет на светло-пурпурный.
В - ... Но ведь свёрстано уже 80% работы.
З - И пусть каждое воскресенье будет другой заголовок в баннере и Снежинки зимой пусть падают, а осенью - листики. А весной... ну сам придумай что-то такое, чтобы оживить сайт.
В - Я вообще-то только верстать умею.
З - что за бред? Нам тебя посоветовали, как хорошего специалиста. ТыЖПрограммист.
Кажется так нейросеть нас и истребит
В комментах на разных ресурсах уже разобрались, что получается дичь. До автоматизации пока как до луны
Ну главное начать. И если инвесторы увидят потенциал- будут развивать или вы сразу хотели, чтоб эта сеть и сайты норм верстала и попутно лица актрис на порно лепила?
Потенциал для инвесторов заключается в наличии слова "нейросеть". Более дальновидные предприниматели написали бы "нейросеть на блокчейне".
лет эдак 7-8 назад, под фотошоп был плагин (платный разумеется), который из PSD верстал. тоже что-то толп безработных верстальщиков из-за этого не видно.
Верстальщеское лобби выкупает патенты на эти продукты, тем самым препятсвуя их развитию.
блять, где записаться в лобби? Надо пару идей продавить)
Это просто.
Достаточно во все свои проекты добавить в HTML следующий код:
На мой взгляд тут бесконечный цикл с отступами
Так и есть. Инфинит луп.
Может крашнуть браузер. Забавно же?
Для говносайтов прокатит, но для говносайтов есть куча готовых шаблонов, которые правятся заменой переменных в less-файлах. Большинство контор зарабатывают на хлеб с икрой в этой нише.
Для более серьезных проектов уже нужно писать структурированный, поддерживаемый и потенциальной расширяемый шаблон, с семантически названными классами, который машина с её .block-123 > block-123_inner не напишет. Ну и всякие анимации, привязка к бэку, интерактивность, адаптивность (!)...
Шах и мат, погромисты!
Шучу.
Шучу, не шучу.
Ну и что, делает небось статичные странички на div-ах. Кому они нужны?
Со временем все будет, текущий результат тоже важен, мб инвесторы найдутся.
Да. Безо всякой адаптивности и с выстраиванием дивов в линию при помощи float: left.
Скорее всего, после определенных доработок зайдет всяким веб-дизайнерам, которые не умеют верстать и хотят быстро получить статичный прототип, чтобы посмотреть, как он будет выглядеть в браузере.
Ну, ещё после других доработок - в верстке имейлов. Там вообще своя атмосфера и свои костыли.
А для большинства это бесполезная игрушка, ибо в эпоху реактов, вуе и пр. SPA-штук разметка генерится из JS для каждого фреймворка своим шаблонизатором.
Вот для этого огонь, то что нужно.
Ну, там есть возможность генерить с использованием Bootstrap, что может не слабо облегчить процесс дальнейшей работы.
Так все равно код будет не юзабельный в плане дальнейшей натяжки
сейчас 50% сайтов, как минимум, делаются людьми совершенно в этом не шарящих.
Как и многое другое в этом мире.
Это каким образом?
Всегда немного разные истории. Ну, вот из последних. Фирма занимается каминами, печками и всем, что с этим связано. Находят подрядчика. Девочка, менеджер по продажем в сео-компании. Договаривается на переговорах по сео сделать им сайт за 40 тыс. В то время как их контора, от которой она приехала по сео, предлагает сайты от 80 и качество ниже среднего.
Решение. Вордпрес. Бесплатный шаблон. Допиливаем до нужного результата. В сайтах девочка ноль. Но по ютубам и howto из гугла кое как устанавливает темы. Тыкается с плагинами. В итоге зарывается с версткой. Простыми правками поломала отступы и стили всего сайта. Зовет на помощь мужа. Муж поглядел и тем же методом ситуацию только ухудшил.
Ее муж мой хороший друг. Когда уже поняли, что не тянут позвонили мне. За два часа я им все поправил и настроил, хотя вордпресс ковырял в первый раз в жизни. Принципиально его не люблю.
Сайт сдали. Денюшку заработали. Осадочек остался. За второй такой заказ не возьмутся.
У меня только за январь-декабрь таких историй штук 6 наберется, т.к. обитаю в этой теме.
40к за шаблонный сайт на вордпрессе?
где они клиентов находят?
я кажется подробно написал где.
тендеры?
научу за 500р, хочу бухнуть)))
А про племянников глав. бухов и сайты за 15 тысяч я уже и вообще молчу.
я глянул код. Увидев 20 тегов footer вдоль всего макета код изучать перестал) Хотя само направление исследования мне кажется интересным.
Футер можно (нужно) использовать внутри секций и как глобальную нижнюю часть сайта, так же как и хидер
Тому же, кому и аля ucoz или wix
Ну и ничего. Раньше вообще ничего не было, а теперь есть статичные странички на div-ах.
Мое скромное мнение: многое эти алгоритмы не смогут покрыть. В верстке есть множество нюансов, которые обсуждаются с заказчиком, даже если макет уже готов. Работа некоторых блоков, их расположение на странице, взаимодействие с ними пользователя и так далее. В любом случае это позволит лишь упростить, но не заменить верстальщиков. Как максимум - нужно будет регулировать множество настроек для достижения нужного результата, создавать объемные инструкции для ИИ.
"А знаешь как называется самая точная инструкция в мире? Код."©
И в результате программа получает код, в который дает красивый результат, но в котором никто не может разобраться, и никто не сможет развивать.
Объясните как это запустить. Остановился на том, что выполнил установку всяких штук из пункта FloydHub. А что дальше?
Представляю шок заказчика сайта, когда он вдруг узнает, что для создания сайта ИсскуственномуИнтелекту требуется ТЗ в трёх томах, и что правки вносить не рекомендуется )
Так, глядишь, скоро и картинку делать не надо будет - просто накидал элементов на рабочую область и на выходе HTML. И чтоб не только для бутстрапа работала. Вот это новинка будет! Хотя погоди-ка...
В MS Word с древних времен есть возможность сохранить документ в html, чем некоторые активно пользовались для наполнения сайтов.
Пора основывать движение луддитов-программистов
Во-первых конструкторы ограничены набором этих самых модулей. Во-вторых авторские права на такой сайт принадлежат владельцам конструктора, а клиент его лишь арендует на время.
Такой расклад не всем подходит, поэтому люди заказывают разработку сайтов у живых специалистов. При серьезном подходе сначала дизайнер рисует сайт в фотошопе, а потом верстальщик глядя эту картинку пишет код. Нейросеть по задумке должна исключить потребность в верстальщике и конвертировать картинку в код автоматически.
про 3д модели не слышно еще ?
научились нейросети ассеты делать ?
Поищи на гитхабе
Всё это конечно замечательно и местами даже применимо (и нереально круто, да), но нужно понимать одну вещь: то что нынче называют "ИИ" отличается от того самого сильного ИИ примерно так же как скейтборд от ховерборда из "Назад в будущее". Идея понятна, есть даже поделки похожие на магнитиках, но на самом деле пропасть и ни разу не понятно как это сделать.
А у неё есть кнопочка "сделать охуенно"?
"Жесть он крут"
Так ведь подставить человека очень легко. Несведущие люди легко поверят увиденому с телефона.
Это не то репо - https://github.com/emilwallner/Screenshot-to-code-in-Keras ? Функционал идентичен
Программисты сами под собой пилят сук
Хватит называть верстальщиков программистами. Пичот. Это как назвать токаря инженером. Или продавца в пятёрочке брокером.
Зачёт!)))Про брокера и продавца в пятерочке, никогда ни слышал такого сравнения.
Сначала под всеми остальными. Они будут в самом конце.
Скоро говнокодеры-верстальщики будут не нужны
Они и сейчас не нужны. Хорошие верстальщики всегда востребованы.
Даже через 1000 лет будут нужны? Не смешите.
думаю да, они и 100 лет назад были, только не в вебе
Подъеб на серьезном уровне.
Насколько все плохо для верстальщиков? Есть ещё время на освоение языков программирования или прям земля под ногами горит?))
Это будет инструмент, который дает продвинутую заговку. Но все равно допиливать верстальщику. Те же эффекты, галлереи, плагины, всплывающие окна. Возможно инструмент сократит время работы над макетом. Но повысится порог вхождения, т.к. инструмент врят ли будет совсем простым в освоении. Следовательно стоимость за макет останется примерно там же. Спи спокойно.
Допилить этот код после ИИ та ещё затея, вряд-ли его будут юзать, для заготовок никто не отменял всякие Webpack и тд
Это вообще не плохо для верстальщиков. Это охуенный проект, который умеет делать прикольно и всё. До серьёзных проектов в вёрстке ему не дотянуть ещё оооочень долго. Как минимум пока не научат читать и анализировать psd и прочие многослойные форматы.
Да и вообще, я статичных сайтов давно не встречал, с конца 90-х так, так что всякую динамику и красоту ИИ потянет тоже нескоро. Ну а поддержку реализовать - это ваще никак.
Они могут умереть от смеха увидев этот код
Иди в бэкенд, делов-то
а адаптивность то хромает
Семантика нарушена. Очередная пое?бень.
Больше похоже на рекламу одного сервиса...
Только вот 4пда не первыми перевели данную новость.