alexmarned

Поисковый робот - простая задача, оббежать страницы и собрать данные. К тому времени я уже написал полсотни парсеров и думал что это займёт пару часов, написать своего робота. Пусть он будет примитивный, но наверняка облегчит мне работу с поставщиками. Нашел пример в интернете, разобрался и в выходной под вечер нашёл для этого время.

Поначалу было всё просто – на входе список, на выходе файл с данными. Пока поставщиков в списке было пять, то это очень хорошо работало, и я радовался – сделал свою версию поисковика. А потом стала реальная задача – поиск по двум сотням сайтов. Ну я запускаю и нечего не отрабатывает – кодировка сайтов поменялась. Потом скрипт на сайте меня выбрасывает. Потом мой поисковик блокируют. Потом на сайте работает скрипт подменяющий информацию для роботов.

То, что тогда получилось, можно увидеть здесь

http://alexmarned.zzz.com.ua/baza/poisk-kontaktov-na-sajte/  На данный момент это уже очень старая версия, не стал ничего менять и перезаписывать, конечно сейчас все и работает, и выглядит по-другому.

Я дорабатывал поисковик урывками, без надежды когда-либо решить все возникающие вопросы – их список рос быстрее чем весной растёт сорняк. Данные не записывались из-за кодировки (отчасти я эту проблему поборол, частично это ещё проблема), были сайты, которые грузились минутами – сайт не завис, просто так выводится информация на сайте, по три сотни фотографий за раз, по двести документов на странице, по 50 и даже 100 Мбайт информации на странице (были и по 500 Мбайт).

Были другие языки на сайтах, а мои скрипты были рассчитаны на русский и украинский языки. Добавлял английский, немецкий, другие и программа отказывалась работать, бесконечно выпадали ошибки.

И мои знания тогда были очень слабы, это бы можно было назвать пет проектом, только я использовал его в работе. Одновременно я учил алгоритмы и учил языки - сперва я пытался запустить поисковик перебирая варианты, потом сдавался, лез в теорию и ух ты, да такой алгоритм уже давно разработан, воспользуюсь и я таким же готовым кодом.

И так я его по частям и дорабатывал – начал с мелочей, потом добавил поиск контактов, потом стал их искать целенаправленно. Сайты размещают кучу ссылок, даже есть такие сайты состоящие из одних ссылок, специально для роботов. Подмена адресов, ловушки, блокировки, спам содержание – я всё это прошёл на собственном опыте. Подгрузка контента через ajax, подмена информации – это может и решает часть проблем на сайтах, но создаёт проблемы другого уровня.

И сейчас поисковик тоже в работе. Пусть там нет интерфейса, я делал интерфейс и забросил, поскольку я постоянно дорабатываю код поисковика. Я добавил сбор аналитики по сайтам и могу сказать, что наши сайты далеки от совершенства и клиенты часто уходят, не дождавшись ответа от сайта. Обновляйте свои сайты, рекомендации от google_a вполне обоснованы.

Наименьшей проблемой был вопрос – «А как зацепиться за поисковый запрос и вытащить информацию по направлению?» И потом поиск по найденному, тут пытался, пытаюсь и буду дальше изучать, и делать свой поиск. Мне это не только интересно, но и очень нужно в практическом плане.

В общем, чтобы сделать первую версию своего поисковика, у меня ушло 9 месяцев. С учетом тех моих знаний, наверное, это было быстро, сейчас бы написал за неделю или меньше – но откуда бы я получил такие знания, не пройдя этот путь? У меня основной язык php, а там задачи уровня «записать в базу, считать с базы, проверить данные, вывести данные». Да, там может быть столько связей и данных, что голова начинает болеть, только поисковик — это задачи немного пошире.

И я по-прежнему учу алгоритмы, паттерны, языки (из-за стилей добавляемых wordpress я вплотную занялся изучением javascript), дорабатываю поиск по сайтам и поиск в найденном, немного машинного обучения и это сильно помогает найти данные в интернете. А найденные данные, это найденные контрагенты, клиенты, поставщики, юристы, бухгалтеры и всё что нужно. В общем это нужная в хозяйстве вишь, без дела не лежит.

Если это интересно, то плюсуйте, задавайте вопросы - распишу подробнее, я не одну книгу изучил, что бы его написать.

Я уже писал, как я учил php - долго, мучительно и без надежды что-либо понять. Ментора не было, времени не было, зато были задачи, которые я пытался решить разными способами через программирование.

Сейчас ситуация получше – вопросы по собеседованию на джуна оттарахчу без запинки, wordpress это что-то родное, opencart тоже вопросов не вызывает и на чистой пыхе могу написать сайт / приложение. Парсинг вот только не задался на php, пришлось взять более простой вариант, заодно и нейросити изучаю.

Расскажу из своего опыта обучения. Я раньше работал на крупнейшем предприятии, тогда оно занимало 4 место в мировом рейтинге, сейчас конечно скатилось. Но я большую часть работал на пике этого предприятия. И вот по приходу на комбинат мне понадобилось изучить инструкции, к охране труда тогда относились наплевательски, а вот технологические инструкции мне нужно было выучить.

Инструкции у нас пишутся в нескольких вариантах, можно в разрезе цеха, участка, профессии (теперь это необходимость, но не тогда), можно по технологии и другие варианты есть. Обычно на производстве есть кипа инструкций, в которых ориентируется четыре – пять человек на цех, это в лучшем случае. То есть они должны быть, это требование при проверках, а вот что там написано - это уже лучше не спрашивать.

И вот в моём случае было так же. Полистал, почитал, ничего не понял. Спасли ситуации старшие - дали блокнотик, там схемотично всё записано и зарисовано. У одного одно, у другого немного больше, передраны они были неизвестно у кого, так ошибки все и повторили. И я себе завёл толстый блокнот, тоже туда записывал, при любом вопросе лез туда искать ответ, поскольку если постоянно спрашиваешь, то люди разные, не все ответят, то ли не знают, то ли по жизни такие уродились, не всегда правильно ответят. А это время, на производстве поток, любая моя заминка — это остановка всего потока.

И почти сразу после чтения этих блокнотов и инструкций я взял ГОСТ и сделал себе кратенькую шпаргалку. Она получилась настолько удачной, что через неделю ею пользовалась вся моя бригада (а я был новичок с наименьшим разрядом), а через пару недель пользовались вообще все. Почему этого не сделали до меня, я не знаю. И сейчас пользуются именно ей, ничего лучше не сделали.

Мастера тоже пользуются, когда я работал мастером, то конечно сделал более высокого уровня в разрезе комбината.

Через четыре года я уже работал по 6 разряду, это был предел на том участке. Приходили новички, их обучали мастера. Первые пару лет от поступивших не было никакого толку, всё как в анекдоте, они годились только ключи подавать. Я всё недоумевал, да что там сложного, мне хватило полгода, что бы это уже у меня всё спрашивали, а тут год прошёл, второй, третий, а знаний у них никаких, к самостоятельной работе их не допустишь. Меня это вроде как не касалось, за всё отвечает мастер, но всё же.

И вот о программировании. Сроки пишут от двух месяцев до почти года. Два года более реально по срокам обучения. Выучат ли людей на курсах - конечно нет. Исходя из своего опыта, да это можно сделать, только тут нужен другой подход, совершенно другой. Я видел восхитительный материал курсов, а те, кто по нему учился не мог сложить два плюс два в пределах материала. Почему так – сложно описать даже в паре постов, хотя что делать можно описать очень кратко.

А вот если есть ментор, то что-то измениться? Ну на производстве за каждым новым работником был закреплён наставник, ситуацию это меняло очень мало.

Хотя лично я выучил несколько человек предельно быстро, пусть только в их сфере деятельности, но это значит, что я что-то понял об работе мозга в сфере обучения.

Так я расскажу три печальные истории таких разработок, которые я знаю. Первая – крупная фирма, владелец понимает, что его бизнес может обрушится в один момент и заказывает сайт за полсотни тысяч баксов. Не мне заказывает, ко мне обратилась фирма которой заказали. Больше половины денег они на тот момент потратили и искали кто бы сделал за мизер от остатка. Находили исполнителей, на радостях оплачивали аванс, и исполнитель пропадал.

Я им предложил сделать сайт, почти то, что они хотели, только по частям. Через двое суток их сайт бы уже работал, через сутки пошла бы аналитика и заработали подключённые сервисы, через ещё сутки работали бы платёжные системы. Нет, им было нужно всё сразу и с гарантией, Что включалось в гарантию, они сформулировать не смогли.

Вторая история – звонят хлопчики, подхватили заказ на почти 2 000 баксов, это должен быть магазин на Laravel. И спрашивают меня – «Вот вы можете это сделать?». Ну могу, конечно не в те сроки, что они хотят и не с тем функционалом. Что бы долго не растягивать, прислал им список файлов электронного магазина стандартной установки, оин и сникли. Ну вот не делали они никогда таких разработок, а может и вообще они не разработчики, думали, что 2 тысячи за такую работу хватит на всех.

Был предприниматель, которому полтора года делали чудо сайт, каждый месяц отчитывались что сделано, а он оплачивал. Там ещё реакт был. Через полтора года он наконец потребовал не отчёт, а сайт. И вот сайта не было, не успели сделать, там пилили начиная с аз, буки, веди и дальше не успели. Ему скинули какой-то код, который ему без надобности и написали что деньги закончились и разработчиков он больше содержать не может. А он хотел самый стандартный магазин, потом ошалевшим голосом переспрашивал – «И что всё? Уже работает? А что же они тогда полтора года делали?»

И могу такие истории продолжить. Так что вывод делайте сами, быстро и надёжный вариант для первого бизнеса который предпочитают миллионы или рассказы – «Мы вам сделаем уникальный сайт, он будет очень хорошо индексироваться». Ещё бы про это сео расписать, только сегодня нет времени.

Так я расскажу три печальные истории таких разработок, которые я знаю. Первая – крупная фирма, владелец понимает, что его бизнес может обрушится в один момент и заказывает сайт за полсотни тысяч баксов. Не мне заказывает, ко мне обратилась фирма которой заказали. Больше половины денег они на тот момент потратили и искали кто бы сделал за мизер от остатка. Находили исполнителей, на радостях оплачивали аванс, и исполнитель пропадал.

Я им предложил сделать сайт, почти то, что они хотели, только по частям. Через двое суток их сайт бы уже работал, через сутки пошла бы аналитика и заработали подключённые сервисы, через ещё сутки работали бы платёжные системы. Нет, им было нужно всё сразу и с гарантией, Что включалось в гарантию, они сформулировать не смогли.

Вторая история – звонят хлопчики, подхватили заказ на почти 2 000 баксов, это должен быть магазин на Laravel. И спрашивают меня – «Вот вы можете это сделать?». Ну могу, конечно не в те сроки, что они хотят и не с тем функционалом. Что бы долго не растягивать, прислал им список файлов электронного магазина стандартной установки, оин и сникли. Ну вот не делали они никогда таких разработок, а может и вообще они не разработчики, думали, что 2 тысячи за такую работу хватит на всех.

Был предприниматель, которому полтора года делали чудо сайт, каждый месяц отчитывались что сделано, а он оплачивал. Там ещё реакт был. Через полтора года он наконец потребовал не отчёт, а сайт. И вот сайта не было, не успели сделать, там пилили начиная с аз, буки, веди и дальше не успели. Ему скинули какой-то код, который ему без надобности и написали что деньги закончились и разработчиков он больше содержать не может. А он хотел самый стандартный магазин, потом ошалевшим голосом переспрашивал – «И что всё? Уже работает? А что же они тогда полтора года делали?»

И могу такие истории продолжить. Так что вывод делайте сами, быстро и надёжный вариант для первого бизнеса который предпочитают миллионы или рассказы – «Мы вам сделаем уникальный сайт, он будет очень хорошо индексироваться». Ещё бы про это сео расписать, только сегодня нет времени.