5

Как бот гугла положил вип тариф регру

Приходит в почту письмо от поддержки regru

Как бот гугла положил вип тариф регру

Очень сложно понять, что происходит из данного письма. Какой-то технарь просто выключает все сайты, не разбираясь и уходит спать.

Круглосуточная поддержка только в рекламных материалах. По факту телефон посылает писать тикет. В тикеты никто не отвечает;)

За день до этого сняли с сайтам зашиту cloudflare, regru в лице поддержки говорит, что они теперь лучше защищают сайты от нагрузки.

А вот второе письмо с предложением заблокировать боты, которые являются причиной перебоя их оборудования.

Как бот гугла положил вип тариф регру

Поддержка видимо не в курсе, что все гугло и яндекс боты давно игнорируют robots.txt.

И если вдруг у вас не получится заблокировать боты, а это 100÷ не получится, вы можете перейти на другой тарифный план;)

вип тарифа за 1619 руб в месяц не может выдержать посещение одного бота?

1
Автор поста оценил этот комментарий
1 Боты не игнорируют
robots.txt
2 запрет на обход страниц поисковики могут интерпретировать, как запрет на поисковую выдачу страниц, а индексацию могут попробовать провести.
3. Есть инструменты проверки работы файла и его директив в поисковых системах.
4. Есть директива тайм-аута между запросами бота, сильно помогает на слабых хостингах.
5. Все, что может вылезти служебного - запрещай на сервере, средствами ОС. Роботс - прежде всего для запрета попадания содержимого в индекс.
6. Не скупись на хостинг. Или делай менее требовательные к хостингу сайты.
7. Ошибки сайта и хостинга при обходе ботом плохо сказызаются на позициях сайта, свежий материал может попадать в индекс с большой задержкой.
8. Если страницы можно кэшировать, а не генерировать каждый раз - используй.
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Если доступ к странице запрещен в файле robots. txt, она все равно может быть проиндексирована по ссылкам с других сайтов. Google

https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ru&ved=2ahUKEwjViqaGmsyKAxWhJhAIHYEeGnoQFnoECBIQAQ&usg=AOvVaw14OOMXnLWRJMmIiRNxk25L

показать ответы
0
Автор поста оценил этот комментарий

Нет. Cloudflare - сторонний ресурс, формально трафик проксируется до физического сервера через них, но при подключения к CF траблы с осени из-за подключенного по дефолту ETH. У провайдеров с ТСПУ часто блочится этот протокол, в принципе отключается в пару кликов.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Протокол с осени отключен

0
Автор поста оценил этот комментарий
Значит, для гугла нужно теперь однозначно тег "ноиндекс".

По ходу, мои знания устаревают.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Яндекс, кстати, такойже;) сайт новостной есть с контентом с 2008 года, так боты не могли его проиндексировать. По очереди заходили, генерировали нагрузку. Мы с ними 3 месяца бились разными блокировками и замедлениями, пока 10 лет контента не удалили:)

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества