Решил спросить у друга, для чего нужен robots.txt, и получил такой ответ
В общем представь большой коридор, в котором очень много дверей. Мы вешаем замки на двери которые ведут в комнаты с ловушками и всякой нечистью, и одинаковыми комнатами. А гуглу в итоге остается заходить только в открытые двери в которых находится бухло цыпочки, и играет ACDC. Хотя #ля, так он и до 10 комнаты не доберется, еще по пьяне и в ту же комнату забредет :)