Некоторые паблики в контактах специально закрашивают ватермарки/метки и тому подобное. Из-за эторо и изменяется хеш. Способ распознавания дубля на основе сравнения хеш-сумм в данном случае не подходит. Сидит ньюфажина в контактике, видит новость со спизженной и обрезанной смешной картинкой с пикабу и постит. Хеш-суммы разные, ньюфаг запостит.
таки дела. Надо отжать алгоритм сравнения у гугла ли tineye для полного кайфа. Или использовать гугловский поисковик, парся его результаты поиска, добавляя в строку поиска параметр site:pikabu.ru. Но этот вариант тоже не катит, так как индексация не моментальная.
у гугла есть API, я никогда не работал с ним, понятия не имею, но там должно быть такое. Да, индексация не моментальная. Но я не знаю о готовых решениях парсить не через гугл и т.д. Может что-то есть. А вот я знаю, что постят в основном ТОЧНО такие же картинки по 10 раз, без изменений, хеши и парсинг гугла дали бы очень хороший результат.
хэш-суммы сравнивать бесполезно. Сейчас уточняю, ведется ли поиск по удаленным постам или нет (как в вашем случае, оба приведенных в комментариях поста удалены). Возможно, они просто не учитываются поисковым скриптом
