Продолжаю делать сайт для экономных покупок
Сайту 1 год и я до этого публиковал только данные по купонам.
Сейчас я нашёл у магазинов товарные фиды со скидками - данные по товарам с описанием, фото и старой ценой, новой ценой.
Решил заставить сервер скачивать эти файлы, обрабатывать и выводить списком с "пагинацией" по 16 товаров на страничке.
Получается довольно любопытно, но есть несколько проблем:
- товары бывают на нескольких языках ( в том числе арабский и китайский ). И их описание может быть огромным и с html тегами.
- цены указаны в буквенных обозначениях валют ( USD, RUR... )
- ссылка на товар указана не прямая, а с редиректом, вида https://запасной сайт продавца/?url=ссылка на сам товар
- не написано, когда скидка истекает.
Буду пробовать добавлять эти данные в MySQL и там уже разбирать...
Товарные фиды собираю на товары, которые добавляются сегодня, т.е. скидка сегодня начала действовать. И в базу данных буду добавлять дату добавления этого товара. А в последующие дни сервер не будет их проверять ( слишком их много ), а просто будет удалять данные о товаре, который уже 2 недели как добавлен.