В этом посте я покажу, как с помощью VBA сделать, то, для чего VBA вроде бы как изначально не предназначен – как получить значения нужных переменных из структуры JSON.

Этот пост сделан по мотивам просьбы моего первого и пока единственного подписчика, сделавшего комментарий на предыдущий пост «Макрос получения курсов доллара за период с сайта Банка России»

В чем отличие между сервисом ЦБ России и сайтом worldometers.info? В том, что ЦБ предлагает XML сервис для автоматической загрузки информации (см. http://www.cbr.ru/development/SXML/) – ее неудобно смотреть через веб браузер, но удобно получать с помощью паучьих алгоритмов, а worldometers.info предлагает информацию для людей, а не для пауков.

Поэтому создаваемому на VBA паучку придется постараться, чтобы понять разметку «для людей».

Для работы паука необходимо дополнительно подключить три библиотеки:

1. Microsoft XML parser (MSXML) – тот же, что использовался для получения курсов ЦБ с сайта Банка России.

2. Библиотеку для работы с объектной моделью HTML.

3. Библиотеку для использования возможностей JavaScript из VBA.

Поехали:

1) Запускаем паучка на сайт: https://www.worldometers.info/coronavirus/coronavirus-cases/

Получаем html с сайта:

В полученном html паучку нужно найти и распарсить данные о количестве зарегистрированных случаев из формата JSON. Эти данные представлены вторым аргументом в вызове функции Highcharts.chart(chartName, chartData), которая на сайте рисует график.

В результате выполнения нижепредставленного кода в переменной strJson должна оказаться структура с данными в JSON формате.

Теперь самое интересное – как распарсить эту JSON структуру? Чистый VBA это делать не умеет. Но с JSON прекрасно работает JavaScript. А в VBA есть инструмент для использования возможностей JavaScript для пользователей MS Excel.

Мы можем в VBA получить уже распарсенную JSON переменную:

Проблема в том, что с объектом objJSON ничего нельзя сделать в рамках VBA – у него нет ни свойств, ни методов. Поэтому создаем эти методы на языке JavaScript. Нам нужно вытащить даты (xAxis) и количество (series->data):

Вот что пишем в VBA редакторе:

Загоняем данные в привычные VBA массивы:

Ну и раскатываем эти массивы по рабочему листу:

Вот, что получилось в результате на листе рабочей книги:

По этим данным легко построить график, например, такой:

Если захотите получить готовый файл Excel с рабочим кодом – дайте знать в комментариях.

Дополнение к первой версии парсера, для работы с каждой страничкой товара отдельно. Дописываем данный скрипт в первую версию парсера. Скрипт пробегается по первому столбцу таблицы, подгружая ссылку из каждой ячейки и отправляю ее на парсинг

function readlink() {
var ss = SpreadsheetApp.getActiveSpreadsheet();
var sheet = ss.getSheets()[0];
var range = sheet.getRange("A1:A5000");//Диапазон работы скрипта
for(var j=Номер первой строки ;j<=Номер последней строки;j++){ // Цикл для прохождения всех ячеек первого столбца.
cell = range.getCell(j,1);
getProductContent(j,"https://cleanshop.ru/"+cell.getValue())//Отправляет на анализ каждую страничку товара.
}

Если вы работаете в одной таблицы для получения ссылок на товары и их анализ.

1. Делаете копию функции function getPageContent(startRow,url) задаем ей новое имя function getProductContent(startRow,url).1.1 Настраиваем в ней рабочий диапазон ячеек var range = sheet.getRange("B1:Z5000"); со второго столбца "В" тк первый столбец занят нашими ссылками.

1.2. После чего добавляем в нее скрипты для парсинга информации со странички товара необходимой нам.

2. Настраиваете функцию function getPageContent(startRow,url) только для получения ссылок на товар и запись их в первый столбец таблицы.

2.1 Строку cell=cell.offset(1,-5); меняем на cell=cell.offset(1,0); чтобы перемещаться на одну строчку вниз не затрагивая столбцы. А также удаляем все cell=cell.offset(0,1); т.к теперь мы работаем только с одним столбцом и перемещаться по ним нет необходимости.

В итоге у вас должно получиться 4 функции

function getconten() - Для отправки страницы со списком товара на парсинг.

function getPageContent(startRow,url) - Парсинг списка товаров для получения ссылок на них.

function getProductContent(startRow,url) - Парсинг уже страницы самого товара.

Сначала запускаете function getconten() чтобы получить список ссылок на товар, после function readlink() чтобы получить информацию с товара. Если товаров много то скрипт завершится ошибкой о превышение времени работы. Вам нужно найти последнюю строчку на который он закончил и ее номер вписать в цикл for(var j=Сюда;j<=Номер последней строки;j++) в function readlink() и снова запустить скрипт тогда он продолжит уже с этой строки.

P.S Google Apps Script ‒ это язык программирования, основанный на JavaScript. С его помощью можно добавить меню, диалоги и боковые панели в Google Документы, Таблицы и Формы, а также создавать новые функции в Google Таблицах.

Кроме того, Apps Script позволяет разрабатывать приложения и взаимодействовать со многими сервисами Google, включая AdSense, Analytics, Finance, Gmail, Диск, Календарь и Карты.

Ссылка на официальную документацию

Все началось с этого

А теперь разберемся как наказать мелкого упыря

Для начала изучим правила портала

Есть бан за накрутку, отлично, давайте приступим.

Необходимый софт

WebHarvy: Парсер
RSocks: Чекер прокси
Excel: Электронные таблицы
TrafficBot: Накуртка трафика

В данном посте я не делаю полного разбора функционала данных программ, а показываю лишь последовательность своих действий.

В начале нам нужны PROXY, для этого находим сайты помоечки и переносим прокси в таблицу.

Не со всех сайтов можно скопировать принципом Ctrl + C, Ctrl + V.
С некоторых инфу собирать будем парсером

1. Вставляем ссылку с которой будем собирать инфу
2. Пока вы не нажали START программа работает как обычный браузер для просмотра Web страниц. Нажимаем START

3. Делаем клик по тем данным что нам нужно собрать

Указываем что это текст, и задаем имя для колонки данных

Видим в нижнем левом углу что программа верно поняла что мы хотим собрать
Проделываем тоже самое с PORT

Для того что бы собрать данные со всех страниц.

1. Левый клик по стр 2

2. Нажимаем Set as Next Page Link

Все что нам нужно я указал.
Нажимаем Stop, и запускаем сбор данных Start-Mine

Понеслось.

Можно прервать или дождаться полного сбора данных, а затем их экспортировать в EXCEL
---

Программа поддерживает до 10 параллельных потоков. Можно сразу совершать сбор с 10 сайтов.

Теперь сцепляем данные в EXCEL.

После того как мы перенесли все прокси в единую таблицу.
Удаляем дубли, ведь PROXY могут повторятся.

Теперь нужно проверить работают ли они
Для этого запускаем чекер

1. Указываем ссылку для запроса, у меня это просто гугл.

2 Загружаем наши прокси в программу

Запускаем чекер

Создаем фильтр, указываем что результат не равен -

Теперь отображаются только рабочие прокси
После проверки 14071 прокси я получил 992 рабочих

С тех ссылок можно собрать до 80000 уникальных прокси, но поскольку я воссоздаю то что делал, решил что для примера хватит и 14000.

Самое главное что бы трафик был очень говнистым.
Proxy числились в спам базах
Ну и страна происхождения Китай, Африка и т.д
Поэтому заливать будем все что есть, без разбора.

Закончив проверку наших прокси сохраняем их в txt файл.

Запускаем траффик бот

1. Выбираем что мы используем наши прокси Private Proxies

2. Тык

3. Вносим наши проверенные прокси и сохраняем

В URL List вносим ссылку которую он нам отправил для перехода
Referer там список сайтов с которых типо был совершен переход по ссылке

1. Тут у меня ошибка. Я выбрал строку ниже, она значит что после перехода по ссылке совершится 2 рандомных клика

2. Минимальное и максимальное время пребывания на сайте, Threads количество потоков.

3. Жмем Start

Видим в окне Result что мы совершаем переходы и с каких сайтов
А в низу окна Visits видим количество переходов.

------

Так же я зарегистрировался на том сайте
И сам себе подарил бан. Зачем? Просто так