plamar

Я Саша, .NET Fullstack разработчик. Недавно помогал заказчику выгружать информацию с кинопоиска в Excel. Заказчик проводит какое-то аналитическое исследование, определяет какие фильмы имеют тенденцию получать высший рейтинг. Ниже код, если захотите повторить. А если вам лень писать самому - обрайщайтесь ко мне!

using HtmlAgilityPack;

using System;

using System.Linq;

using System.Net.Http;

using System.Threading.Tasks;

class Program

{

static async Task Main(string[] args)

{

var url = "https://www.kinopoisk.ru/film/447/";

// Load the HTML from the URL

var httpClient = new HttpClient();

var html = await httpClient.GetStringAsync(url);

// Parse the HTML

var htmlDoc = new HtmlDocument();

htmlDoc.LoadHtml(html);

// Extract the main data

var titleNode = htmlDoc.DocumentNode.SelectSingleNode("//h1[@itemprop='name']//span");

var originalTitleNode = htmlDoc.DocumentNode.SelectSingleNode("//span[@class='styles_originalTitle__JaNKM']");

var ratingNode = htmlDoc.DocumentNode.SelectSingleNode("//span[@class='styles_ratingPositive__dzFSI']");

var ratingCountNode = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='styles_countBlock__jxRDI']//span[@class='styles_count__iOIwD']");

var movieTitle = titleNode?.InnerText.Trim();

var originalTitle = originalTitleNode?.InnerText.Trim();

var rating = ratingNode?.InnerText.Trim();

var ratingCount = ratingCountNode?.InnerText.Trim();

// Print the extracted data

Console.WriteLine($"Title: {movieTitle}");

Console.WriteLine($"Original Title: {originalTitle}");

Console.WriteLine($"Rating: {rating}");

Console.WriteLine($"Rating Count: {ratingCount}");

}

}

В каждом втором решении я использую парсинг json. Типичная ситуация, когда нужно парсить результаты, которые возвращаются из API. Ниже в помощь вам кусочек кода, который можно использовать для парсинга json разных форматов и превращения их в таблицу с данными.

using System;

using System.Collections.Generic;

using System.Text.Json;

using System.Text.Json.Serialization;

public class Program

{

public static void Main()

{

string jsonString = @"{

""name"": ""John Doe"",

""age"": 30,

""isMarried"": true,

""children"": [

{ ""name"": ""Jane"", ""age"": 10 },

{ ""name"": ""Jake"", ""age"": 8 }

],

""address"": {

""street"": ""123 Main St"",

""city"": ""Anytown"",

""state"": ""CA""

}

}";

// Парсинг JSON в JsonDocument

using (JsonDocument doc = JsonDocument.Parse(jsonString))

{

JsonElement root = doc.RootElement;

// Пример доступа к данным

string name = root.GetProperty("name").GetString();

int age = root.GetProperty("age").GetInt32();

bool isMarried = root.GetProperty("isMarried").GetBoolean();

Console.WriteLine($"Name: {name}");

Console.WriteLine($"Age: {age}");

Console.WriteLine($"Married: {isMarried}");

// Работа с массивом

JsonElement children = root.GetProperty("children");

foreach (JsonElement child in children.EnumerateArray())

{

string childName = child.GetProperty("name").GetString();

int childAge = child.GetProperty("age").GetInt32();

Console.WriteLine($"Child Name: {childName}, Age: {childAge}");

}

// Работа с вложенным объектом

JsonElement address = root.GetProperty("address");

string street = address.GetProperty("street").GetString();

string city = address.GetProperty("city").GetString();

string state = address.GetProperty("state").GetString();

Console.WriteLine($"Address: {street}, {city}, {state}");

}

}

}

Недавно помогал команде Datacol в создании парсера товаров. Решение дополняет товары характеристиками и создает рич контент (подробные описания для маркетплейсов). Главная фишка - вам не нужно настраивать парсер под конкретный сайт. Ведь поиск товаров происходит прямо в Google.

Как это работает?

ChatGPT API сопоставляет ссылки из выдачи наименованию (которое вы подаете на вход парсеру). Когда находится ссылка на аналогичный товар, тот же ChatGPT выдергивает из нее характеристики и ваяет на их основе полное описание товара. Естественно, в prompt для GPT запакованы указания, как создавать классное продающее описание.

Результаты

Клиент доволен, за пару часов загнал на свой магазин оргтехники 7000 позиций (с полными характеристиками и хорошим рич контентом). Ребята из Datacol добавили себе новый кейс в коллекцию, а я - чувство удовлетворенности от создания классного решения. Если хотите узнать подробнее - можно почитать здесь https://web-data-extractor.net/parser-tovarov-na-chatgpt/ (либо - задавайте вопросы в комментариях).