Python requests - парсинг аудио с подзагрузкой⁠⁠

Доброго времени суток, прошу помощи опытных программистов.

Уже второй день не могу победить проблему с загрузкой аудио с сайта, суть в том что ссылки скачивания на странице нет, но по запросам при прослушивании аудио появляются запросы в формате .ts

Скриншот запросов

В самом коде страницы есть только кнопки которые отправляют запросы.

Посмотрев как работают запросы я заметил что они идут по порядку от 0 и так далее, копировав адрес ссылки "https://h6.akniga.club/b/73253/seq32.ts". Если пройти по этой ссылке скачивается файл.

Я заметил что запрос тот же меняются только цифры, заключив все это в цикл мне удалось сохранить эти файлы (хоть я и не уверен что это то что мне нужно).

import requests
from time import sleep

for i in range(10):
url = f'https://h6.akniga.club/b/73253/seq{i}.ts'
req = requests.get(url)
with open(f'song{i}.mp2t', 'wb') as file:
file.write(req.content)
sleep(0.5)

Беглый гугл подсказал что такой файл можно открыть с помощью - VLC media player, но это не дало результатов. Да и при запросе файл сохраняется как .ts при этом так же не открывается.

В общем я в полном замешательстве что делать дальше, все обучения что я нашёл на ютубе или в статьях не рассказывают как же спарсить подобное.

Кто может подсказать в каком направлении копать дальше.

ссылка на сайт - Тут

P.S. - Книгу выбрал только потому что она относительно не большая.

Программирование на python

1K постов12K подписчика

Добавить пост

Правила сообщества

Публиковать могут пользователи с любым рейтингом. Однако!

Приветствуется:

• уважение к читателям и авторам

• конструктивность комментариев

• простота и информативность повествования

• тег python2 или python3, если актуально

• код публиковать в виде цитаты, либо ссылкой на специализированный сайт

Не рекомендуется:

• допускать оскорбления и провокации

• распространять вредоносное ПО

• просить решить вашу полноценную задачу за вас

• нарушать правила Пикабу

pvrt

2 года назад

Написано же что проблема в содержимом файла one.txt

раскрыть ветку (1)

Zombie89

2 года назад

Доброго времени суток) В общем я разобрался в чем была ошибка, не знаю вдруг тебе пригодится или кто то найдёт ответ на свой вопрос в комментариях под постом в любом случае спасибо тебе за помощь!

Файлы .ts относятся к видео а не к аудиофайлам https://qa.yodo.im/t/kak-mne-konvertirovat-fajly-ts-vo-chto-... , поэтому сделать сразу мп3 из них не получится (по крайней мере у меня не вышло), итоговая команда subprocess.run(['ffmpeg', "-protocol_whitelist", 'file,http,https,tcp,tls,crypto', "-i", "pl.m3u8", "-codec", "copy", "output_all.mp4"])

После чего уже можно конвертировать в мп3 (времени конечно это занимает больше но по другому не получается).

subprocess.run(['ffmpeg', '-i', 'output_all.mp4', '-c:a', 'copy', 'aac.aac', "output__all.mp3"])

Так же можно сразу сохранять по прямой ссылке на "pl.m3u8" - subprocess.run(['ffmpeg', "-protocol_whitelist", 'file,http,https,tcp,tls,crypto', "-i", "https://h6.akniga.club/b/73253/pl.m3u8?res=5P2DuWwxqwrqY6HL9...", "-codec", "copy", "output_all.mp4"])

https://superuser.com/questions/692990/use-ffmpeg-copy-codec...

Еще раз спасибо @pvrt, за помощь!

показать ответы

pvrt

2 года назад

Может попробовать использовать http вместо https в ссылке на файл

раскрыть ветку (1)

Zombie89

2 года назад

subprocess.run(['ffmpeg', '-protocol_whitelist', "file, http, https, tcp, tls", '-i', './one.txt', 'track.mp3'])

-one.txt

http://h6.akniga.club/b/73253/pl.m3u8?res=5P2DuWwxqwrqY6HL91...

ошибки -

built with gcc 12.2.0 (Rev10, Built by MSYS2 project)

configuration: --enable-gpl --enable-version3 --enable-static --pkg-config=pkgconf --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-libsnappy --enable-zlib --enable-librist --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-libbluray --enable-libcaca --enable-sdl2 --enable-libaribb24 --enable-libaribcaption --enable-libdav1d --enable-libdavs2 --enable-libuavs3d --enable-libzvbi --enable-librav1e --enable-libsvtav1 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enable-libaom --enable-libjxl --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-frei0r --enable-libfreetype --enable-libfribidi --enable-libharfbuzz --enable-liblensfun --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-ffnvcodec --enable-nvdec --enable-nvenc --enable-dxva2 --enable-d3d11va --enable-libvpl --enable-libshaderc --enable-vulkan --enable-libplacebo --enable-opencl --enable-libcdio --enable-libgme --enable-libmodplug --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libshine --enable-libtheora --enable-libtwolame --enable-libvo-amrwbenc --enable-libcodec2 --enable-libilbc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-ladspa --enable-libbs2b --enable-libflite --enable-libmysofa --enable-librubberband --enable-libsoxr --enable-chromaprint

libavutil 58. 29.100 / 58. 29.100

libavcodec 60. 31.102 / 60. 31.102

libavformat 60. 16.100 / 60. 16.100

libavdevice 60. 3.100 / 60. 3.100

libavfilter 9. 12.100 / 9. 12.100

libswscale 7. 5.100 / 7. 5.100

libswresample 4. 12.100 / 4. 12.100

libpostproc 57. 3.100 / 57. 3.100

[in#0 @ 00000127ecc481c0] Error opening input: Invalid data found when processing input

Error opening input file ./one.txt.

Error opening input files: Invalid data found when processing input

показать ответы

pvrt

2 года назад

Предполагаю что причина в этом

Protocol 'https' not on whitelist 'file,crypto,data'!

раскрыть ветку (1)

Zombie89

2 года назад

гугл говорит -

Решение состоит в том, чтобы также добавить tcpв белый список протоколов (также tlsесли вы хотите поддерживать HTTPS). Вот моя последняя команда:

ffmpeg -f "concat" -safe "0" -protocol_whitelist "file,http,https,tcp,tls" -i "./inputs.txt" -codec "copy" "./concated.mp4"

вот что делаю я -

subprocess.run(['ffmpeg', '-protocol_whitelist', "file, http, https, tcp, tls", '-i', 'pl.m3u8', 'track.mp3'])

[hls @ 0000023ad00d1b40] Skip ('#EXT-X-VERSION:3')

[hls @ 0000023ad00d1b40] Opening 'https://h11.akniga.club/datakeys/enc.key' for reading

[https @ 0000023ad00da100] Protocol 'https' not on whitelist 'file, http, https, tcp, tls'!

[hls @ 0000023ad00d1b40] Unable to open key file https://h11.akniga.club/datakeys/enc.key

[hls @ 0000023ad00d1b40] Opening 'crypto:seq0.ts' for reading

[crypto @ 0000023ad00da180] Protocol 'crypto' not on whitelist 'file, http, https, tcp, tls'!

[hls @ 0000023ad00d1b40] Failed to open segment 0 of playlist 0

[hls @ 0000023ad00d1b40] Segment 0 of playlist 0 failed too many times, skipping

[hls @ 0000023ad00d1b40] Opening 'crypto:seq1.ts' for reading