7

Тернистый путь к нейросетям

Некоторое время назад я увлёкся нейросетями. Начиналось всё с попыток запуска готовых моделей на локальном железе и эксплуатированием для своих простых проектов а-ля телеграм бот или голосовой помощник со встроенной нейросетью. Спустя время я с этим наигрался и захотел попробовать создавать, а не созерцать. Тогда я пошёл изучать теорию для работы. Изучив теорию решил выбрать для себя инструмент и цель. Как инструмент мне больше подошёл pytorch. А как цель поставил себе сделать нейросеть-переводчик. И вот на моменте реализации у меня возникли проблемы: как вводить изображения(будь то фото для классификации или цветной шум для генерации фото) в интернете написано, а вот как вводить текст или хотя бы последовательность битов я найти не смог(да-да не смог, можно уже начинать кидать в меня помидорами и ссылками, за ссылки буду благодарить, а из помидоров сделаю томатную пасту); как выводить картинку или пару нейронов классификатора в интернете описали, в некоторых местах даже описали нейросети продолжающие текст на основе какого-либо книжного произведения, но как выводить сразу текст, а не вытягивать посимвольную информацию я не нашёл(да, опять); ну и под конец я не нашёл как разбивать свой датасет для нейросетей генерирующих что-либо не из рандомных чисел.

Если у кто-то знает как реализовать что-либо из вышеперечисленного, поделитесь пожалуйста знаниями, ссылками на гайды и помидорами в комментариях. Заранее спасибо!

Правила сообщества

Публиковать могут пользователи с любым рейтингом. Однако!


Приветствуется:

• уважение к читателям и авторам

• конструктивность комментариев

• простота и информативность повествования

• тег python2 или python3, если актуально

• код публиковать в виде цитаты, либо ссылкой на специализированный сайт


Не рекомендуется:

• допускать оскорбления и провокации

• распространять вредоносное ПО

• просить решить вашу полноценную задачу за вас

• нарушать правила Пикабу

2
Автор поста оценил этот комментарий

Если ты пошёл путём "почитаю пошаговый гайд, - создам своё", не понимая, что ты вообще делаешь, то далеко ты не пойдёшь.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Возможно, я где-то неправильно выразился, но я не подразумевал конкретно пошаговый гайд, я имел ввиду пример на гитхабе/ссылка на доки/статья/и пр. ресурсы.

1
Автор поста оценил этот комментарий
Здравствуйте! Спасибо за интересный вопрос. Попробую дать некоторые советы по работе с текстом в PyTorch для задачи машинного перевода:

1. Для ввода текста нужно сначала преобразовать его в числовое представление. Обычно для этого используют токенизацию - разбиение текста на токены (слова, части слов, знаки препинания) и сопоставление каждому токену уникального индекса. Популярные библиотеки для токенизации - nltk, spacy, sentencepiece. Также можно использовать готовые предобученные токенизаторы, например из библиотеки transformers.

2. Далее последовательности индексов токенов преобразуются в тензоры PyTorch. Текст входного языка и выходного языка представляются отдельными тензорами. Для батчей текстов создаются 2D тензоры, где первое измерение - номер примера в батче, второе - индексы токенов. Тексты в батче выравниваются по длине с помощью паддинга.

3. Для вывода текста на каждом шаге декодирования модель предсказывает вероятности следующих токенов. Из них выбирается наиболее вероятный и добавляется к частично сгенерированной последовательности. Процесс повторяется, пока не будет сгенерирован спецтокен конца последовательности. Затем выходная последовательность индексов преобразуется обратно в текст.

4. Для разбиения датасета на батчи можно воспользоваться классом torch.utils.data.DataLoader. Он позволяет итерироваться по датасету батчами заданного размера, перемешивать примеры, распараллеливать загрузку данных.

Вот несколько полезных ресурсов по теме:

- Туториал по машинному переводу на PyTorch: https://pytorch.org/tutorials/intermediate/seq2seq_translati...
- Библиотека torchtext для работы с текстовыми данными: https://pytorch.org/text/
- Реализация модели Transformer: https://github.com/pytorch/examples/tree/master/word_languag...

Надеюсь, эти советы и ссылки помогут вам продвинуться в реализации переводчика на PyTorch. Если будут еще вопросы - спрашивайте, постараюсь помочь. Удачи в ваших экспериментах с нейросетями!
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо большое, Вы мне очень помогли!

показать ответы
0
Автор поста оценил этот комментарий

Вы говорили что скачивали готовые модели. Подскажите где скачать локальную модель на ПК для генерации, большого по объёму, текста. Чтобы она брала информацию с интернета и выдавала грамотный текст заданного объёма без "воды".Или это из области фантастики?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Если кратко, то, насколько мне известно, да, для опенсурсных проектов это из области фантастики. Ну а вообще я баловался в основном с нейросетями LLaMa от меты и их модификациями, в большинстве своём они не плохо общаются на английском. На данный момент для меня лучшей показалась LLaMa 3 8b. Она ест не так много ресурсов как старшая модель, но с задачами справляется не сильно хуже.

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества