Материал найден на просторах сети. Ссылка на оригинал: http://neuralshit.online/?p=39.
Я тут спас из загнивающего вконтакта много копипасты (отсюда) и обучил на этой самой пасте GPT-2 модель. Немножко экспериментов: в контекст подавал часть своей любимой копипасты про батин жареный суп (вообще считаю, что её нужно внести в список Всемирного наследия ЮНЕСКО).
Получается примерно так (жирным выделен момент, который подавался в контекст):
Мой батя ебашит вообще адовые блюда. Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется суп, он не греется, греть — это не про моего батю. Он берет это суп, вываливает его в раковину, ставит туда ведро, а потом берет ложку и начинает мешать. А я сижу рядом с этим ведром и смотрю, чтобы оно не грело. Он начинает ебать его ложкой, ебать его вилкой, ебать его в рот, ебать, блять, еблять суп в рот!!!
Мой батя ебашит вообще адовые блюда. Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется суп, он не греется, греть — это не про моего батю. Он берет это суп, вываливает его в раковину, и греет на плите, пока не сварится, а потом ставит на огонь и жарит, и жарит, и жарит… А потом он идет в ванную. И когда он заходит в ванную, он ебёт себе жопу. А потом, после этого он идет на кухню и начинает ебать суп, жарит и ебёт, жарит и ебет..
Мой батя ебашит вообще адовые блюда. Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется суп, он не греется, греть — это не про моего батю. Он берет это суп, вываливает его в кастрюлю и варит. А когда суп сварит — кладет его в глубокую миску, а сам ебашит в нее что- то вкусное. Потом этот суп вынимает, ставит на плиту, ставит кастрюлю и варит еще. И еще раз, и еще. И еще раз. И еще, и еще, пока суп не сделается таким вкусным, что у меня аж зубы сводит. Ну вот такой вот рецепт.
Мой батя ебашит вообще адовые блюда. Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется суп, он не греется, греть — это не про моего батю. Он берет это суп, вываливает его на сковородку ( не знаю, на какую) и жарит на ней до тех пор, пока не станет мягче. Потом он ставит на огонь кастрюлю с горячей водой, и начинает ебать эту кастрюлю, как он выражается, в стиле ебать- жрать. И тут на сковороде появляется какой- то салат, и в этот момент в кастрюлю влетает струя горячего пара. Потом батя берет кусок мяса в руки, как бы вытирает им рот, и ебет его до того момента, пока мясо не начнет гореть.
Мой батя ебашит вообще адовые блюда. Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется суп, он не греется, греть — это не про моего батю. Он берет это суп, вываливает его в кастрюлю, и варит его в течение 10 часов, не снимая крышки. Потом его выносит во двор и кладет в мусорный бак, а сам уходит на рыбалку, потому что он не любит готовить. Потом он приходит обратно и начинает жарить суп. Он идет на кухню и берет кастрюлю с супом и начинает греть, и тут в кастрюле начинают лопаться макароны. Заебись супец, Петрович одобряет!
Откуда столько ебли — я не знаю. Но догадываюсь: всему виной слово «ебашит» в контексте.
Оставляю ссылку на модельку, запустить можно с помощью этого репозитория. В prompt перед своим контекстом вставляйте тег <|startoftext|> для лучшего результата. Если результат генерации часто зацикливается, повышайте temperature (более-менее годные результаты при значении ≈ 1.4) и понижайте top_k (можно выставить в ноль). И ссылка на датасет.
