Глубокоуважаемый взрослый и полностью дееспособный ТС, пожалуйста прочитайте, запомните и поймите всё то, что я далее напечатаю. Думаю, что это вам пригодится.
Во-первых, тригонометрические функции, особенно синус и косинус, внезапно, активно используются в школьной физике. Это и механика, и оптика, и электромагнетизм. Тригонометрические функции используются везде, где есть углы. А угол, как известно, фигура очень распространённая...
Во-вторых, ни физика, ни химия не могут существовать без математики. Человек, который не изучал математику, сможет понять физику и химию только на бытовом уровне, чего явно мало для профессиональной деятельности.
Поэтому вы, милостивый государь, зря жалуетесь, что из-за большого количества математики (несмотря на то что её много не бывает) у вас не осталось места для физики и химии. Интернета с его неограниченным запасом знаний не было, но зато на каждом шагу были библиотеки, а в них книги, среди которых были разнообразные учебники по физике и химии, в любой момент готовые к тому, чтобы вы, найдя окошко в своём коротком свободном времени, проявили усердие и изучили их. Конечно, если вы жили в Сахаре, Антарктиде, на Луне, в Марианской впадине, в тайге, в Р'льехе, или просто в глухой деревне без библиотеки, даже школьной, или родители заваливали вас домашними так, что на учёбу не оставалось ни времени, ни сил, или прочие обстоятельства мешали вам учиться, то зачем тогда задавать такие вопросы пикабушникам и винить во всём математику?
А теперь, дорогой ТС, а также автор исходного поста, с которого началась волна, и пикабушники, которые жалуются, что им пришлось изучать "бесполезные" для них области знания, сейчас я открою вам тайну, что перевернёт ваше представление о мире с ног на голову. Пожалуйста, читайте внимательно, запоминайте, понимайте и не обижайтесь.
Школа даёт базовые знания, чтобы каждый ученик уже потом мог выбрать, какие научные дисциплины изучить подробнее для получения нужной специальности. Всё. Поверьте (знаю, что это очень сложно сделать), что мир вовсе не крутится вокруг вас, и у Министерства образования нет ресурсов, чтобы каждому ученику (а их миллионы) обеспечить индивидуальное обучение, а также далеко не каждый ученик, особенно в отрочестве, жаждет знаний. Школа не виновата, что знания о решении квадратных уравнений, о знаках препинания в сложных предложениях, о количестве спутников Марса, о дрейфе материков, о биосинтезе белка в клетке, о комплексных числах, о дефекте массы вам не пригодились. Но, если эти знания не пригодились вам, то это вовсе не значит, что не пригодились вашим одноклассникам. Просто у вас разные пути.
Вот и всё. Желаю вам поскорее избавиться от претензий к "бесполезным" знаниям, которые не помогли устроиться в жизни. Помните, что вы сами решаете, как ими распоряжаться. Кроме того, обязательно объясните эти простые истины своим детям.
Мне уже 40+ годиков. Я уже полюбил оливки и маслины (пока только в маринованном виде). Т.е типа уже повзрослел. Но зачем нужны синусы, косинусы, тангенсы и прочие котангенсы не знаю до сих пор. Нет, в смысле, в школе я это зачем-то учил, но в жизни пригодилось 0 раз. И дискриминант ни разу в жизни не вычислял. Зачем мне этим голову засоряли... А возможно из-за этого в голову не влезли знания по физике и химии, а вот они б капец насколько полезнее были бы...
Всё началось довольно тихо — без шоу-программ и футуристичных роботов на сцене. В 2017-м исследователи Google опубликовали статью с до смешного скромным названием: Attention is All You Need. Тогда мало кто понял, что именно в этот момент случилось новое «деление эпох»: теперь у ИИ было чёткое «до» и «после».
Сегодня почти весь генеративный ИИ — от ChatGPT до Midjourney, от Gemini до Claude — внутри себя основан на трансформерах. А фундамент всей этой революции оказался… ну прямо скажем, совсем не похожим на научную фантастику. Просто скалярное произведение двух векторов — действие из школьной линейной алгебры
Ни новая экзотическая архитектура памяти. Ни сверхсложная логика вывода. Даже не попытка повторить человеческий мозг.
Просто умножили числа друг на друга и сложили. И всё изменилось.
Но чтобы понять, почему такая простая вещь взорвала всю индустрию, надо вспомнить — во что нейросети упирались раньше.
❯ Большой тупик RNN и CNN: когда старое просто больше не работает
Ещё недавно обработка текста в машинах очень напоминала чтение по-старинке: слово за словом, слева направо, будто кто-то водил пальцем по книге. Главные герои здесь были RNN — рекуррентные нейронные сети.
На бумаге они выглядели почти идеально: каждое новое слово обновляло своего рода «внутреннюю память» — проглотил одно слово, подвинулся вперёд вместе с новым состоянием. Получалась цепочка памяти:
первое слово влияет на второе,
второе тащит за собой третье,
и так почти до конца предложения.
Ключевое слово тут — почти. Рекуррентные сети очень быстро забывали, о чём речь была много слов назад. Нарисуйте себе цепочку из ведёрок воды: доливаешь впереди — постепенно вытекает позади. Сеть буквально теряла начало длинных предложений (математики скажут: градиенты исчезали). LSTM и GRU пытались починить это место, но получился скорее костыль: подробно помнить они стали чуть дольше, но проблема с корнями осталась.
Параллельно в NLP подоспели сверточные сети (CNN), которые пришли из распознавания картинок. Они работали похитрее: вместо того чтобы читать текст по одной букве или слову за раз, CNN сканировали сразу несколько соседних словечек. Эдакие шаблоны вроде:
прилагательное + существительное;
короткие выражения вроде «наконец-то приехал».
Ничего себе! Но была загвоздка: их взгляд был слишком узким — CNN видели только маленькие фрагменты текста вокруг каждого слова. Чтобы понять связь между словами «я» в начале строки и «тебя» в конце абзаца приходилось городить сложную лестницу слоев… а это грузило систему так, что контекст всё равно рвался на части.
Вывод назревал сам собой: проблема не в том, что сеть слишком маленькая или глубокая; дело именно в том КАК она читает последовательности.
Нужен был другой подход.
❯ Новый подход: не эстафета, а мгновенный чат
И вот трансформеры сорвали покровы! Вместо того чтобы передавать информацию по цепочке (как записку через весь класс), каждому слову разрешили оглянуться и посмотреть сразу на все остальные слова предложения или даже документа. Эдакий общий раунд знакомств за секунду!
Это и есть тот самый Attention — внимание слегка переосмысленное для компьютеров.
Чтобы его описать проще всего представить аукцион:
Каждое слово одновременно:
задаёт вопрос («что мне нужно?»)
рассказывает про себя («кто я такой внутри этого текста?»)
предлагает своё содержание (приглашает других узнать о себе).
Три составляющих — Query (ищу!), Key (я такой-то!), Value (вот моя информация!).
Например:
Глагол может шепнуть всему тексту: «Я ищу свой объект действия!»
Или существительное заявит о себе: «Я стою тут во втором падеже»
Задача сводится к простому вопросу: какие слова реально должны друг для друга быть важными прямо здесь и сейчас?
Вот тут-то на сцену выходит та самая операция из школьной программы…
Центральная операция attention выглядит так:
На первый взгляд — ничего особенного.
❯ Как скалярное произведение стало проводником смысла
Скалярное произведение двух векторов показывает, как сильно они «смотрят» в одну сторону. Простыми словами для NLP:
Чем смысл у двух слов ближе — тем больше их числовые представления совпадают по направлению;
Чем дальше друг другу по смыслу — тем меньше пересечения;
Связанные токены мгновенно находят друг друга через высокое значение произведения.
Модель буквально спрашивает: совпадает ли мой запрос с твоим описанием? Если да — внимание возрастает лет до небес!
Удивительно простая идея работает так мощно именно потому что язык полон таких скрытых перекрёстных связей.
❯ Почему сразу не взять расстояние?
Могли бы брать L2-норму…
На первый взгляд ведь что логичнее: чем более похожи слова — тем ближе точки-векторы друг к другу в пространстве! Почему же attention выбрал скалярное произведение?
Во-первых — скорость! Посчитать расстояние между двумя точками требует квадратов да ещё корень извлечь… а видеокарты гораздо быстрее перемножают да складывают числа миллиардами раз в секунду (это как говорить c GPU на его родном языке).
Во-вторых — само поведение attention’а сильно от выбора функции близости: нам нужно не просто заметить связи («близко-далеко»), а часто прям-таки выделить единственный нужный кусок текста с почти безумной уверенностью! Скаляры могут при правильном обучении давать ОГРОМНЫЙ разброс значений — идеальное топливо для резкой фокусировки внимания.
Но любая магия имеет свою цену
❯ Когда математика начинает ломать обучение
Появилась неожиданная проблема. Почти физическая — если размерность ваших векторов растёт (а мы ж любим большие пространства признаков!), то дисперсия их произведений начинает разноситься всё сильнее («выстреливает», сказали бы инженеры). Плюсуйте сюда Softmax…
А Softmax — штука опасная: взял набор чисел , превратил их чисто экспонентой во вполне реальные вероятности (пусть вас не смущает простота операции). Стоит одному числу хоть чуть-чуть перекочевать наверх остальных — всё превращается почти в 1/0; модель вдруг убеждается окончательно сама в себе… и перестаёт учиться дальше вообще.
Лекарство? Делить результат attention’а на корень из размерности пространства признаков. Так можно держать модель от перегрева и бодро продолжать тренироваться без закипания мозговых батарей!
❯ Multi-head Attention или почему хорошего внимания много не бывает
Но в реальной жизни редко бывает однозначность. Одно предложение… десятки разных смысловых связей! Вот возьмите фразу:
«Кот поймал мышь, потому что он был голоден».
Слово «он» связано одновременно
с котом,
со смыслом голода,
с грамматическим строем предложения…
Одна схема внимания тут точно не потянет! Поэтому у трансформеров множество «голов». Каждая учится ловить свой тип связи:
одна отвечает за синтаксис,
другая ловит семантику,
третья замечает эмоции или дальние закономерности,
четвёртая может выискивать редкие зависимости далеко через текст…
А потом результат каждой головы аккуратно складывается обратно в единую картину мира!
❯ Проклятие квадратичной сложности
Есть правда обратная сторона всей этой крутизны… Внимание приходится сравнивать каждый токен с каждым другим токеном (всё равно что каждому гостю вечера поговорить хотя бы пару минут с каждым другим); двадцать друзей — 400 разговоров; тысяча токенов? Миллион сравнений!
GPU всё ещё мощны… но не бесконечно мощны! Именно отсюда нескончаемые поиски новых трюков типа FlashAttention или sparse-attention — чтобы умудриться смотреть далеко вперёд без катастрофического перегруза памяти…
❯ Итоги
Самое удивительное во всей истории attention вот что: индустрия годами пыталась придумывать суперинтеллектуальные схемы и хитрые приёмники памяти или управляемые ячейки данных… а победила простейшая операция из школьной алгебры (которая идеально ложится на цифровые нутра современных видеокарт).
Скалярное произведение стало практически мостом между математикой смысла языка И мебелью современных вычислений! Благодаря этому техника наконец начала видеть структуру текста сразу целиком — как будто взглянуть сверху одним махом вместо того чтобы идти вслепую шаг за шагом…
Вот такой вот переворот произошёл почти незаметно.
Петька спрашивает: "Василий Иванович! А какой экзамен ты в академию не смог сдать?" "Математику, Петька. Они меня попросили доказать, что дискриминант приведённого квадратного трёхчлена равен квадрату разности его корней. А я такое не только доказать - даже представить себе не могу!"
Согласно наблюдениям учителей математики 50% задач на Перечневых олимпиадах - алгебра. Поэтому сегодня мы предлагаем вам эту задачку. Присылайте свои интересных задачи в комментарии, посмотрим.
Привет! Если ты хочешь сдать ОГЭ по математике хотя бы на «тройку», не хочешь учить формулы, не собираешься в 10-ый, тебе не нужна математика для выбора будущей профессии - эта статья для тебя.
Разберу по полочкам, как подготовиться к ОГЭ без лишней суеты и без проблем и не совершить ошибки, за которые придется расплачиваться.
Не забудь подписаться на мой канал, чтобы читать новые статьи, не терять со мной связь и иметь возможность задать вопрос по математике опытному репетитору.
Первое. Разработаем стратегию сдачи.
Выбираем «лёгкие» задания. Это самый важный пункт.
Главное правило- не хватайся за всё подряд. В ОГЭ есть задания, которые требуют глубоких знаний по 2–3 темам сразу — их лучше пока отложить. Это задания с квадратными корнями и степенями, уравнения, неравенства и дроби. Также это некоторые задачи из геометрии.
Сосредоточься на тех, что решаются быстро и просто. Твоя цель набрать минимум 8–14 баллов (именно столько нужно для «тройки»). Для этого хватит решить несколько базовых заданий верно — без погружения в сложные темы.
Второе. Больше практики. Пробуй решать сам.
Теория — это хорошо, учебные видеоролики отлично, но без практики никуда. Когда смотришь, как решают другие, твои навыки не растут. А ведь экзамен будет писать не кто-то, а ты. Поэтому навыки нужны лично тебе.
Как это сделать правильно:
Возьми открытый банк заданий ОГЭ (это официальный ресурс ФИПИ — там только то, что реально может попасться на экзамене).
Выбери 5–10 простых заданий одного типа, который прорабатываешь.
Научись пользоваться списком разрешенных формул.
Попробуй решить задания самостоятельно, не подглядывая в ответы.
Проверь себя, посмотри правильные ответы и разбери ошибки.
Повторяй, пока не начнёшь решать этот тип заданий автоматически.
Отработал одно задание, начал решать его увереннее, принимайся за следующее задание.
Третье. Используй правильные источники.
Многие ученики допускают еще одну грубую ошибку - решают по билетам не входящим в ФИПИ, по распечаткам мамы, задачам, которые даёт школа, но которых нет в реальном ОГЭ, по сайтам или билетам составленным онлайн школами.
Итог- при выходе с экзамена слезы и слова "экзамен очень сложный, таких заданий я раньше не видел".
Что использовать вместо этого:
официальные сборники для подготовки к ОГЭ (с пометкой «соответствует демоверсии ФИПИ»);
открытый банк заданий ФИПИ (бесплатно и актуально);
демоверсию ОГЭ текущего года (чтобы понять формат);
Четвертое. Если сложно самому, то нужен наставник, репетитор.
Репетитор или опытный наставник поможет:
расставить приоритеты: покажет, какие задания проще и выгоднее решать;
укажет на твои слабые места и даст чёткие рекомендации;
объяснит сложные моменты за 5 минут, на которые ты мог бы потратить часы;
поддержит морально и поможет не паниковать перед экзаменом.
Итак, подведем итог. Вот твой краткий план действий.
Выбери лёгкие задания. Начни с заданий с картинками, логических заданий, с простыми формулами и не сложными вычислениями, простой геометрией;
Решай из банка ФИПИ. Только актуальные задания — никаких «маминых распечаток».
Проверяй себя. Решай самостоятельно, отрабатывай навык, разбирай ошибки следи за прогрессом.
Найди поддержку, если необходимо. Репетитор, видеоуроки или сообщество — выбери свой вариант.
Главное - не паникуй. ОГЭ — это не конец света. Если действовать по плану, сдать на «тройку» можно без особых проблем. Начинай с малого, решай шаг за шагом — и у тебя всё получится!
Удачи на экзамене! Если остались вопросы — пиши в комментариях, разберём вместе.
