Если говорить совсем просто: вектор - это массив чисел, который указывает куда и на сколько единиц надо двигаться от начала координат по n-мерному пространству.

Ладно, давайте разберем это на примере. Например, у нас есть начало координат — (0; 0; 0) в трёхмерном пространстве и вектор [2; 5; -1]. Если придерживаться определения выше, то мы должны "сдвинуть" начальные координаты на такие-то определённые числа из вектора. Важно помнить, что позиции тут очень важны — число на позиции 0 (X) нельзя прибавить к позиции 2 (Z) из начальных координат. То есть надо строго придерживаться правила: "Каждый сдвиг оси из вектора должен складываться или вычитаться строго из координат этой же оси из начальных координат". Если же мы все правильно сдвинем, то мы получим координату: ((0+2); (0+5); (0+(-1))) = (2;5;-1).

Так как мы разбираем в основном нейросети, то дальше я буду иметь ввиду координаты самой точки под определением "вектор". В нейросетях чаще всего вектор - координаты какой-то точки, или сущности.

Еще бы хотел добавить - на практике большая часть не превращает вектор в нейросетях в какую-то точку и вовсе не воспринимает этот вектор как координаты точки. В основном, это просто результат выполнения математической операции либо с участием веса, либо без. Точка - это что-то на научном.

N-мерное пространство.

Мы живем в трех мерном пространстве (XYZ). А какая ось добавляется в 4-мерном пространстве?

Я немного почитал и пришел к выводу, что в четвертом пространстве добавляется новая ось - T (Time). Если в трехмерном пространстве мы двигаемся по времени только вперед, то в четырехмерном мы можем двигаться по этой оси вперед-назад.

Далее, я почитал про пятимерное пространство и пришел к выводу, что в пятимерном пространстве мы поверх оси T (Time) получаем ось M (Moment). То-есть, мы получаем возможность и двигать время вперед-назад и создавать сразу несколько вариаций этого момента параллельно в это же время (по оси M).

Логически решил продолжить эту цепочку, и получил следующее предположение: А вдруг дальше (6D, 7D, ..., ND) мы просто создаем новые оси T и M внутри прошлых осей M? Звучит очень запутанно, но я попробую объяснить. Давайте представим 4-мерное пространство, где мы можем управлять временем (двигать назад-вперед) благодаря оси T, но не можем управлять судьбой. А в пятимерном пространстве мы это делать можем благодаря оси M. А вдруг, в этой оси M еще есть своя ось T, в которой есть еще одна своя ось M и так n раз? А вдруг сейчас вы существуете сразу в нескольких версиях себя?

Еще у меня есть предположение, что единой "точки" в 4+-мерных пространствах просто нет. Например, какая-нибудь кривая.

На эти вопросы очень трудно ответить, так как недостаточно информации. Но просто, как частичная гипотеза - сойдет.

Итоги.

В этом посте я попытался поднести вам свою точку зрения и идею того, как устроена N-мерность. Я понимаю, что это все не доказанно. Но это просто точка зрения.

Представьте классическую географическую карту. У каждого города есть широта и долгота. Населенные пункты с похожими координатами находятся рядом. В языковых моделях используется аналогичный принцип, только координат не две, а несколько тысяч.

Каждая из координат отвечает за определенный скрытый признак объекта. Примерами таких признаков могут быть размер, одушевленность, отношение к пище или технике. Слово "яблоко" получит высокие значения по шкале еды и низкие по шкале механизмов. У слова "смартфон" значения будут противоположными.

Таким образом формируется гигантское многомерное пространство смыслов. В этом пространстве понятия "кот" и "собака" располагаются близко друг к другу, а понятие "кирпич" находится на огромном отдалении от них.

2. Математика смыслов

Главное преимущество такого подхода заключается в возможности совершать математические операции со значениями слов.

В сфере машинного обучения есть классический пример. Если взять координаты слова "Король", вычесть из них координаты слова "Мужчина" и прибавить координаты слова "Женщина", итоговый результат укажет точно на координаты слова "Королева".

Программа не размышляет человеческими категориями. Она вычисляет геометрические расстояния между точками в заданном пространстве.

3. Проблема многозначности и механизм внимания

С однозначными терминами система работает безошибочно. Но возникает проблема многозначных слов. Слово "коса" может обозначать прическу, сельскохозяйственный инструмент или песчаную отмель. Куда именно поместить точку на карте смыслов?

Решение этой проблемы в 2017 году привело к созданию современных языковых моделей. Был разработан механизм внимания.

Принцип его работы заключается в следующем. Когда алгоритм анализирует предложение "Девушка заплела длинную косу", он не рассматривает слово "коса" изолированно. Глагол "заплела" автоматически смещает координаты существительного в сторону понятий, связанных с волосами и прическами.

Если же фраза звучит как "Рыбак вышел на песчаную косу", соседние слова мгновенно сдвигают координаты в область географии и водоемов. Смысловое значение слова формируется динамически, опираясь исключительно на его текстовое окружение.

4. Процесс генерации текста

Процесс создания осмысленного ответа включает в себя строгую последовательность вычислений:

1. Система переводит исходный запрос пользователя в набор числовых координат.

2. Используя механизм внимания она корректирует значения всех элементов с учетом контекста.

3. Алгоритм вычисляет какая точка в смысловом пространстве имеет самую высокую математическую вероятность стать логичным продолжением фразы.

4. Найденные координаты трансформируются обратно в понятное человеку слово.

5. Это слово добавляется к общему тексту после чего весь цикл вычислений повторяется заново.

Каждое сгенерированное слово является результатом миллионов сложнейших геометрических расчетов.

Заключение

В основе работы нейросетей нет зачатков сознания. Это масштабная и математически выверенная система координат где миллиарды смысловых оттенков связаны между собой точными числовыми значениями.

Если данная тема показалась вам интересной в следующих публикациях можно будет подробно разобрать процесс создания изображений из цифрового шума. Буду рад прочитать ваши мнения в комментариях