Кириллица

Добавлена одна буква, появившаяся в 2013 году,— ТЬ из языка ханты (уральская семья, 9 тыс. на 2010). Очевидная лигатура из Т и мягкого знака.

Автор заявки — пикабушник! Мне казалось, что это единственная действующая буква из 16-го Юникода, но нет: есть ещё заглавная буква ɤ, придуманная в 2014 для языка восточный дан (Кот-д’Ивуар, 650 тыс., неписьменный). И целый алфавит гарай.

Около 700 символов со старых компьютеров

Amstrad CPC, Apple II, Mattel Aquarius и множество других. Полагается, что значимые старые платформы исчерпаны и больше символов со старых компьютеров не будет. Вот, как пример, карты ханафуда на одном из японских терминалов.

Вы только посмотрите на их изобретательность: мордашки, кресты, машинки, диоды, резисторы — и из всего этого нарисовали карты.

Алфавит Тодри

Тип: алфавит, слева направо, без регистра, экспериментальный

Язык: албанский (на то время — арабица)

Существовал: середина XVIII века…≈1800

Албанский язык, очень далёкий родственник современного греческого, под властью турок несколько веков использовал арабскую вязь. И просвещённые умы около 1800 придумывали другие алфавиты — частично для конспирации от турок, частично для культурной автономии. Уже закодированы виткутьский алфавит (≈1850) и алфавит Эльбасанского Евангелия (до 1800). Вот перед нами третий образчик, также использовавшийся в районе города Эльбасана. Потому алфавит также нередко зовётся «эльбасанским», и чтобы одно не путать с другим, назвали в честь автора — Теодора Хаджифилиппа по прозвищу «учитель Тодри».

Гарай

Тип: алфавит, справа налево, с заглавными, экспериментальный

Языки: волоф (6,9 млн на 2017, латиница, арабица, адлам); мандинка (2,1 млн ≈2020, латиница, арабица, нко); оба — Сенегал, нигеро-конголезская семья

Существовал: с 1961

Что такое 1961? Это типа освобождение Африки, и некто Ассане Файе из Сенегала придумал вот такой алфавит. В любом случае в конкуренции победила латиница и количество грамотных в гарае в наши дни исчисляется сотнями, но письменность не умерла и изучается.

Заглавная буква снабжена большим крючком. В конце слова часто добавляют длинный хвост, что, впрочем, не обязательно и будет поддерживаться шрифтами лишь когда туда добавится Тьюринг-полное программирование. Есть и другие места, где разработчики шрифтов ждут настоящего программирования: сложные стили арабского, египетские иероглифы, европейские ноты, стенография Дюплойе.

Тигалари (=западная грантха, тулу-малая́лам, грантха-малая́лам)

Тип: брахмийская абугида (особый вид слоговой письменности родом из Индии), слева направо, религиозная

Языки: санскрит (индоевропейская семья), кáннада, малая́лам, тулу (все три — Западная Индия, дравидийская семья). На последнем чаще пишут кáннадой и даже на переписях относят к говорящим на кáннаде.

Существовала: IX…XVII век, крайне редко поныне

Письменность сестринская с уважаемой письменностью малая́лам, и крайне мало используется в индуизме.

Подход к кодированию живых и исторических индийских письменностей очень разный. например, в деванáгари (крупной письменности для хинди, маратхи и более мелких языков):

• क [ка] = ка

• क् [к] = ка + вирама

• क्ष [кша] = ка + вирама + ша

• क्षी [кши:] = ка + вирама + ша + ии

Сделано это, чтобы задействовать поменьше клавиш на стандартный стиль — а если нужен другой, есть спецсимволы, которые можно хоть через AltGr. Сложно, но не все в Индии «индусы», есть и те, кто запрограммирует как надо.

В исторических письменностях разделяют видимую вираму (убирает гласную A) и виртуальную вираму (=conjoiner, склеивает согласные). Это упрощает создание шрифтов, перепечатывание документов в авторской орфографии, прочтение авторской орфографии на неполноценном шрифте.

Цифры берут кто на какие горазд, предлагается унифицировать с кáннадой.

Но это не всё!

Юникод 16.0 — это будет мега-обновление! (В 2022 Консорциум Юникода потерял двух ключевых людей и вынужден был сделать небольшой выпуск.) С новой пачкой эмодзиков будут:

• сунвар (Непал, алфавит без регистра, 1942)

• гурунг или кхема (Непал, брахмийская абугида, около 1972)

• кират-рай (Индия, брахмийская абугида, около 1920)

• ол-онал (Индия, алфавит без регистра, 1992)

Я пишу программу «Юникодия» — энциклопедию символов Юникода. Качать тут.

А уж сложный текст (например, по языкознанию), содержащий санскрит и древнерусский ять ѣ, так вообще не напишешь. И тогда в начале 90-х придумали Юникод, тогда ещё просто двухбайтовую кодировку — один символ кодируется двумя байтами. Windows NT изначально писалась юникодной, и там появилась функция IsTextUnicode, проверявшая статистикой, чем, скорее всего, является строка байтов — текстом в однобайтовой кодировке или текстом в Юникоде. Функция существует и поныне, однако Блокнот её давно не использует.

Статистика была проста: длина строки чётная, и чётные байты меняются значительно меньше, чем нечётные. Так что к ложным срабатываниям приводят строки «hhhh hhh hhh hhhhh» и «this app can break».

Хочу избежать службу в армии

Как повторить: на старых версиях Word с русским словарём производства «Информатик» включить проверку грамматики и написать: «Хочу избежать службу в армии». И смотреть, что она выведет.

Это, как говорят, не баг, это фича. В русском языке есть три метода сборки слов в словосочетания:

• примыкание: зависимое слово неизменяемое и просто прицепляется к главному: бежать быстро, бежал быстро. Если в слове «бежал» некоторые учителя выделяют нулевое окончание, то в слове «быстро» окончания нет никакого, ведь наречия не изменяются.

• управление: зависимое слово встаёт в конкретную форму: встретить маму, встретил маму. Встретил мамы — бессмыслица, а встретил без мамы — совсем другое словосочетание.

• согласование: слова изменяются синхронно: чёрный хлеб, чёрного хлеба.

«Информатик» просто завёл базу главных слов, и для каждого указал, каким бывает зависимое. И резонно указал, что глагол «избежать» требует родительного падежа — «хочу избежать службы в армии».

Смайлик :-) придумали на заре Интернета, в 1982 году.

Конец 1990-х. Везде графика, и в различных системах интернет-общения появилась функция: отыскать в тексте :-) и заменить графической рожей. Кто помнит этот стиль смайликов?

Главный недостаток такого кодирования через особые последовательности — попробуйте передать текст программы, и гарантированно будет ложная замена. Например, в записи f(8) находит смайлик в очках 8).

Было время, когда SMS’ки стоили дорого, и мы экономили символы. Экономили и японцы, и мобильный оператор DoCoMo в 1999 придумал вот такие символы, их и назвали «эмодзи». Кодировка символов собственная докомовская.

В середине 2000-х годов смайликами обзавелись как Гугл в своей почтовой службе, так и Эпл в айфонах. Возник вопрос межплатформенного обмена смайликами, и консорциуму Юникода в 2010 году осталось только возглавить бардак, который они не в силах предотвратить, тем более свободных позиций в Юникоде всё ещё предостаточно: в ожидаемом Юникоде 15.1 пока 150 тысяч символов из 900 тысяч доступных. Добавляли понемногу, по несколько сотен, пока около 2018 не добавили все.

Совет: мало кто знает клавишу Win+; (точка с запятой) или Win+. (точка) из Windows 10+. Она выводит панель символов, в том числе эмодзи.

В том же 2018 Гугл, имея сильные позиции в Консорциуме, добавил эмодзи инклюзивности: по умолчанию большинство эмодзиков бесполые, мужской или женский пол задаётся специально.

Что такое «бесполый»: не имеет явных признаков мужчины или женщины. Нет сисек или усов; одежда, аксессуары и причёска унисекс. Например: у Гугла мужчина-вампир носит бабочку, женщина — чокер, а бесполый — горжет. Конечно, сделано в первую очередь для небинарных, но, извините, «палка-палка-огуречик» тоже бесполый. И вообще хорошая мысль: передавать идею, очищенную от дополнительных смыслов. А если те нужны — устанавливаются дополнительно.

А пока…

Немного теории

Символом будем называть всё, что есть в кодировке: печатаемые символы, управляющие команды, незанятые позиции…

Любая кодировка заключается в замене символов на кодовые последовательности: например, пробел=32, A=65, B=66… Но Юникод пошёл дальше: как только символ попадает в Юникод, ему присваивается кодовая позиция — номер от 0 до 1 114 111 (или от 0 до 10FFFF в шестнадцатеричной системе). А за биты и байты отвечают форматы передачи: UTF-8, Punycode и другие. Вы и сами, если умеете программировать, можете придумать свой формат передачи Юникода.

Если символа нет в шрифте, рисуется белый квадратик тофу, в честь японского соевого сыра тофу.

Заблуждение: Ну что такое, в новом Юникоде теперь крупные эмодзи.

Реальность: Насколько крупно рисовать — это дело прикладного ПО. Задача Юникода — сделать, чтобы все эплы, гуглы и фейсбуки кодировали сходные картинки одинаковыми цифрами.

И даже был курьёзный случай: существовал эмодзи 1F92D — колобок с улыбающимися глазами и ртом, закрытым рукой. Ну явно сдерживает смех. Но Эпл и Фейсбук рисовали глаза широко открытыми — неописуемый ужас. Их разунифицировали, эпловская версия получила номер 1FAE2.

И ещё — Юникод никогда не закодирует конкретную картинку — какого-нибудь преведа или догэ. Юникод кодирует идею, а художник может нарисовать эту идею по-разному.

Односимвольные эмодзи

Пример: ехидный колобок состоит из одного символа 1F600.

С ними проще всего: открываешь любую таблицу символов и находишь эмодзик. Недостаток: если эмодзик новый, он, скорее всего, отобразится тем самым ненавистным тофу.

VS16-эмодзи

Пример: красное сердце 2764+FE0F

Такой механизм применяется в основном для старых символов, существовавших до 2010 года, а также принятых в эмодзи с опозданием (напоминаю, принимали их по несколько сотен за раз). Чтобы отобразить символ графикой, за ним ставится невидимая метка «селектор начертания 16» (variation selector 16) FE0F.

Как вы видите, начинаются сложности, и их цель — избавиться от тофу. Старый символ хоть в текстовом виде, да и будет.

Совет: если в таблице символов видите эмодзи, а копипаста, например, в браузер упорно выводит символ текстом — вероятно, не хватает того самого VS16. Или найдите другую таблицу, или скопируйте-вставьте символ FE0F отдельно.

Существует и обратный селектор — FE0E, делающий из эмодзи текст. Вот вам футбольный мяч+FE0E: ⚽︎

И вообще, если эмодзи многосимвольный, его можно копировать по частям. Если все части скопированы правильно и система знает такой эмодзи, он сразу же отобразится.

Цвета кожи

Пример: негритянская рука OK 1F44C+1F3FF

Как видите, цвет кожи — это просто символ-метка. Система, если может, собирает из руки и тёмной кожи тёмную руку. А если не может — будет просто рука и чёрный лоскут.

Флаги государств

Есть специальный алфавит, и флаг — это две буквы из этого алфавита. В Windows 10 во всех «хромых» браузерах будет «GB», а Firefox содержит флаги государств и всё-таки нарисует «юнион джек».

Зато флаги иногда меняются, в этом загвоздка. В общем, сейчас Консорциум больше рекомендует цветные метки вместо флагов, но за политической обстановкой следит.

ZWJ-последовательности

Пример: белый бесполый врач 1F9D1+1F3FB+200D+2695+FE0F

Посмотрим, как эта штука устроена. Первые два символа — это эмодзи «белый человек». Последние два — посох Асклепия. А между ними — невидимый символ «нулевой соединитель» (zero width joiner) 200D. Даже если система не может собрать из них врача, будет как-то понятно.

Другой вариант — картинка деятельности + ZWJ + символ пола.

А также:

• ворона = 🐦 + ZWJ + ⬛

• свежачок Юникода 15.1 (выйдет в сентябре): человек, идущий вправо = 🚶‍♂️ + ZWJ + ➡️ + VS16

Ну и рекордсмен Юникода — межрасовый поцелуй. Целых десять символов: четыре эмодзи, соединённые тремя ZWJ.

Из-за такого устройства у ZWJ-последовательностей есть и второй путь кодирования: производитель придумывает последовательность, вписывающуюся в правила, и если она станет популярной, Консорциум её внесёт в Юникод.

Инклюзивность

Примерно с 2018 начали заботиться об инклюзивности. У каждого эмодзи есть бесполая, мужская и женская версия, исключения три:

• женщина в хиджабе (мусульманском платке) 🧕;

• женщина, кормящая грудью 🤱;

• танцор 💃 — изначально это была женщина в латиноамериканском платье. Потом добавили мужчину в костюме диско 🕺. А вот что будет танцевать бесполая версия — так и не определились (пока склоняются к брейку или контемпу).

Даже беременный мужчина с 2021 есть, тем более парочка беременных людей, которые по документам мужчины, действительно нашлась. А ещё в Англии можно «наесться до беременности», а у нас «беременный» — это с пивным пузом. Также есть несколько эмодзи, связанных с инвалидностью: человек в коляске, с белой тростью…

Забавная история. В шрифте Webdings в позиции 6D находится стилизованный восклицательный знак — мужчина в очках и деловом костюме левитирует. В 2014 году закодировали Wingdings и Webdings, превратив часть картинок в эмодзи — этот левитирующий (1F574), по стандарту, бесполый и может иметь расу.

Когда на картинке двое или более людей, в Юникоде существуют четыре способа раздать им расы:

• Собрать через ZWJ из меньших эмодзи. Таких сборок всего четыре: поцелуй (см. выше), рукопожатие, любовь, пара людей. Согласитесь, важные!

• Обойти межрасовую тему. Кормление грудью или из бутылки — младенец в шапочке. Массаж лица — массажиста нередко рисуют в перчатках.

• Забить на расы из-за комбинаторного взрыва: все семьи без расы, иначе было бы много-много тысяч картинок.

• Забить на расы из-за маловажности: борцы и танцоры Плейбоя есть всех трёх полов, но без расы.

Колобки не инклюзивны, они всегда лысые и жёлтые.

У меня есть идея эмодзи. Как предложить?

Консорциум Юникода всегда (а вот и нет, каждый год в апреле-мае) готов выслушать ваши предложения. До настоящих эмодзиков доходят не более четверти заявок. За год выходит 20…30 штук.

Чего они точно НЕ примут:

• связанные с текущими событиями: тонущий корабль, коронавирус (Эпл перерисовал 🦠 1F9A0 «микроорганизм»)

• конкретные картинки и объекты: догэ, Сталин, Христос, Эйфелева башня. Принять могут только военного: собака 🐕 есть, а телебашни хватит токийской 🗼

• надписи, флаги

• слишком специфичные: F-35, пицца с колбасой. Принять могут только военный самолёт, пиццу и колбасу

• изобразимые текущими картинками: мытьё рук, ведь есть руки 👐 и мыло 🧼

• вызывающие каскадное добавление новых эмодзи: ленточки, символизирующие различные заболевания

• если автор не смог объяснить, на что эмодзик нужен: уроборос (змей, кусающий собственный хвост). Аэрозольный баллон долго объясняли, но он уже на рассмотрении, а квадрокоптер шесть раз заворачивали.

Я пишу программу «Юникодия» — энциклопедию символов Юникода. Качать тут.

Нулевой соединитель (ZWJ = zero width joiner) — невидимый символ с кодом 200D₁₆, призванный соединять символы в лигатуру, если шрифт способен. За пределами эмодзи используется в сингальском (Шри-Ланка).

1. Шесть новых эмодзи

Лайм =🍋+ZWJ+🟩
Съедобный гриб = 🍄+ZWJ+🟫
Разорванная цепь = 🔗+ZWJ+💥
Колобок, кивающий вертикально = 🙂+ZWJ+↕️
Колобок, кивающий горизонтально = 🙂+ZWJ+↔️
Феникс = 🐦️+ZWJ+🔥

2. Новые семьи

Семей существует много разных: из нескольких поколений (бабка+родители+ребёнок+младенец), межрасовые, с питомцами, и непонятно, как всё это собрать, не устроив комбинаторный взрыв. Так что добавили только бесполые семьи, состоящие из «неопределённого взрослого» и «неопределённого ребёнка». Видимо, потому, что имеет право на жизнь вот такая иконка.

🧑+ZWJ+🧑+ZWJ+🧒+ZWJ+🧒
🧑+ZWJ+🧒+ZWJ+🧒
🧑+ZWJ+🧑+ZWJ+🧒
🧑+ZWJ+🧒

3. Стандартизированы эмодзи с направлением движения

Даже при том, что текст идёт слева направо, меняем направление движения — меняется смысл.

В Юникоде 15.0 таких последовательностей не было, только много лет существовал механизм. Теперь будет 108.

Китайские иероглифы

Обещают добавить около 600 новых символов. Однако поскольку штатный иероглифист умер, неизвестно, смогут ли новые иероглифисты подхватить его работу. Зато сделали две новых вещи.

Первая — серьёзно перелопатили базу иероглифов, важно только специалистам.

Вторая — добавлены пять символов структуры иероглифов. Давно, с версии 3.0, вот этот иероглиф с кодом 2DA21₁₆ можно было описать как ⿰書史, Появились, например, знаки «иероглиф отражён», «иероглиф повёрнут», «у иероглифа стёрта черта».

Изменения глифов

Изменены два глифа.

A798 «F с чертой» используется в африканских языках, и вместо реконструированной буквы теперь найденная в документах. AB5A «игрек с короткой правой ногой» — используется для описания диалектов немецкого, нашли в документах некурсивный вариант.

Напоминаю: я пишу программу «Юникодия» — энциклопедию символов Юникода. Качать тут.