Напоминаю: я пишу программу под Windows — энциклопедию символов и самую лучшую замену стандартной Таблице символов. Качать тут. Выглядит примерно так.

Что за это время изменилось…

Добавлена бета-версия Юникода 16

Новых блоков много, и я лишь скажу, где закрыл тофу.

• Гарай: экспериментальная для языков волофал и мандинка (Сенегал), 1961 — нашёл корявый шрифт, закодированный в латиницу, и перевёл в Юникод

• Сунвар: новая для языка сунвар (Непал), 1941 — нашёл корявый юникодный шрифт

• Кират: новая для языка бантава (Индия, Непал), 1920 — нашёл отличный юникодный шрифт

• 8 новых эмодзи

• Всякая мелочь вроде латиницы, кириллицы и стрелок

Заодно начал использовать не XML-базу Юникода, а текстовую: Консорциум рассматривал даже отказ от XML, но нашлось кому поддерживать, и всё равно вышла только в мае. Текстовая сложнее в разборе, зато быстрее, компактнее, больше информации, лучше совместима с системой управления версиями.

Раньше было: куда ни ткни, попадёшь в китайский иероглиф — потому ККЯ сворачиваются. После того, как добавили 4000 египетских иероглифов, появилось то же чувство.

Новая функциональность

Символ + эмодзи

Простите, что сделано очень непоследовательно, но чтобы выяснить, делать ли, я отвечал на три вопроса.

1. Что по умолчанию: текст или эмодзи? В таком виде отображаются только VS16-эмодзи. Потому отпадают знаки зодиака, у которых первичен именно эмодзи.

2. Насколько важна текстовая версия? Отпадает компьютерная периферия: почти не бывает в текстовом виде. А пешка — часто встречается в шахматной нотации.

3. Насколько оно красиво на этой библиотеке эмодзи? Вы знаете, я много ругался на неконтрастную библиотеку Гугла, и именно из-за контраста отпадают череп и кости.

Ещё одно трудоёмкое и малозаметное, но важное изменение. Шрифты Гугла всеобъемлющие и потому у них габариты с запасом — а значит, раздвигали окошко «Образец». Теперь на очень многих письменностях не раздвигает.

Запросы

Рядом с некоторыми заголовками видна маленькая синяя лупа.

При нажатии на эту лупу выводятся… как вы понимаете, все управляющие символы.

Поскольку синтезированные иконки вроде L и ä после этого изменения отображаются часто, навёл небольшой порядок в них.

Ускорено передвижение по таблице в куче тофу

Юникод выходит в сентябре: повелось с КОВИДа и оказалось удачным. Примерно к Новому году что-то я сам затыкаю, что-то рисуют профессионалы, тормоза перестают быть проблемой, и я забываю о них — в мирное время до сентября-октября (выпуск Юникода + первый крупный шрифт), в военное до апреля-мая (бета-версия Юникода).

Я знал, кто источник замедления (поиск по всем доступным системным шрифтам), но как это правильно запрограммировать? Наконец придумал.

Улучшено отображение всплывающего окошка

Оказывается, если регулировать размер окна штатной автоматикой, предел по ширине и высоте ⅔ экрана. Но библиотека глючит и размер часто вылезает за этот предел — так что я просто спутал баг и фичу. Заглянул в документацию, увидел этот предел и начал писать, тестируя на барахольном ноуте FullHD 14″.

Решается, как и полагается Qt — залезаешь в исходники, копируешь кусок автоматики и переписываешь под свои нужды. Вот такая нехорошая архитектура.

Подтягиваются шрифты

Профессионалы нарисовали новый блок деванáгари.

В таблице и в заметках требования к шрифту чуть разные: шрифт из таблицы должен поддерживать максимум символов, заметке нужен базовый набор, какая-то функциональность и качественный хинтинг (подгонка под пиксели). Деванáгари — это же главная брахмийская письменность и используется в пяти заметках, но Noto Devanagari плохо отхинтован. Раньше я использовал для заметок какой попало системный шрифт, но неявно полагал, что «какой попало» — это Arial Unicode MS из Microsoft Office. Теперь явно прописана цепочка из трёх шрифтов, и какой-то точно найдётся в W7, 10 или 11. Не лучший вариант (рано или поздно выйдет W12), но пусть поживёт так.

Да, W7 всё ещё поддерживается и иногда ей помогаю, и старые гарантии — без тофу базовая плоскость и три важных письменности — всё ещё выполняются, но тестирование под неё эпизодическое и теперь обещаю только запуск.

Коптский перекочевал в UnicodiaFunky и приобрёл кучу новой функциональности. Для Юникодии не важно, для коптского языка — важно.

Начал писать про макасарский и выяснил, что вся функциональность шрифта написана на нестандартной системе Graphite и он в Юникодии совсем не работает. Сначала поступил как в коптском (перенёс глифы и написал функциональность), но потом и нарисовал более чистые глифы, оставив общий стиль тем же — стилем дневника тамошнего принца.

Что думаю сделать дальше?

1. Поиск по эмодзи. Эта функция требует большого исследования, и не знаю, когда будет.

2. Нарисовать какую-то из новых письменностей. Пока склоняюсь к албанскому Тодри.

Спасибо за внимание!

Напоминаю: я пишу программу под Windows — энциклопедию символов и самую лучшую замену стандартной Таблице символов. Качать тут. Выглядит примерно так.

И первое, что видно…

Любимые символы

Какой-то фанат накидал мне целую панамку функциональности, и один его пункт я сделал, ибо нет технических препятствий и сумел просчитать все интерфейсные обоснования. (Скажем, масштабирование я не сделал потому, что функцию попробуй обнаружь в интерфейсе, а если случайно изменил масштаб, непонятно, как вернуть.)

Можно создать список каких хочешь символов — например, часто используемых типографских. Или просто закладки на полноценные блоки: нажатие на синюю стрелочку около «U+1FAF6» переходит на вкладку «Блоки».

Подтягиваются шрифты

Руки Noto

Библиотека Noto к 15-му Юникоду привезла новые руки, вы уже их видели на заглавной странице — сделанные двумя цветами и как бы снятые широкоугольным объективом. Я их откладывал как из-за трудоёмкости, так и из-за сомнений: а достаточно контрастности? Оказалось, Юникодия приняла новые руки без вопросов, а BitBucket стал хуже — ну не смотрятся на размере пикселей в 15. А Slack вообще отказался принимать эти руки.

Все руки, кроме одной, автоматически перекрашиваются, и для тестирования этого механизма я сделал целую утилиту: а что в картинках изменилось? Обнаружил, кстати, много других глюков.

Видите, у вампирши яркие брови и тусклое лицо? Это значит, были какие-то ошибки в перекраске.

Изначально перекраска ставила целью экономить механическую работу, а не байты архива. Некоторые SVG-эмодзики глючили, я глюки исправлял — а чтобы исправить один раз, а не шесть, пять цветов кожи генерировались. Теперь, когда можно сравнивать «было/стало», можно и поэкономить, и десятка полтора человечков перекрашиваются — для пользователя не изменилось ни пикселя.

Египетские иероглифы

В 2009 году, когда кодировали иероглифы, их брали из трудов Алана Гардинера — историчные, но корявые. В 2016 их заменили на профессиональный шрифт, возможно, Hieroglyphica, слегка погрешив против истины. С 2021 истину стали восстанавливать.

Мы работали вдвоём с немецким египтологом — я рисовал, он проверял. Когда он без предупреждения пропал, я спрашивал: а что с ним? Оказалось, уехал «в поля». Так и не сказал мне, насколько опасно/безопасно было в Египте.

Примерно 60% изменений — это люди. А именно: у действующего фараона прямая борода, у бога и бывшего фараона — длинным крючком (за исключением Пта, у него фараонская), у египтянина — короткая, у сирийца — острая. Кроме того, коровы, обезьяны, лодки и многое другое — около 70 иероглифов.

Ланна

Северотайская письменность, сейчас в опасности, одна из красивейших письменностей мира.

В 1930-е ланна была заменена тайским письмом, и используется больше меньшинствами (тай-кхынами, лы), до которых националисты не дотянулись. Так что многие надписи на северотайском пишут и тайским письмом, и ланной.

Меня просто давила жаба: такая красота — и шрифтом без засечек? После долгих поисков нашёл шрифт, который корректно рисует хотя бы простейшие надписи из Википедии.

Символы каны для записи иностранных языков

Движок GlyphWiki не очень подходит для рисования таких символов, и я плевался, когда вычищал. Нашёлся человек, нарисовавший их вручную.

Прочая функциональность

Предупреждение о других формах эмодзи. У некоторых эмодзи бывают другие формы — устаревшие, некорректные и просто другие. Современный флаг Афганистана, белый с шахáдой (девизом ислама), никто не принимает и рисует старый 2021 года. Пиньята (начинённая конфетами игрушка) бывает в форме звезды и в форме животного. Автобусную остановку рисует каждый свою местную. Микроб — рисуют бактерии, амёбы и даже КОВИД.

Вычищаю ложь. Я, конечно, стараюсь проверять, что пишу, но иногда не получается. Например: есть аж два «эльбасанских письма» для албанского: одно было известно с самого начала, ибо его изобретатель, «учитель Тодри», всю жизнь его пропагандировал, пока не убили (будет этой осенью под именем «Todhri»). Второе — единственный образец изъяли в 1945 у расстрелянного коллаборациониста, коллекционера и филолога (есть с 2014 под именем «Elbasan»).

Или не очень верно написал, что такое ночная азбука Барбье: она использует матрицу 2×6, но код там не двоичный, а сколько точек в левой колонке и сколько в правой — таким образом получается 6·6=36 букв.

Последнее — про азбуку Брайля отлично рассказала Юлия Большакова, так что закончим её рассказом.

Спасибо за внимание!

Напоминаю: я пишу программу под Windows — энциклопедию символов и замену стандартной Таблице символов. Качать тут. Выглядит примерно так.

Новые подборки: Наука и техника, Латиница

Математика и астрология — две самых разбросанных по Юникоду подборки небуквенных символов. Пришлось как-то собирать воедино.

Также есть черчение и электричество, но это совсем маленькие подборочки.

(Может, когда-нибудь доберусь до комментариев к шахматным партиям, тоже интересный набор.)

Впоследствии придумал такой же рубрикатор для латиницы. Внешне это просто папочки в тех же Подборках, но за ними стоит небольшой движок, проверяющий: а ничего я не забыл? А точно заглавная буква стоит рядом со строчной?

Вообще есть три способа добраться до буквы расширенной латиницы — например, капительной I (ɪ), знакомой нам по английской транскрипции.

1. Поискать среди вариаций буквы I.

2. Поискать в символах английской транскрипции.

3. Поискать в капительных буквах.

Отсюда три подборки для латиницы — по букве, по стране и по шрифту.

Пока ничего не придумал для нестандартных букв латиницы, чьи корни нелатинские: торн þ (от руны), бараньи рога ɤ (Википедия говорит, от греческого, но подозреваю, от старой кириллицы — это гласный, близкий к «у»), гортанная смы́чка ɂ (от надстрочных знаков), пятый тон Ƽ (от цифры) и прочая нечисть.

Юникод 15.1 бета

Добавлен полностью, без единого тóфу, на правах бета-версии, за двумя исключениями.

1. Китай решил ответвиться от Юникода и добавить 614 иероглифов в пока не используемую плоскость 0A. Чтобы пресечь это вредительство, иероглифы быстренько проверили (получается, 603 из них новые и 11 повторных). На GlyphWiki творится такой беспредел, что не поймёшь, какие изображения верны, остаётся только ждать стабильного Юникода.

2. Не перерисованны глифы в тангутском и алхимических символах.

Состав строки в Подборках

Как видите, в новом эмодзике целых восемь символов! Данное отображение — компромисс: минибраузер плохо выводит картинки в HD, а горизонтальная линейка красива, но не показывает названий.

Проверка обновлений

Пока самая простая, использующая функциональность GitHub. Качать и устанавливать всё равно придётся вручную.

Подтягиваются шрифты

Появился Noto Kawi, так что теперь не нужен выпрошенный у кого-то несвободный шрифт с балийско-яванской кодировкой. Новые символы в балийском, кáннаде, ходжки и других теперь полноценные, а не затычки.

Убрал жестокие тормоза с корейско-японскими символами на Windows 7 — не думал, что причиной будет один гугловский (!) OTF. Сильно урезал и переименовал, по своей новой традиции, из Noto в «Юто» (простите, по-английски не напишешь — автоцензура кидается).

Новый шрифт жестового письма Саттон: глифы гугловские, таблицы собственные.

Полностью перебраны изображения базовых умляутов (0300…036F): здесь «хорош» как Cambria, так и Noto, пришлось делать свои изображения-затычки.

Нарисовал символы затёртых египетских иероглифов так, чтобы походило на монохромные глифы. Сильно мешает дыра в функциональности Inkscape: не может превращать узорную заливку в контуры, и всё тебе, пришлось собирать штриховку вручную.

Также нашёл шрифт с древней глаголицей, и это внесло в Юникодию…

Переключаемый стиль

Существуют два стиля глаголицы, болгарский и хорватский. Оба унифицированы, главным считается болгарский — понятнее, если нарисовать современной типографикой. А почему бы не показывать тот или другой, на выбор?

Впоследствии реализовал и другой стилевой канал: существует семейство письменностей, восходящих к согдийской, которое пишется сплошной вязью слева направо по столбцам! В Юникоде они пишутся кто слева направо, кто справа налево, и теперь есть выбор: показывать горизонтально или вертикально.

Язык оригинала — английский

Изначально был русский, но это мешает привлекать переводчиков. Переход на английский потребовал две функции от программы-переводчика:

1. Преобразовать проекты в новую форму.

2. На украинский проще переводить с русского, чем с английского. Думал, думал, и решил, что будет второй перевод — «справочный». Никакой формальной силы он не имеет: если в русском что-то изменится, украинец ничего не обязан. Допустимы «порочные круги», когда русский, в свою очередь, смотрит на украинский.

Прочие мелочи

Написал свой механизм работы с формами множественного числа: «71 символ».

Добавлена история поиска.

Спасибо!

Эмодзи (от японского «э» — картинка и «модзи» — знак) — язык пиктограмм, используемый в текстовых сообщениях. Будем говорить исключительно об эмодзи Юникода, как о самых распространённых.

История

В некоторых компьютерах мордашки включали в наборы символов: так, у компьютеров IBM (1981) две мордашки имели коды 1 и 2. Но пользоваться ими проблематично: их нет на клавиатуре, привязаны к платформе, да и коды 0…31 часто имеют собственное управляющее значение.

Смайлик :-) придумали на заре Интернета, в 1982 году.

Конец 1990-х. Везде графика, и в различных системах интернет-общения появилась функция: отыскать в тексте :-) и заменить графической рожей. Кто помнит этот стиль смайликов?

Главный недостаток такого кодирования через особые последовательности — попробуйте передать текст программы, и гарантированно будет ложная замена. Например, в записи f(8) находит смайлик в очках 8).

Было время, когда SMS’ки стоили дорого, и мы экономили символы. Экономили и японцы, и мобильный оператор DoCoMo в 1999 придумал вот такие символы, их и назвали «эмодзи». Кодировка символов собственная докомовская.

В середине 2000-х годов смайликами обзавелись как Гугл в своей почтовой службе, так и Эпл в айфонах. Возник вопрос межплатформенного обмена смайликами, и консорциуму Юникода в 2010 году осталось только возглавить бардак, который они не в силах предотвратить, тем более свободных позиций в Юникоде всё ещё предостаточно: в ожидаемом Юникоде 15.1 пока 150 тысяч символов из 900 тысяч доступных. Добавляли понемногу, по несколько сотен, пока около 2018 не добавили все.

Совет: мало кто знает клавишу Win+; (точка с запятой) или Win+. (точка) из Windows 10+. Она выводит панель символов, в том числе эмодзи.

В том же 2018 Гугл, имея сильные позиции в Консорциуме, добавил эмодзи инклюзивности: по умолчанию большинство эмодзиков бесполые, мужской или женский пол задаётся специально.

Что такое «бесполый»: не имеет явных признаков мужчины или женщины. Нет сисек или усов; одежда, аксессуары и причёска унисекс. Например: у Гугла мужчина-вампир носит бабочку, женщина — чокер, а бесполый — горжет. Конечно, сделано в первую очередь для небинарных, но, извините, «палка-палка-огуречик» тоже бесполый. И вообще хорошая мысль: передавать идею, очищенную от дополнительных смыслов. А если те нужны — устанавливаются дополнительно.

А пока…

Немного теории

Символом будем называть всё, что есть в кодировке: печатаемые символы, управляющие команды, незанятые позиции…

Любая кодировка заключается в замене символов на кодовые последовательности: например, пробел=32, A=65, B=66… Но Юникод пошёл дальше: как только символ попадает в Юникод, ему присваивается кодовая позиция — номер от 0 до 1 114 111 (или от 0 до 10FFFF в шестнадцатеричной системе). А за биты и байты отвечают форматы передачи: UTF-8, Punycode и другие. Вы и сами, если умеете программировать, можете придумать свой формат передачи Юникода.

Если символа нет в шрифте, рисуется белый квадратик тофу, в честь японского соевого сыра тофу.

Заблуждение: Ну что такое, в новом Юникоде теперь крупные эмодзи.

Реальность: Насколько крупно рисовать — это дело прикладного ПО. Задача Юникода — сделать, чтобы все эплы, гуглы и фейсбуки кодировали сходные картинки одинаковыми цифрами.

И даже был курьёзный случай: существовал эмодзи 1F92D — колобок с улыбающимися глазами и ртом, закрытым рукой. Ну явно сдерживает смех. Но Эпл и Фейсбук рисовали глаза широко открытыми — неописуемый ужас. Их разунифицировали, эпловская версия получила номер 1FAE2.

И ещё — Юникод никогда не закодирует конкретную картинку — какого-нибудь преведа или догэ. Юникод кодирует идею, а художник может нарисовать эту идею по-разному.

Односимвольные эмодзи

Пример: ехидный колобок состоит из одного символа 1F600.

С ними проще всего: открываешь любую таблицу символов и находишь эмодзик. Недостаток: если эмодзик новый, он, скорее всего, отобразится тем самым ненавистным тофу.

VS16-эмодзи

Пример: красное сердце 2764+FE0F

Такой механизм применяется в основном для старых символов, существовавших до 2010 года, а также принятых в эмодзи с опозданием (напоминаю, принимали их по несколько сотен за раз). Чтобы отобразить символ графикой, за ним ставится невидимая метка «селектор начертания 16» (variation selector 16) FE0F.

Как вы видите, начинаются сложности, и их цель — избавиться от тофу. Старый символ хоть в текстовом виде, да и будет.

Совет: если в таблице символов видите эмодзи, а копипаста, например, в браузер упорно выводит символ текстом — вероятно, не хватает того самого VS16. Или найдите другую таблицу, или скопируйте-вставьте символ FE0F отдельно.

Существует и обратный селектор — FE0E, делающий из эмодзи текст. Вот вам футбольный мяч+FE0E: ⚽︎

И вообще, если эмодзи многосимвольный, его можно копировать по частям. Если все части скопированы правильно и система знает такой эмодзи, он сразу же отобразится.

Цвета кожи

Пример: негритянская рука OK 1F44C+1F3FF

Как видите, цвет кожи — это просто символ-метка. Система, если может, собирает из руки и тёмной кожи тёмную руку. А если не может — будет просто рука и чёрный лоскут.

Флаги государств

Есть специальный алфавит, и флаг — это две буквы из этого алфавита. В Windows 10 во всех «хромых» браузерах будет «GB», а Firefox содержит флаги государств и всё-таки нарисует «юнион джек».

Зато флаги иногда меняются, в этом загвоздка. В общем, сейчас Консорциум больше рекомендует цветные метки вместо флагов, но за политической обстановкой следит.

ZWJ-последовательности

Пример: белый бесполый врач 1F9D1+1F3FB+200D+2695+FE0F

Посмотрим, как эта штука устроена. Первые два символа — это эмодзи «белый человек». Последние два — посох Асклепия. А между ними — невидимый символ «нулевой соединитель» (zero width joiner) 200D. Даже если система не может собрать из них врача, будет как-то понятно.

Другой вариант — картинка деятельности + ZWJ + символ пола.

А также:

• ворона = 🐦 + ZWJ + ⬛

• свежачок Юникода 15.1 (выйдет в сентябре): человек, идущий вправо = 🚶‍♂️ + ZWJ + ➡️ + VS16

Ну и рекордсмен Юникода — межрасовый поцелуй. Целых десять символов: четыре эмодзи, соединённые тремя ZWJ.

Из-за такого устройства у ZWJ-последовательностей есть и второй путь кодирования: производитель придумывает последовательность, вписывающуюся в правила, и если она станет популярной, Консорциум её внесёт в Юникод.

Инклюзивность

Примерно с 2018 начали заботиться об инклюзивности. У каждого эмодзи есть бесполая, мужская и женская версия, исключения три:

• женщина в хиджабе (мусульманском платке) 🧕;

• женщина, кормящая грудью 🤱;

• танцор 💃 — изначально это была женщина в латиноамериканском платье. Потом добавили мужчину в костюме диско 🕺. А вот что будет танцевать бесполая версия — так и не определились (пока склоняются к брейку или контемпу).

Даже беременный мужчина с 2021 есть, тем более парочка беременных людей, которые по документам мужчины, действительно нашлась. А ещё в Англии можно «наесться до беременности», а у нас «беременный» — это с пивным пузом. Также есть несколько эмодзи, связанных с инвалидностью: человек в коляске, с белой тростью…

Забавная история. В шрифте Webdings в позиции 6D находится стилизованный восклицательный знак — мужчина в очках и деловом костюме левитирует. В 2014 году закодировали Wingdings и Webdings, превратив часть картинок в эмодзи — этот левитирующий (1F574), по стандарту, бесполый и может иметь расу.

Когда на картинке двое или более людей, в Юникоде существуют четыре способа раздать им расы:

• Собрать через ZWJ из меньших эмодзи. Таких сборок всего четыре: поцелуй (см. выше), рукопожатие, любовь, пара людей. Согласитесь, важные!

• Обойти межрасовую тему. Кормление грудью или из бутылки — младенец в шапочке. Массаж лица — массажиста нередко рисуют в перчатках.

• Забить на расы из-за комбинаторного взрыва: все семьи без расы, иначе было бы много-много тысяч картинок.

• Забить на расы из-за маловажности: борцы и танцоры Плейбоя есть всех трёх полов, но без расы.

Колобки не инклюзивны, они всегда лысые и жёлтые.

У меня есть идея эмодзи. Как предложить?

Консорциум Юникода всегда (а вот и нет, каждый год в апреле-мае) готов выслушать ваши предложения. До настоящих эмодзиков доходят не более четверти заявок. За год выходит 20…30 штук.

Чего они точно НЕ примут:

• связанные с текущими событиями: тонущий корабль, коронавирус (Эпл перерисовал 🦠 1F9A0 «микроорганизм»)

• конкретные картинки и объекты: догэ, Сталин, Христос, Эйфелева башня. Принять могут только военного: собака 🐕 есть, а телебашни хватит токийской 🗼

• надписи, флаги

• слишком специфичные: F-35, пицца с колбасой. Принять могут только военный самолёт, пиццу и колбасу

• изобразимые текущими картинками: мытьё рук, ведь есть руки 👐 и мыло 🧼

• вызывающие каскадное добавление новых эмодзи: ленточки, символизирующие различные заболевания

• если автор не смог объяснить, на что эмодзик нужен: уроборос (змей, кусающий собственный хвост). Аэрозольный баллон долго объясняли, но он уже на рассмотрении, а квадрокоптер шесть раз заворачивали.

Я пишу программу «Юникодия» — энциклопедию символов Юникода. Качать тут.