492

Юникодия v0.1 — моя энциклопедия символов

Серия Энциклопедия символов «Юникодия»

Я ещё студентом хотел сделать энциклопедию символов Юникода. И за всё это время, пока я хотел, Юникод разросся с 49 тысяч символов до 140 тысяч.


Но всё-таки я сделал, хоть и не до конца, и получилась такая себе замена Таблицы символов Windows. Вот результат 4,5 месяцев работы одного человека в нерабочее время.

Сами понимаете, ни один шрифт не покроет всего Юникода. Кто-то предлагает комплект из трёх шрифтов, покрывающий весь Юникод 13 — но этот комплект коммерческий, и качество я не проверял. А нам, опенсорсникам, приходится искать — и хорошо, что Гугл сделал проект Noto (внимание, шрифты лучше брать прямо с их Гитхаба).


Но не Noto единым: на арабский, сирийский и ККЯ (китайский, корейский, японский) они просто забили, и они давно и безнадёжно неполные. Лаосский, готский и один из грузинских алфавитов — неканоничные глифы. Венгерские руны — просто жестоко глючат. Так что поиск шрифтов был сложным делом.


Да, вот ссылка на программу. Она бесплатная и открытая, пока только для Windows.


Программа на данный момент может немного. Она покрывает всю базовую и 2-ю плоскость Юникода, изрядный кусок 1-й и примерно половину 3-й. Позволяет простейшую навигацию по этому хозяйству, копирует символы в буфер, даёт небольшую информацию по письменностям, блокам и разным терминам — вот и всё.


Название самое лобовое: Юникод+энциклопедия → Юникодия.


Думая над эмблемой, сначала я хотел стебнуться над эмблемой Юнилевера и сделать вместо «положительных» образов конфет, птичек, ДНК и прочего разные символы из Юникода.

Но потом подумал, что это уж слишком. У меня уже были мысли каким-то образом разделить письменности на Европу, Азию, Тихий океан, Америку, Африку и международные — так что возникла идея собрать букву U из разноцветных кубиков.

Эти кубики и дали идею навигации по трёмстам блокам. Азию, как видите, я дополнительно разделил на ККЯ и остальное.


ККЯ — это примерно ¾ Юникода, и ткни куда-то в середину таблицы — попадёшь в иероглиф. Потому все ККЯ, кроме часто нужных катаканы и хираганы (японских язбук), изначально свёрнуты.

Почему настольная программа? Во-первых, я настольный программист. Во-вторых, выяснилось, что веб-версии крайне тормознутые, что делу показа здоровенной таблицы не способствует. В-третьих, появилась интересная задача, исполнимая только в настольном варианте: есть символ — какие системные шрифты его поддерживают?


Что будет дальше? Показ как можно большего куска Юникода — и точно всех не-ККЯ. (Кстати, индийскую письменность нандинагари за неимением шрифта я сам как-то коряво начёркал.) Поиск, как без него — пока он «засерен», но это первое, что будет работать. Некий рубрикатор для эмодзи. Может, какие-то утилиты для китайских иероглифов — но без посторонней помощи я этого не сделаю. Утилита для показа разных начертаний жестового письма Валери Саттон — я уже знаю, какая, это просто не было приоритетом версии 0.1.


Вот «моргалы выколю» на жестовом письме Саттон.

Есть ли аналоги? Наш самый первый аналог — Таблица символов Windows. Правда, она ограничена одной задачей — поиском в шрифтах того или иного символа. А со здоровенным Юникодом часта другая задача — найти, есть ли в каком-то системном шрифте редкий символ.


Во-вторых, бесчисленное множество веб-версий баз Юникода. Их и показывать не стоит — они унылы как смерть, и ничего нового не привносят: пользуются системными шрифтами, не содержат никакой собственной информации.


Unicode-table.com — внимание, без адблокера не соваться. Автор сделал большую работу, но всё ещё много автоматических переводов и мало нетривиальной информации, к тому же сайт около года не обновляется. На самом деле мы с его автором сотрудничаем: я деру данные у него, он у меня.


BabelMap — бесплатная программа с моей же философией. Она несколько меньше, так как не тащит полные шрифты. Зато автор китаевед, и есть неплохой поиск по иероглифам.


Для чего я выложил здесь? Для пиара, как без него. Во-вторых, только пользователи подскажут, как улучшить интерфейс, какая нужна функциональность и какие неточности в описаниях.


Спасибо за внимание!

Правила сообщества

0. Запрещены посты вне тематики сообщества

1. Уважайте труд людей, пишите только конструктивную критику,

2. Не выкладывайте информацию по своему проекту чаще 2ух раз в месяц

59
DELETED
Автор поста оценил этот комментарий

Титанический труд, на самом деле достойный уважения.

раскрыть ветку (1)
10
Автор поста оценил этот комментарий

Спасибо!

показать ответы
4
Автор поста оценил этот комментарий

ККЯ (китайский, корейский, японский)

А в чём логика такого объединения? Китайский, да, дофига иерглифов. Но чисто японских и корейских буквслогов ненамного больше, чем в кириллице и латинице, например

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

Разрешите процитировать свою же Юникодию.


ККЯ = китайский, корейский, японский / CJK = Chinese, Japanese, Korean


Группа письменностей, близких к китайским иероглифам. К ним относятся также слоговые катакана и хирагана, и хангыль спорного типа. Из исторических — тангутский, киданьский, нюй-шу.


Особенности ККЯ:

• размашистое письмо кистью и тушью (за исключением нюй-шу);

• символы моноширинные — независимо от количества черт, выровнены по невидимой сетке. Заимствованные буквы часто полуширинные — занимают половину клетки;

• письмо изначально справа налево по столбцам; сейчас обычно слева направо по строкам. И поныне японские комиксы манга читаются справа налево;

• иероглифы несколько отличаются от страны к стране, Юникод оставляет эти тонкости за шрифтами;

• поскольку символы не вписываются в 256 позиций, существовали специфичные кодировки для иероглифов.


Катакана и хирагана, по опыту, нужны настолько часто, что даже не сворачиваются, как остальной ККЯ. У хангыля есть два варианта: сборка слогов из чамо (букв) и монолитные слоги — в блоках чамо около 350 символов, готовых слогов 11 тысяч.

11
Автор поста оценил этот комментарий

Колоссально! Отдельный "+" за настольную версию.
Кстати, про шрифты. К кому можно обратиться, сделать копию шрифта с латиницы для кириллицы? И немного увеличить символы  для верхнего регистра.

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Я не настолько крут в шрифтовом деле.

0
Автор поста оценил этот комментарий

А мне вот софтина пригодится. Частенько надо спецсимволы вставить - приходится копаться по статье в Википедии "Мнемоники в HTML"

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

О, спасибо за HTML-мнемоники! Хотел, да забыл как-то.

9
DELETED
Автор поста оценил этот комментарий

Ну и хотелось бы заметить что веб версия сняла бы вопрос кроссплатформенности и монетизации, засчёт рекламы например.

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

Может, когда-нибудь и сделаю онлайн. Но это реально сложно.

показать ответы
0
Автор поста оценил этот комментарий

А в чём сложность онлайн версии?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

1. Если писать впрямую, будет тормознуто и неюзабельно.

2. Вопросы с подготовкой шрифтов — часть накопанных ККЯ-шрифтов не берёт ни одна утилита.

показать ответы
0
Автор поста оценил этот комментарий

Ну тут ХЗ, семёрке по любому не много осталось. А что, в шрифтах уже нет обратной совместимости?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Под 7-ку эти языки обнаружились в китайских шрифтах — ну пусть будут…

Шрифт сменился — значит, они исчезли.

0
Автор поста оценил этот комментарий

Вот теперь работает)

Ну труд, конечно, колоссальный. Я помню своё первое столкновение с юникодом и шок от того, в какую укуренную абракадабру превратили простую и правильную идею... Респект.


Ну и некоторые замечания по первому впечатлению.


К рубрикатору, в силу его размера, не помешали бы и пользовательские закладки.

В окне поиска при наборе символа через «Alt+цифры», эти самые цифры вводятся как обычные, а не должны.

Если нажать на термин, появляется окно с пояснением, но перейти к статье(если это описание алфавита или группы), как в энциклопедии, нельзя.


Ещё бы не помешало окно-песочница с мини WordPad-ом, куда можно было бы набросать пару строк символов, посмотреть как они сочетаются, менять размер, шрифт и т.п.

Чтобы не таскать по одному во внешний редактор.


Ну и описание отдельных символов, раз уж это энциклопедия,  было бы уместным, хотя объём работы тут несколько пугает.)

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я тут накопал новый ККЯ-шрифт и закрыл под W10 все ККЯ-тофу, кроме семнадцати. С оставшимися буду работать, но вряд ли там что-то сложное.

Из-за замены шрифта в W7 под нож пошли ликийский, лидийский, карийский, готский, южноаравийский и CJK C (всё это существует в W10 из коробки, но не в W7). Готский я постараюсь найти или даже позже нарисую, поскольку хочу нечто близкое к Библии Вульфилы. Орхонские руны заменил. А остальные — стоит их искать в других источниках или пусть так будет?

показать ответы
0
Автор поста оценил этот комментарий

Не запускается. Пишет: "Точка входа в процедуру CreativeEventW не найдена в библиотеке DLL api-ms-win-core-synch-l1-2-0.dll."

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Лови обнову. Разобрались, что творится — оказалось, Qt Core 6.2+ намеренно полез в недокументированные функции.

показать ответы
0
Автор поста оценил этот комментарий

Да не за что). Кстати, а чем вызван выбор компилятора MinGW? Он же вроде для портирования под винду юниксовых приблуд?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо, что подождал. Лови 0.4.

Закрыты ВСЕ тофу базовой плоскости.

показать ответы
0
Автор поста оценил этот комментарий

Да не за что). Кстати, а чем вызван выбор компилятора MinGW? Он же вроде для портирования под винду юниксовых приблуд?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Подождёшь немного, я быстренько закрою тофу базовой плоскости, проверю снова на W7, и будет уже 0.4?

0
Автор поста оценил этот комментарий

Да не за что). Кстати, а чем вызван выбор компилятора MinGW? Он же вроде для портирования под винду юниксовых приблуд?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Вроде порядок, откатился на Qt 6.1.3. Сейчас работаю над закрытием тофу базовой плоскости, пусть коряво. И будет уже выпуск 0.4.

0
Автор поста оценил этот комментарий

Да не за что). Кстати, а чем вызван выбор компилятора MinGW? Он же вроде для портирования под винду юниксовых приблуд?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Почему именно для портирования? Чем больше своего носишь с собой и чем меньше зависишь от разжиревших библиотек M$, тем лучше.

0
Автор поста оценил этот комментарий

Кстати, @Mercury13, согласно документации (https://docs.microsoft.com/en-us/windows/win32/api/synchapi/...)  CreateEventW в Kernel32.dll находится, а не в api-ms-win-core-synch-l1-2-0.dll.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я посылаю багрепорт в Qt, и пока ищу версию, которая как-то соберёт.

Спасибо за помощь! Жди 0.3.1, там намного меньше тофу.

показать ответы
0
Автор поста оценил этот комментарий

Кстати, @Mercury13, согласно документации (https://docs.microsoft.com/en-us/windows/win32/api/synchapi/...)  CreateEventW в Kernel32.dll находится, а не в api-ms-win-core-synch-l1-2-0.dll.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Walker говорит: это какой-то ущербный Qt6Core. Шозанах, я не понимаю.

0
Автор поста оценил этот комментарий

Кстати, @Mercury13, согласно документации (https://docs.microsoft.com/en-us/windows/win32/api/synchapi/...)  CreateEventW в Kernel32.dll находится, а не в api-ms-win-core-synch-l1-2-0.dll.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Стандартный инструмент любого инженера по выпуску — Dependency Walker. Запустил его, пытаюсь высмотреть, что там за нах…

0
Автор поста оценил этот комментарий

Кстати, @Mercury13, согласно документации (https://docs.microsoft.com/en-us/windows/win32/api/synchapi/...)  CreateEventW в Kernel32.dll находится, а не в api-ms-win-core-synch-l1-2-0.dll.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Я это знаю, потому и не понял, что там к чему.
0
Автор поста оценил этот комментарий

Та же фигня на win7x64

Иллюстрация к комментарию
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Может, нужен Visual C++ Runtime какой-то версии (2015?) — но кто его требует, я так и не понимаю.

показать ответы
0
Автор поста оценил этот комментарий

Не запускается. Пишет: "Точка входа в процедуру CreativeEventW не найдена в библиотеке DLL api-ms-win-core-synch-l1-2-0.dll."

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Подозреваю, дело в 32-битной винде. А то я пока собираю только под Win64.

показать ответы
0
Автор поста оценил этот комментарий

Не запускается. Пишет: "Точка входа в процедуру CreativeEventW не найдена в библиотеке DLL api-ms-win-core-synch-l1-2-0.dll."

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

ОСь? CreateEvent — это очень давняя функция.

0
Автор поста оценил этот комментарий

Спасибо за полезный и оригинальный контент!

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо!

1
Автор поста оценил этот комментарий
Автор красава, труд огромный

Снимаюшляпу.jpeg
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо.

1
Автор поста оценил этот комментарий
@editors,👋🙂
Предлагаю добавить тег(и) "шрифт" и/или "шрифты" для более удобного поиска, если конечно @Mercury13 не против.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Да вперёд.

0
Автор поста оценил этот комментарий
Извините, а что вот это за символы?
Знаю вроде, что это как-то связано с восточным календарём, (лунным?).
Иллюстрация к комментарию
раскрыть ветку (1)

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества