Жду новый пост

Серия «Доступно об АйТи»

А уж сложный текст (например, по языкознанию), содержащий санскрит и древнерусский ять ѣ, так вообще не напишешь. И тогда в начале 90-х придумали Юникод, тогда ещё просто двухбайтовую кодировку — один символ кодируется двумя байтами. Windows NT изначально писалась юникодной, и там появилась функция IsTextUnicode, проверявшая статистикой, чем, скорее всего, является строка байтов — текстом в однобайтовой кодировке или текстом в Юникоде. Функция существует и поныне, однако Блокнот её давно не использует.

Статистика была проста: длина строки чётная, и чётные байты меняются значительно меньше, чем нечётные. Так что к ложным срабатываниям приводят строки «hhhh hhh hhh hhhhh» и «this app can break».

Хочу избежать службу в армии

Как повторить: на старых версиях Word с русским словарём производства «Информатик» включить проверку грамматики и написать: «Хочу избежать службу в армии». И смотреть, что она выведет.

Это, как говорят, не баг, это фича. В русском языке есть три метода сборки слов в словосочетания:

• примыкание: зависимое слово неизменяемое и просто прицепляется к главному: бежать быстро, бежал быстро. Если в слове «бежал» некоторые учителя выделяют нулевое окончание, то в слове «быстро» окончания нет никакого, ведь наречия не изменяются.

• управление: зависимое слово встаёт в конкретную форму: встретить маму, встретил маму. Встретил мамы — бессмыслица, а встретил без мамы — совсем другое словосочетание.

• согласование: слова изменяются синхронно: чёрный хлеб, чёрного хлеба.

«Информатик» просто завёл базу главных слов, и для каждого указал, каким бывает зависимое. И резонно указал, что глагол «избежать» требует родительного падежа — «хочу избежать службы в армии».

Кто виноват и что делать? И кому на Руси жить хорошо?

Опять для Лиги лени поставлю телегу впереди лошади.

Сначала отвечу на третий вопрос — хорошо начинающим программистам, ведь современные библиотеки позволили очень маленькой кровью, например, загружать сайт, а потом извлекать из него информацию. Чтобы загрузить страницу, можно просто исполнить программу cURL, которая есть в Windows 10 начиная с патча 1803, а в *nix — была с давних пор.

Виновато усложняющееся устройство компьютера, как аппаратное, так и программное. Например, между винчестером — зеркалом, вращающимся со скоростью болгарки — и файлом — цепочкой байтов с именем — есть аппаратный дисковый кэш, программный дисковый кэш, драйвер диска, драйвер файловой системы и файловые функции ОС.

А что делать — не знаю. Я смирился, тем более психологи показывают, что прогрессу достаточно идти вперёд, и пользователь всё поймёт.

И оглавление, снова для Лиги лени.

1. Иногда ей надо ходить неравномерно.

2. Загрузка — сложный процесс.

3. Обратная связь — затратная операция.

4. Иногда программа не может вызвать обратную связь.

5. Иногда обратную связь вызвать архитектурно сложно.

Пристёгивайтесь, поехали!

Иногда ей надо ходить неравномерно

Пример: торрент-клиент

Что происходит, когда мы скачиваем файл по протоколу распределённой закачки? (Считаем, что интернет хороший.)

1. Клиент обращается к трекеру (или бестрекерной сети), чтобы найти тех, у кого этот файл есть. И заодно сам объявляет трекеру, что мы этот файл хотим. Прогресс стоит.

2. Потихоньку сползаются раздающие — поползли по сети первые блоки. Прогресс разгоняется.

3. Скорость дошла до предела, предлагаемого нашим провайдером или найденными раздающими — прогресс идёт равномерно.

4. Файл скачан почти весь, докачиваются последние блоки. Часть раздающих отключаем, скорость падает — прогресс замирает на 99%.

5. Скачан самый слоупочный блок — всё, 100%!

И в этом случае есть вполне измеримый показатель прогресса — скачанный процент. Ему и не надо идти равномерно. Но: программа по каким-то собственным формулам может вычислять, когда закачка кончится, и тут уже всё как в дальнейших примерах.

Загрузка — сложный процесс

Пример: любая игра или инсталлятор

Пример с торрент-клиентом я уже привёл. Посмотрим, что творится в любой игре.

• Загрузка из интернета — зависит как от пинга к серверу, так и от скорости этого самого интернета.

• Доступ к файлам — на SSD почти мгновенный, на механическом диске — ощутимую долю секунды.

• Линейное чтение файла — зависит от скорости диска.

• Распаковка файла (почти всегда игра сжата каким-нибудь ZIP’ом) — тут уже действует процессор.

• Передача распакованного в видеопамять — подключается видеошина.

Будь у нас компьютер с полностью стандартным железом, на манер ZX Spectrum, всё было бы понятно. Но ведь IBM стали стандартом именно потому, что имели множество разных процессоров, дисков и другой аппаратуры, от дешманских до high-end. А интернет-соединение вообще никак и нигде не стандартизировано.

Один из разработчиков сказал: «вот в этой точке мы перемещаем прогресс на 20%», что это значит? Он сидел с часиками и смотрел на отладочный вывод, и понял, что вот этот шаг отнимает примерно 20% времени. Примерно: на другой машине это может быть 10 или 30%. У разработчика — любого — есть один перекос: они пользуются мощными машинами, и потому отмеренные 20%, скорее всего, будут относиться именно к мощному компу.

А это уже личный опыт. Загрузку игры на Java ME я делил на 10–20 примерно одинаковых шажков. Это могла быть загрузка графики, тригонометрических таблиц, спрайтовых таблиц и много чего ещё. Показывается заставка разработчика/распространителя — игра грузится, но прогресса пока нет. Показывается заставка игры — прикидываем процент загрузки, и делаем одно из трёх.

• Игра под заведомо быстрый мобильник (Nokia Series 40, Sony Ericsson серий K и Z) — нет индикатора. В таких портах на заставке даже нет места под индикатор.

• Игра прикидывает, что загрузка закончится за те минимум 2,5 секунды, что отданы на заставку — тоже нет индикатора.

• Или всё-таки рисует индикатор, но он идёт от 0 до 100%, даже если за время первой заставки игра ухитрилась проскочить 4 шажка из 12. Если оставшиеся восемь проскочила со скоростью звука — всё равно заставка висит минимум 2,5 секунды, с прогрессом 100%.

Обратная связь по прогрессу — затратная операция

Когда я пришёл в ту контору, писавшую игры для мобильников, их игры могли грузиться минуту и более. На Nokia Series 60, которая тогда была базовым портом! Перестав дёргать прогресс без нужды, мы ту же S60 отнесли к «условно быстрым» — какие-то телефоны ухитрялись всё загружать за пять-шесть секунд заставок, какие-то чуть дольше.

Давайте о том, как можно обеспечить обратную связь на ПК под управлением Windows (о других ОС не знаю).

1. Самый технически простой. Ничего не делать, только грузить, иногда на короткие моменты передавая управление главному окну. Грузит и рисует полностью последовательно: пока окно перерисовывается, загрузка не идёт. Игра выглядит «застрявшей», не реагирует на управление, ОС может даже сказать: программа не отвечает, хотите дождаться?

2. Одно ядро процессора полностью занято интерфейсом — программа уже реагирует на клавиатуру и мышь. А второе, загрузчик, также время от времени приостанавливается, пока главный не скажет: «У меня есть свободное время» — и не обновит информацию о прогрессе. По времени мало чем лучше первого: грузит и рисует почти последовательно.

3. Этот способ самый сложный, но и самый быстрый. Загрузчик кладёт информацию в «почтовый ящик». Главное ядро время от времени этот ящик трясёт — и выводит его содержимое. Если в ящике всего одна цифра, это очень просто — 4 или 8 байт, в зависимости от архитектуры процессора, перейдут от процессора к процессору неиспорченными. Но с более сложной отладочной информацией надо неплохо так заморочиться, чтобы этой порчи не было — и чтобы не было того, что грузит и рисует последовательно (см. 2).

💽 грузить, 🖌️ рисовать, ⚙️ отрабатывать сообщения Windows, ⬛ обмен данными, 🚬🎋 простаивать

Иногда программа не может вызвать обратную связь

Пример: копирование в Windows на флэшку

Просто не может, и точка. Из чужих библиотек — каких-нибудь закачек, распаковок или математики — обратную связь вызвать очень сложно (придётся их дописывать), из системных вызовов — вообще нельзя.

Чем отличается копирование на винчестер (нет защиты от небезопасного извлечения) от копирования на флэшку (таковая есть)? Последним шагом, закрытием файла! Если копирование на винчестер, пользователь уже получил управление, но Windows ещё несколько секунд трещит, сбрасывая данные на диск — на флэшке сброс идёт сразу при закрытии, ведь надо защитить флэшку от небезопасного извлечения! Минуту, без всякой обратной связи.

Иногда обратную связь вызвать архитектурно сложно

Пример: последние шаги большинства инсталляций или расчётов

Вот поэтому прогресс часто зависает на 100%. Система бывает просто не приспособлена, чтобы запускать эти последние шаги на другом процессоре. Удаление временных файлов, перерисовка пользовательского интерфейса, дополнительные мини-расчёты, которые выполняются с каждым кликом мышью…

Эти шаги можно загнать под прогресс, но это требует непропорционального объёма программистской работы.

В начале 2000-х была мода на визуальный язык UML, сейчас его почти забыли. Попытаюсь рассказать всем не-айтишникам, почему такое не взлетает.

Вообще-то я слегка неправ — кое в каком виде визуальное программирование взлетает. Но все удачные решения делятся на две категории.

1. Там, где действительно клик выразительнее текста.

2. Чтобы как-то привлечь к программированию посторонних.

Клик выразительнее текста

Приведу две системы, где один клик делает столько же, сколько пара строчек текста.

Редактор форм типа Embarcadero Delphi и Qt Creator.

Внешний вид формы всегда проще задать визуально, чем запрограммировать текстом.

Любая реляционная СУБД (система управления базами данных традиционного типа с таблицами и ключами), где линиями удобно показывать взаимоотношения между таблицами.

Программирование для посторонних

Иногда удобно привлекать к программированию специалистов в своей сфере — трёхмерщиков, геймдизайнеров, экономистов. Пусть они плохо программируют, зато свои знания успешно применят. Вот, например, редактор материалов из Unreal.

А вот — редактор квестов из «Космических рейнджеров». Тут причины сразу две: и удобно разложить блок-схему квеста на доске, и программист не нужен.

А с профессионалами ответа два.

1. Вы просто не знаете, чем занимается программист.

2. Существует очень много специального ПО, ориентированного на текстовые файлы.

Так чем же занимается программист?

Многие из вас водили если не вживую, то на детских машинках, потому пусть будет аналогия с водителем. Он давно заучил, как переключать передачи, он не забывает смотреть в зеркало, ПДД понимает интуитивно. В голове водителя другое: каким путём подобраться к точке, как сэкономить топливо, и как проехать нехороший участок.

Точно так же программист: он, конечно, может ругаться на неудачный синтаксис языка, но думает более сложными абстракциями. Посмотрим снова на первую картинку с пингвином в пустыне и найдём пару мест, которые профессионалу не нравятся.

1. Программист разделит игру (на чужом движке) на две части: 1) Управление игровой физикой; 2) Общий цикл игры (скобку «forever»), который отвечает за условия выхода из игры, вызовы игровой физики и прорисовщика, ограничение кадровой частоты.

2. Почему скорость персонажа в 10 пикселей/кадр жёстко прописана? Не лучше ли указать где-то: СКОРОСТЬ_ПИНГВИНА = 10?

А если игра будет управляться и клавиатурой, и джойстиком — программист напишет (или сдерёт) общий «центр управления», а затем будет спрашивать у него: нажата ли кнопка «двигаться вправо»? А уж что это — клавиша →, или D, или ось X джойстика, или крестовина вправо — это дело того самого центра управления.

В тех же «Космических рейнджерах» нередко нарушается знаменитый программистский жупел — «не повторяйся». Например, в игре в кости первый раз результат разыгрывается как [2..12], а дальнейшие — [1..6]+[1..6]. Программист напишет так, чтобы первая и последующие партии управлялись одним и тем же кодом.

Чем хороши текстовые файлы?

Существует широкий набор утилит для работы с текстовыми файлами:

• Их можно редактировать редакторами, причём довольно дикими способами — например, скопировать-вставить заголовок цикла и кусок тела, без закрывающей скобки.

• В них можно искать файловыми менеджерами.

• Работу нескольких человек можно объединять с помощью систем управления версиями.

И всё это нужно программистам. Даже XML снижает полезность этих инструментов.

Смайлик :-) придумали на заре Интернета, в 1982 году.

Конец 1990-х. Везде графика, и в различных системах интернет-общения появилась функция: отыскать в тексте :-) и заменить графической рожей. Кто помнит этот стиль смайликов?

Главный недостаток такого кодирования через особые последовательности — попробуйте передать текст программы, и гарантированно будет ложная замена. Например, в записи f(8) находит смайлик в очках 8).

Было время, когда SMS’ки стоили дорого, и мы экономили символы. Экономили и японцы, и мобильный оператор DoCoMo в 1999 придумал вот такие символы, их и назвали «эмодзи». Кодировка символов собственная докомовская.

В середине 2000-х годов смайликами обзавелись как Гугл в своей почтовой службе, так и Эпл в айфонах. Возник вопрос межплатформенного обмена смайликами, и консорциуму Юникода в 2010 году осталось только возглавить бардак, который они не в силах предотвратить, тем более свободных позиций в Юникоде всё ещё предостаточно: в ожидаемом Юникоде 15.1 пока 150 тысяч символов из 900 тысяч доступных. Добавляли понемногу, по несколько сотен, пока около 2018 не добавили все.

Совет: мало кто знает клавишу Win+; (точка с запятой) или Win+. (точка) из Windows 10+. Она выводит панель символов, в том числе эмодзи.

В том же 2018 Гугл, имея сильные позиции в Консорциуме, добавил эмодзи инклюзивности: по умолчанию большинство эмодзиков бесполые, мужской или женский пол задаётся специально.

Что такое «бесполый»: не имеет явных признаков мужчины или женщины. Нет сисек или усов; одежда, аксессуары и причёска унисекс. Например: у Гугла мужчина-вампир носит бабочку, женщина — чокер, а бесполый — горжет. Конечно, сделано в первую очередь для небинарных, но, извините, «палка-палка-огуречик» тоже бесполый. И вообще хорошая мысль: передавать идею, очищенную от дополнительных смыслов. А если те нужны — устанавливаются дополнительно.

А пока…

Немного теории

Символом будем называть всё, что есть в кодировке: печатаемые символы, управляющие команды, незанятые позиции…

Любая кодировка заключается в замене символов на кодовые последовательности: например, пробел=32, A=65, B=66… Но Юникод пошёл дальше: как только символ попадает в Юникод, ему присваивается кодовая позиция — номер от 0 до 1 114 111 (или от 0 до 10FFFF в шестнадцатеричной системе). А за биты и байты отвечают форматы передачи: UTF-8, Punycode и другие. Вы и сами, если умеете программировать, можете придумать свой формат передачи Юникода.

Если символа нет в шрифте, рисуется белый квадратик тофу, в честь японского соевого сыра тофу.

Заблуждение: Ну что такое, в новом Юникоде теперь крупные эмодзи.

Реальность: Насколько крупно рисовать — это дело прикладного ПО. Задача Юникода — сделать, чтобы все эплы, гуглы и фейсбуки кодировали сходные картинки одинаковыми цифрами.

И даже был курьёзный случай: существовал эмодзи 1F92D — колобок с улыбающимися глазами и ртом, закрытым рукой. Ну явно сдерживает смех. Но Эпл и Фейсбук рисовали глаза широко открытыми — неописуемый ужас. Их разунифицировали, эпловская версия получила номер 1FAE2.

И ещё — Юникод никогда не закодирует конкретную картинку — какого-нибудь преведа или догэ. Юникод кодирует идею, а художник может нарисовать эту идею по-разному.

Односимвольные эмодзи

Пример: ехидный колобок состоит из одного символа 1F600.

С ними проще всего: открываешь любую таблицу символов и находишь эмодзик. Недостаток: если эмодзик новый, он, скорее всего, отобразится тем самым ненавистным тофу.

VS16-эмодзи

Пример: красное сердце 2764+FE0F

Такой механизм применяется в основном для старых символов, существовавших до 2010 года, а также принятых в эмодзи с опозданием (напоминаю, принимали их по несколько сотен за раз). Чтобы отобразить символ графикой, за ним ставится невидимая метка «селектор начертания 16» (variation selector 16) FE0F.

Как вы видите, начинаются сложности, и их цель — избавиться от тофу. Старый символ хоть в текстовом виде, да и будет.

Совет: если в таблице символов видите эмодзи, а копипаста, например, в браузер упорно выводит символ текстом — вероятно, не хватает того самого VS16. Или найдите другую таблицу, или скопируйте-вставьте символ FE0F отдельно.

Существует и обратный селектор — FE0E, делающий из эмодзи текст. Вот вам футбольный мяч+FE0E: ⚽︎

И вообще, если эмодзи многосимвольный, его можно копировать по частям. Если все части скопированы правильно и система знает такой эмодзи, он сразу же отобразится.

Цвета кожи

Пример: негритянская рука OK 1F44C+1F3FF

Как видите, цвет кожи — это просто символ-метка. Система, если может, собирает из руки и тёмной кожи тёмную руку. А если не может — будет просто рука и чёрный лоскут.

Флаги государств

Есть специальный алфавит, и флаг — это две буквы из этого алфавита. В Windows 10 во всех «хромых» браузерах будет «GB», а Firefox содержит флаги государств и всё-таки нарисует «юнион джек».

Зато флаги иногда меняются, в этом загвоздка. В общем, сейчас Консорциум больше рекомендует цветные метки вместо флагов, но за политической обстановкой следит.

ZWJ-последовательности

Пример: белый бесполый врач 1F9D1+1F3FB+200D+2695+FE0F

Посмотрим, как эта штука устроена. Первые два символа — это эмодзи «белый человек». Последние два — посох Асклепия. А между ними — невидимый символ «нулевой соединитель» (zero width joiner) 200D. Даже если система не может собрать из них врача, будет как-то понятно.

Другой вариант — картинка деятельности + ZWJ + символ пола.

А также:

• ворона = 🐦 + ZWJ + ⬛

• свежачок Юникода 15.1 (выйдет в сентябре): человек, идущий вправо = 🚶‍♂️ + ZWJ + ➡️ + VS16

Ну и рекордсмен Юникода — межрасовый поцелуй. Целых десять символов: четыре эмодзи, соединённые тремя ZWJ.

Из-за такого устройства у ZWJ-последовательностей есть и второй путь кодирования: производитель придумывает последовательность, вписывающуюся в правила, и если она станет популярной, Консорциум её внесёт в Юникод.

Инклюзивность

Примерно с 2018 начали заботиться об инклюзивности. У каждого эмодзи есть бесполая, мужская и женская версия, исключения три:

• женщина в хиджабе (мусульманском платке) 🧕;

• женщина, кормящая грудью 🤱;

• танцор 💃 — изначально это была женщина в латиноамериканском платье. Потом добавили мужчину в костюме диско 🕺. А вот что будет танцевать бесполая версия — так и не определились (пока склоняются к брейку или контемпу).

Даже беременный мужчина с 2021 есть, тем более парочка беременных людей, которые по документам мужчины, действительно нашлась. А ещё в Англии можно «наесться до беременности», а у нас «беременный» — это с пивным пузом. Также есть несколько эмодзи, связанных с инвалидностью: человек в коляске, с белой тростью…

Забавная история. В шрифте Webdings в позиции 6D находится стилизованный восклицательный знак — мужчина в очках и деловом костюме левитирует. В 2014 году закодировали Wingdings и Webdings, превратив часть картинок в эмодзи — этот левитирующий (1F574), по стандарту, бесполый и может иметь расу.

Когда на картинке двое или более людей, в Юникоде существуют четыре способа раздать им расы:

• Собрать через ZWJ из меньших эмодзи. Таких сборок всего четыре: поцелуй (см. выше), рукопожатие, любовь, пара людей. Согласитесь, важные!

• Обойти межрасовую тему. Кормление грудью или из бутылки — младенец в шапочке. Массаж лица — массажиста нередко рисуют в перчатках.

• Забить на расы из-за комбинаторного взрыва: все семьи без расы, иначе было бы много-много тысяч картинок.

• Забить на расы из-за маловажности: борцы и танцоры Плейбоя есть всех трёх полов, но без расы.

Колобки не инклюзивны, они всегда лысые и жёлтые.

У меня есть идея эмодзи. Как предложить?

Консорциум Юникода всегда (а вот и нет, каждый год в апреле-мае) готов выслушать ваши предложения. До настоящих эмодзиков доходят не более четверти заявок. За год выходит 20…30 штук.

Чего они точно НЕ примут:

• связанные с текущими событиями: тонущий корабль, коронавирус (Эпл перерисовал 🦠 1F9A0 «микроорганизм»)

• конкретные картинки и объекты: догэ, Сталин, Христос, Эйфелева башня. Принять могут только военного: собака 🐕 есть, а телебашни хватит токийской 🗼

• надписи, флаги

• слишком специфичные: F-35, пицца с колбасой. Принять могут только военный самолёт, пиццу и колбасу

• изобразимые текущими картинками: мытьё рук, ведь есть руки 👐 и мыло 🧼

• вызывающие каскадное добавление новых эмодзи: ленточки, символизирующие различные заболевания

• если автор не смог объяснить, на что эмодзик нужен: уроборос (змей, кусающий собственный хвост). Аэрозольный баллон долго объясняли, но он уже на рассмотрении, а квадрокоптер шесть раз заворачивали.

Я пишу программу «Юникодия» — энциклопедию символов Юникода. Качать тут.