UTF-8/ru

UTF-8 — это кодировка символов переменной длины, что, в данном случае, означает длину от 1 до 4 байт на символ. Первый байт UTF-8 используется для кодирования ASCII, что означает, что данный набор символов полностью обратно совместим с ASCII. UTF-8 означает, что символы ASCII и Latin полностью взаимозаменяемы с небольшим увеличением размера данных, так как используется только первый байт. Пользователи восточных алфавитов, например, японского, которым назначили диапазон с большим числом байт несчастливы, так как это приводит к 50%-избыточности в их данных.

Что такое Кодировка Символов?
Компьютеры неспособны воспринимать текст. Вместо этого они каждый символ представляют как число. Традиционно каждый набор чисел, соответствующий алфавиту и символам (известный как кодировка или набор символов), ограничен в размере в силу ограничений оборудования.

История кодировок символов
Самой распространенной (или, по крайней мере, наиболее принятой повсеместно) кодировкой является ASCII (Американский стандартный код для обмена информацией, American Standard Code for Information Interchange). Часто считается, что ASCII &mdash; наиболее успешный программный стандарт современности. Нынешний ASCII стандартизован в 1986 году (ANSI X3.4, RFC 20, ISO/IEC 646:1991, ECMA-6) Американским национальным институтом по стандартизации (American National Standards Institute, ANSI).

ASCII является строго семибитной кодировкой, из чего следует, что она использует семь двоичных цифр, то есть интервал от 0 до 127. ASCII начинается с 32 невидимых управляющих символов (с кодами от 0 до 31) и заканчивается управляющим символом DEL (или delete) с кодом 127. Символы в диапазоне от 32 до 126 видимы &mdash; это пробел, знаки препинания, латинские буквы и цифры.

Восьмой бит в ASCII изначально использовался как бит целостности для проверки ошибок при передаче информации. Если целостность была не важна, он всегда равнялся 0. Это означает, что в ASCII каждый символ занимал один байт.

Хотя ASCII было достаточно для передачи информации на английском, для других европейских языков, содержащих символы с ударениями, это было не так просто. Для них был разработаны стандарты семейства ISO 8859. Они были обратно совместимы с ASCII, но использовали восьмой бит для дополнения таблицы дополнительными 127 символами для каждой кодировки. Скоро стали видны и ограничения ISO 8859. На данный момент существует 15 вариантов стандарта ISO 8859 (от 8859-1 до 8859-15). Однако для каждого символа вне ASCII-совместимого диапазона между этими стандартами возникал конфликт. Чтобы еще больше усилить конфликт между различными кодировками, для восточноевропейских языков корпорацией Microsoft был введен набор Windows-1252, использованный в ранних версиях Windows. Этот набор является надстройкой ISO 8859-1, обладающий собственными изменениями. Однако все же эти наборы были совместимы с ASCII.

Необходимость разработки совершенно отличных от ASCII однобайтовых кодировок для нелатинских алфавитов, как например EUC (Extended Unix Coding), используемый в японском и корейском (и в меньшей степени китайском) алфавитах, породила еще большую неразбериху с кодировками, из-за чего ряд операционных систем все еще использует различные наборы символов для одного и того же языка, например японские Shift-JIS и ISO-2022-JP. А пользователи, желающие видеть кириллицу, вынуждены были выбирать между KOI8-R (для русского и болгарского языков) и KOI8-U (для украинского языка), неудачной ISO 8859-5 и популярной Windows-1251. Все три семейства кодировок не полностью совместимы с ASCII (хотя в KOI8 фонетически созвучные кириллические символы расположены так же, как и латинские, благодаря чему даже при отбрасывании восьмого бита текст оставался читабельным в ASCII-терминалах в виде транслита).

Все это привело к путанице и полной невозможности многоязычного общения, в особенности с использованием различных алфавитов. Переходим к Юникоду.

Что такое Юникод?
Юникод отбрасывает лимит традиционных однобайтовых кодировок. Он использует 17 "плоскостей", содержащих по 65,536 кодов символов. Таким образом, максимальное возможное число символов равно 1,114,112. Поскольку в первой плоскости ("Basic Multilingual Plane" или BMP) содержится почти всё, что вам может понадобиться, многие ошибочно посчитали, что Юникод это 16-битный набор символов.

Юникод реализован несколькими способами, но распространены только два UTF (Unicode Transformation Format) и UCS (Universal Character Set). Число после UTF обозначает число бит на каждый символ, когда как число после UCS обозначает число байт. UTF-8 стала наиболее распространенной при обмене текста Юникод из-за своей явной ориентированности на размер в 8 бит, поэтому она и является основной темой данного документа.

Что UTF-8 может сделать для вас
UTF-8 позволяет вам работать в совместимой со всеобщими стандартами и принятой по всему миру многоязычной среде, правда с небольшим увеличением размера данных. UTF-8 это наилучший способ для передачи не-ASCII символов через интернет, будь то электронная почта, IRC-сети или что-нибудь еще. Несмотря на это, множество людей расценивают использование UTF-8 при передаче данных неприличным и неуважительным. Всегда следует выяснять, поддерживает ли определенный канал, группа Usenet или список рассылки UTF-8 перед тем, как использовать символы из не-ASCII диапазона UTF-8.

Поиск или создание локалей UTF-8
Теперь, когда вы поняли основы Юникода, вы готовы начать использование UTF-8 в вашей системе.

Главным требованием для UTF-8 является наличие установленной библиотеки glibc с поддержкой национального языка. При этом рекомендуется использовать файл. Описание использования этого файла, однако, выходит за рамки данного документа. Его использование описано в Руководстве по локализации Gentoo.

Далее, нужно определить, доступна ли локаль UTF-8 для нашего языка или придётся её создать.

На выходе этой команды мы должны получить хотя бы одну строку, содержащую суффикс .UTF-8. Если таковых нет, то нам придётся создать локаль, совместимую с UTF-8.

Замените "ru_RU", если вам нужна какая-то другая локаль:

Другим способом включить локаль UTF-8 является добавление её в файл и генерация нужных локалей командой.

Настройка локали
Есть одна переменная среды, которую необходимо установить, чтобы использовать UTF-8 локали:  (или, опционально, переменную , если вы хотите заодно изменить и системный язык). Есть множество способов сделать это. Некоторые люди предпочитают использовать UTF-8 только для определенного пользователя, поэтому они устанавливают эту переменную в своём (если используется  ),  или  (если используется  ). Большее количество информации, а также наилучшие способы локализации можно найти в нашем Руководстве по локализации.

Другие предпочитают установить локаль глобально. Есть по крайней один весомый аргумент в пользу этого подхода - при использовании, так как сценарии инициализации запускают диспетчер окон до того, как будут загружены конфигурационные файлы командной оболочки, и, поэтому, до того момента, как какие-либо переменные попадут в окружение пользователя.

При установке глобальной локали должен быть использован файл. Он должен выглядеть следующим образом:

Далее следует обновить среду.

Теперь запустите  без аргументов, чтобы увидеть, что у вас верные переменные среды:

Alternatively, using eselect to set locales
Although it is good to maintain the system as described above, it is possible to verify the correct locale configured using the eselect utility.

Use eselect to list the available locales on the system:

Using eselect setting the locale is as simple as listing them. Once the correct locale has been determined invoke:

Running the following command will update the variables in the shell:

That is everything. The system is now using UTF-8 locales. The next hurdle is the configuration of the applications used from day to day.

Поддержка приложениями
Когда Юникод делал первые шаги в мире программного обеспечения, и многобайтовые кодировки еще не были включены в языки программирования, наподобие C, на котором написаны многие из повседневно используемых программ. Даже сейчас некоторые программы не способны работать с UTF-8 как надо. К счастью, таких не так много!

Имена файлов, NTFS и FAT
В в конфигурационном меню ядра Linux есть множество параметров NLS, но главное не паниковать! В большинстве случаев всё, что вам нужно - включить поддержку UTF-8 NLS в ваше ядро и изменить NLS по умолчанию на utf8.

Если вы планируете монтировать разделы NTFS, то вам понадобиться указать параметр при монтировании. Если вы будете монтировать разделы FAT, вам понадобится указать при монтировании параметр. Также вы можете установить для FAT кодовую страницу по умолчанию при конфигурации ядра. Помните, что параметр, указываемый при монтировании, будет иметь приоритет над настройками ядра.

Не устанавливайте  в UTF-8, так как это не рекомендуется. Вместо этого укажите параметр utf8=true при монтировании раздела FAT. Для более детальной информации, смотрите  и документацию по ядру.

Чтобы сменить кодировку имен файлов, используйте.

Команда  имеет следующий формат:

Замените koi8-r кодировкой, с которой хотите конвертировать:

Для изменения содержимого файлов, используйте утилиту, поставляемую вместе с. Замените koi8-r кодировкой, с которой хотите конвертировать, и проверьте вывод программы:

Чтобы преобразовать файл, вы должны создать другой файл:

Также для этой цели может быть использована утилита.

Системная консоль
Для включения UTF-8 в консоли вы должны отредактировать и установить переменную. Также прочтите комментарии в этом файле - важно, чтобы в системе были шрифты с нужным диапазоном символов, если вы хотите выжать из Юникода всё. Чтобы это сработало, удостоверьтесь, что вы правильно создали локаль Unicode.

В файле переменной   должна соответствовать раскладка Unicode.

Ncurses и Slang
Будет хорошим решением добавить  к глобальным USE-флагам в файле, а затем при необходимости пересобрать  и. Portage это сделает автоматически при обновлении системы:

Также понадобится пересобрать пакеты, зависящие от них, раз изменения USE	вступили в силу. Используемая утилита входит в пакет.

KDE, GNOME и Xfce
Все основные графические оболочки полностью совместимы с Юникодом и не требуют дополнительной настройки, кроме той, что описана в этом документе. Все это	благодаря тому, графические библиотеки (Qt и GTK+2) совместимы с UTF-8. Следовательно, все приложения, работающие на основе этих библиотек, также должны поддерживать UTF-8 без дополнительных настроек.

Исключением в этом правиле является Xlib и GTK+1. GTK+1 требует iso-10646-1 FontSpec в ~/.gtkrc, например. Также приложения, использующие Xlib или Xaw, нуждаются в подобной FontSpec, иначе они не буду работать.

Если приложение одинаково поддерживает Qt и GTK+2, то обычно GTK+2 GUI выдает лучшие результаты при работе с Юникодом.

X11 и шрифты
Шрифты TrueType обычно совместимы с Юникодом, и большинство шрифтов, поставляемых с Xorg, имеют великолепную поддержку кодировок, хотя не все глифы Юникода могут быть отображены для конкретного шрифта. Чтобы собрать шрифты с поддержкой Восточноазиатских алфавитов (включающие набор Bitstream Vera) для X-сервера, добавьте USE-флаг. Много приложений используют этот флаг, поэтому неплохо бы внести его как постоянный флаг.

Также несколько пакетов шрифтов в Portage совместимы с Юникодом.

Диспетчеры окон и эмуляторы терминалов
Диспетчеры окон, не использующие GTK или Qt, обычно очень хорошо поддерживают Юникод, так как чаще всего для отображения шрифтов используют библиотеку Xft. Если ваш диспетчер окон не использует Xft, то вы все еще можете использовать FontSpec, указанный в предыдущем разделе в качестве шрифта Юникода.

Эмуляторы терминала, использующие Xft и поддерживающие Юникод найти сложнее. Кроме Konsole и gnome-terminal, лучшим выбором в Portage будет, , , или просто , собранный с USE-флагом   и запускаемый как. тоже поддерживает UTF-8, если запускается с параметром, или в файле  есть следующая строчка:

Vim, Emacs, Xemacs и Nano
Vim полностью поддерживает UTF-8 и к тому же автоматически определяет файлы с UTF-8. Для более детальной информации используйте в Vim.

GNU Emacs с версии 23 и XEmacs версии 21.5 имеют полную поддержку UTF-8. GNU Emacs 24 также поддерживает редактирование текста в обоих направлениях.

Nano полностью поддерживает UTF-8 начиная с версии 1.3.6.

Командные оболочки
На данный момент  полностью поддерживает Юникод через библиотеку GNU readline. Z Shell поддерживает Unicode при использовании USE-флага.

Оболочки C,  и   не поддерживают UTF-8.

Irssi
Irssi полностью поддерживает UTF-8, хотя для этого требуется дополнительная настройка пользователем.

Для каналов, где не-ASCII символы чаще всего передаются в не-UTF-8 кодировках, может пригодиться команда  для перекодировки символов. Наберите  для большего количества информации.

Mutt
Почтовый агент Mutt очень хорошо справляется с Юникодом. Чтобы использовать UTF-8 в Mutt, вам нет необходимости что-либо добавлять в конфигурационные файлы. Mutt будет работать с Юникодом без модификаций, при условии, что все ваши конфигурационные файлы (включая подпись) сохранены в UTF-8.

Для более детальной информации смотри Mutt Wiki.

Man
Man-страницы являются неотъемлемой частью любой системы Linux. Чтобы удостовериться, что все страницы отображаются верно, отредактируйте и замените следующую строку.

elinks и links
Это самые популярные текстовые браузеры, и вы узнаете, как установить поддержку UTF-8 для них. В  и   есть два способа сделать это — через меню Setup (Установки) браузера или отредактировав конфигурационный файл. Чтобы настроить параметры в самом браузере, откройте какой-нибудь сайт с помощью  или   и нажмите +. Вы попадете в меню настроек (Setup Menu), после чего выберите параметры терминала (Terminal options), или нажмите. Пролистайте вниз и выберите последний параметр, нажав на. Затем сохраните и выйдите из меню. В  вы можете сделать то же самое, нажав +, а затем  для сохранения. Пример конфигурационного файла показан ниже.

Samba
Samba это набор программ, реализующих протокол SMB (Server Message Block) для UNIX-систем (Mac, Linux и FreeBSD). Этот протокол также иногда упоминается как Common Internet File System (CIFS). Samba содержит также систему NetBIOS, используемую для предоставления доступа к файлам в Windows-сетях.

Добавьте следующее в раздел [global]:

Проверка работоспособности
Есть множество сайтов, использующих UTF-8. ,, , и все браузеры, основанные на движке Mozilla (включая Firefox), поддерживают UTF-8. Konqueror и Opera тоже полностью поддерживают UTF-8.

При использовании текстовых браузеров, удостоверьтесь, что используете совместимый с Юникодом терминал.

Если вы видите символы, отображаемые как квадратики с буквами или цифрами	внутри, то это значит, что в ваших шрифтах нет соответствующего глифа для	символа. Вместо этого, они отображают квадрат с шестнадцатиричным кодом символа UTF-8.


 * Тестовая страница UTF-8 W3C
 * Тестовая страничка UTF-8 от Университета Франкфурта

Ввод символов
Dead keys могут быть использованы для ввода символов, не отображенных на клавиатуре, в X-сервере. Для этого нужно, удерживая правый (в некоторых странах он называется ), нажать на дополнительную неалфавитную клавишу с символом, не являющимся буквой или цифрой (модификатор), а затем нажать на необходимую букву. Dead key изменит ее. Ввод может быть изменен также с помощью при нажатых  и модификаторе.

Чтобы включить dead keys в X, нужно иметь раскладку, поддерживающую их. Большинство европейских раскладок уже имеют dead keys по умолчанию. Тем не менее, это не так в североамериканских раскладках. Хотя	существуют незначительные отличия между различными раскладками, простейшим решением будет использование раскладки в форме "en_US" вместо просто "us". Раскладка указывается в :

Изменения вступят в силу только при перезагрузке X-сервера. Чтобы изменения вступили немедленно, используйте утилиту, например,.

Рассмотрим действия dead keys на примерах. Хотя результат зависит от текущей локали, сам принцип действия должен работать в нее зависимости от нее. Примеры содержат символы Юникода, так что убедитесь, что ваш браузер корректно отображает их.

Если одновременно нажать и, отпустить, а затем нажать , получим символ 'ä'. Если одновременно нажать и, а затем , получим 'ë'. Если одновременно нажать и, затем , получим 'á'. Если одновременно нажать и, затем , получим 'é'.

Если одновременно нажать, и , отпустить их и нажать , получим скандинавскую 'å'. Аналогично, при одновременном нажатии, и , отпускании только  и повторном ее нажатии, мы получим '°'. Хотя этот символ (U+02DA) и похож на символ градуса (U+00B0), на самом деле он им не является.

Клавиша может быть использована вместе с одной из алфавитных клавиш. Например, комбинация и  выводит греческую строчную букву мю. и выводит немецкий символ эсцет и т. д. Множество европейцев захотят установить сочетание и  (или  в зависимости от наклеек или гравировок на клавишах), выводящее символ Евро, '€' (так как на их клавиатурах он нанесен).

Ссылки

 * Статья в Википедии про Юникод (ru)
 * Статья в Википедии про UTF-8 (ru)
 * Unicode.org
 * UTF-8.com
 * RFC 3629
 * RFC 2277
 * Символы и байты

Системные конфигурационные файлы (в /etc)
Большинство системных конфигурационных файлов, например, не поддерживают UTF-8. Рекомендуется придерживаться набора символов ASCII при работе с этими файлами.