UTF-8/es

UTF-8 es una codificación de caracteres de longitud variable, lo que implica que utiliza de 1 a 4 bytes para codificar cada símbolo. Por tanto, el primer byte UTF-8 se utiliza para codificar ASCII. UTF-8 significa que los caracteres ASCII y Latín se pueden intercambiar con un pequeño incremento en el tamaño de los datos, ya que únicamente se utiliza el primer byte. Los usuarios de alfabetos del este como el japonés, a los cuales se les ha asignado un rango más alto de los bytes no les gusta mucho esto, ya que esto implica un 50% mayor de redundancia en sus datos.

¿Qué es la codificación de caracteres?
Los ordenadores por si mismos no comprenden el texto impreso como haría un humano. En lugar de esto, cada carácter del texto se representa mediante un número. Tradicionalmente, cada conjunto de números se utilizó para representar alfabetos y caracteres (conocidos como sistema de codificación, codificación o conjunto de caracteres) estuvo limitado en el tamaño debido a limitaciones del hardware de los ordenadores.

La historia de los caracteres de codificación
El más común (o al menos el más aceptado) conjunto de caracteres es ASCII (Código Estándar Americano para el Intercambio de Información). Es ampliamente aceptado de que ASCII es el estándar de software más exitoso jamás creado. El ASCII actual se estandarizó en 1986 (ANSI X3.4, RFC 20, ISO/IEC 646:1991, ECMA-6) por el Instituto Nacional Americano de Estándares.

ASCII es una codificación estrictamente de siete bits, lo que significa que utiliza patrones representables con siete dígitos binarios, lo que proporciona una gama de 0 a 127 en decimal. Estos incluyen 32 caracteres de control no visibles, la mayoría entre 0 y 31, con el carácter de control final, DEL o de eliminación en el 127. Los caracteres del 32 al 126 son visibles: un espacio, marcas de puntuación, letras latinas y números.

El octavo bit en ASCII se utilizó originalmente como un bit de paridad para el control de errores. Si no se desea control de errores, se deja a 0. Esto significa que, con ASCII, cada carácter se representa mediante un único byte.

A pesar de que ASCII era suficiente para comunicarse en inglés moderno, las cosas no eran tan fáciles en otras lenguas europeas que incluyen caracteres acentuados. Los estándares ISO 8859 se desarrollaron para satisfacer estas necesidades. Estos estándares eran compatibles con ASCII, pero en lugar de dejar el octavo bit en blanco, lo utilizaron para permitir otros 127 caracteres en cada codificación. Las limitaciones de los estándares ISO 8859 aparecieron pronto y actualmente hay 15 variantes del estándar ISO 8859 (del 8859-1 al 8859-15). Fuera del rango de bytes compatible con ASCII de estos conjuntos de caracteres hay a menudo conflicto entre las letras representadas por cada byte. Para complicar aún más la interoperabilidad entre las codificaciones de caracteres, en algunas versiones de Windows de Microsoft se utiliza la codificación Windows-1252 en lugar de los idiomas de Europa del oeste. Esto es un superconjunto de la codificación ISO 8859-1. Sin embargo, es diferente en algunos aspectos, estos conjuntos no conservan completamente la compatibilidad con ASCII.

The necessary development of completely different single-byte encodings for non-Latin alphabets, such as EUC (Extended Unix Coding) which is used for Japanese and Korean (and to a lesser extent Chinese) created more confusion. Other operating systems still used different character sets for the same languages, for example, Shift-JIS and ISO-2022-JP. Users wishing to view cyrillic glyphs had to choose between KOI8-R for Russian and Bulgarian or KOI8-U for Ukrainian, as well as all the other cyrillic encodings such as the unsuccessful ISO 8859-5, and the common Windows-1251 set. All of these character sets broke most compatibility with ASCII. Although it should be mentioned KOI8 encodings place cyrillic characters in Latin order, so in case the eighth bit is stripped, text is still decipherable on an ASCII terminal through case-reversed transliteration.

All of this has led to mass confusion, and to an almost total inability for multilingual communication; especially across different alphabets. Enter Unicode.

¿Qué es Unicode?
Unicode throws away the traditional single-byte limit of character sets. It uses 17 "planes" of 65,536 code points to describe a maximum of 1,114,112 characters. As the first plane, aka. "Basic Multilingual Plane" or BMP, contains almost everything character a user will ever need. Many have made the wrong assumption that Unicode was a 16-bit character set.

Unicode has been mapped in many different ways, but the two most common are UTF (Unicode Transformation Format) and UCS (Universal Character Set). A number after UTF indicates the number of bits in one unit, while the number after UCS indicates the number of bytes. UTF-8 has become the most widespread means for the interchange of Unicode text as a result of its eight-bit clean nature; it is therefore the subject of this document.

¿Qué puede hacer unicode?
UTF-8 allows users to work in a standards-compliant and internationally accepted multilingual environment, with a comparatively low data redundancy. It is the preferred way for transmitting non-ASCII characters over the Internet, through Email, IRC, or almost any other medium. Despite this, many people regard UTF-8 in online communication as abusive. It is always best to be aware of the attitude towards UTF-8 in a specific channel, mailing list, or Usenet group before using non-ASCII UTF-8.

Buscar o crear localizaciones UTF-8
Now that the principles behind Unicode have been laid out, get ready to start using UTF-8 locally!

The preliminary requirement for UTF-8 is to have a version of glibc installed that has national language support. The recommend means to do this is the file. It is beyond the scope of this document to explain the usage of this file. For users interested in more knowledge further explanation can be found in the Gentoo Localization Guide.

Next, the user needs to decide whether a UTF-8 locale is available for the language of choice, or whether one needs to be generated.

From the output of the above command, look for a result with a suffix similar to. If there is no result with a similar suffix a UTF-8 compatible locale must be created.

Replace "en_GB" with the desired locale setting:

Another way to include a UTF-8 locale is to add it to the file and generate necessary locales using the locale-gen command.

Configurar la localización
There is one environment variable that needs to be set in order to use the new UTF-8 locales:  (optionally modify the   variable to change the system language as well). There are also many different ways to set it; some system administrators prefer to only have a UTF-8 environment for a specific user, in which case they set them in their (/bin/sh for Bourne shell users),  or  (/bin/bash for Bourne again shell users). More details and best practices can be found in the Localization Guide.

Still others prefer to set the locale globally. One specific circumstance where the author particularly recommends doing this is when is in use, because this init script starts the display manager and desktop before any of the aforementioned shell startup files are sourced. In other words, this is performed before any of the variables are loaded in the environment.

Setting the locale globally should be done using file. This file should look something like the following:

A continuación se debe actualizar el entorno para reflejar el cambio.

Now, run locale with no arguments to see if the correct variables have been loaded in the environment:

Usar eselect de forma alternativa para definir localizaciones
Aunque es correcto realizar el mantenimiento del sistema tal y como se describe arriba, es posible verificar la localización correcta que se ha configurado mediante la utilidad eselect.

Utilice eselect para listar las localizaciones disponibles en el sistema:

Usar eselect para ajustar la localización es tan simple como listarlas todas. Una vez que se ha determinado la localización, invoque:

Al lanzar la siguiente orden, se actualizarán las variables en el intérprete de órdenes:

Eso es todo. El sistema está ahora utilizando localizaciones UTF-8. El siguiente obstáculo es la configuración de las aplicaciones que se utilizan diariamente.

Soporte a aplicaciones
When Unicode first started gaining momentum in the software world, multibyte character sets were not well suited to languages like C, which is the base language of most commonly used programs. Even today, some programs are not able to handle UTF-8 properly. Fortunately the majority of programs, especially the common ones, are supported.

Nombres de Ficheros, NTFS y FAT
There are several NLS options in the Linux kernel configuration menu, but it is important to not become confused. For the most part, the only thing you need to do is to build UTF-8 NLS support into the kernel, and change the default NLS option to utf8.

When planning to mount NTFS partitions, users may need to specify a  option with mount. When planning on mounting FAT partitions, users may need to specify a  option with mount. Optionally, users can also set a default codepage for FAT in the kernel configuration.

Avoid setting  to UTF-8; it is not recommended. Instead, pass the  option when mounting FAT partitions. For further information man mount or see the appropriate kernel documentation at

Para cambiar la codificación de los nombres de los ficheros, se puede utilizar.

The format of the convmv</tt> command is as follows:

Substitute iso-8859-1 with the charset being converted from:

For changing the contents of files, use the iconv</tt> utility, it comes bundled with and should be installed on all Gentoo systems. Substitute iso-8859-1 with the charset being converted from. After running the command be sure to check for sane output:

To convert a file, another file must be created:

The recode package can also be used for this purpose.

The system console
To enable UTF-8 on the console edit Set   and read the comments -- it is important to have a font that has a good range of characters to make the most of Unicode. For this to work make sure the Unicode locale has been properly created.

La variable  definida en  debería especificar un mapa de teclado Unicode.

Ncurses y Slang
It is wise to add  to the global USE flags in, and then to re-emerge  and. Portage will do this automatically if the  or   options are used. Run the following command to pull in the packages:

También necesitamos reconstruir los paquetes que enlazan a éstos, ahora se han aplicado los cambios a USE. La herramienta que utilizamos es parte del paquete.

KDE, GNOME y Xfce
Todos los entornos de escritorio de mayor uso tienen soporte completo para Unicode y no requieren de configuraciones adicionales que ya se hayan comentado en esta guía. Esto es debido a que las herramientas gráficas (Qt o GTK+2) ya son compatibles con UTF-8. Por tanto, todas las aplicaciones que corran sobre estas herramientas deberían ser compatibles UTF-8.

Las excepciones a esta regla son Xlib y GTK+1. GTK+1 requiere un FontSpec iso-10646-1 en el fichero /.*gtkrc, por ejemplo. También, las aplicaciones que utilizan Xlib o Xaw necesitarán tener un FontSpec similar, de lo contrario no funcionarán.

Si una aplicación tiene soporte para las interfaces gráficas Qt y GTK+2, la interfaz gráfica GTK+2 normalmente ofrecerá mejores resultados con Unicode.

X11 and fonts
TrueType fonts have support for Unicode, and most of the fonts that ship with Xorg have impressive character support, although, obviously, not every single glyph available in Unicode has been created for that font. To build fonts (including the Bitstream Vera set) with support for East Asian letters with X, make sure you have the  USE flag set. Many other applications utilize this flag, so it may be worthwhile to add it as a permanent USE flag.

También, varios paquetes de fuentes en Portage son compatibles con Unicode.

Window managers and terminal emulators
Los gestores de ventanas que no se han construido con GTK o Qt generalmente tienen muy buen soporte para Unicode, ya que a menudo utilizan la biblioteca Xft para el manejo de fuentes. Si su gestor de ventanas no utiliza Xft para las fuentes, puede utilizar FontSpec mencionado en la sección anterior como una fuente Unicode.

Los emuladores de terminal que utilicen Xft y tengan soporte unicode son más difíciles de encontrar. Aparte de Konsole y gnome-terminal, las mejores opciones en Portage son, , , , or plain  cuando se construye con la opción USE   y se invoca como. también ofrece soporte para UTF-8 cuando se invoca como  o se incluye lo siguiente en el fichero  :

Vim, emacs, xemacs and nano
Vim ofrece soporte completo para UTF-8 support y también la detección automática de ficheros codificados con UTF-8. Para más información, dentro de Vim, utilice.

GNU Emacs Desde la versión 23 y XEmacs desde la versión 21.5 tiene soporte completo para UTF-8. GNU Emacs 24 también tiene soporte para la edición de texto bidireccional.

Nano proporciona soporte UTF-8 completo desde la versión 1.3.6.

Intérpretes de Comandos
Currently,  provides full Unicode support through the GNU readline library. Z Shell (zsh</tt>) offers Unicode support with the  USE flag.

The C shell, tcsh</tt> and  se puede utilizar para convertir caracteres. Teclee  para obtener más información.

Mutt
The Mutt mail user agent has very good Unicode support. To use UTF-8 with Mutt, you don't need to put anything in your configuration files. Mutt will work under Unicode environment without modification if all your configuration files (signature included) are UTF-8 encoded.

Hay más información en el Wiki de Mutt.

Man
Las páginas del manual (man) son parte integral de una máquina Linux. Para asegurarse de que cualquier unicode en las páginas del manual se muestra correctamente, edite y cambien la línea que se muestra abajo.

links and elinks
These are commonly used text-based browsers, and we shall see how we can enable UTF-8 support on them. On elinks</tt> and links</tt>, there are two ways to go about this, one using the Setup option from within the browser or editing the config file. To set the option through the browser, open a site with elinks</tt> or links</tt> and then + to enter the Setup Menu then select Terminal options, or press. Scroll down and select the last option  by pressing. Then Save and exit the menu. On links</tt> you may have to do a repeat + and then press to save. The config file option, is shown below.

line) terminal "xterm" 0 1 0 us-ascii utf-8 }}
 * 1) (For links, edit ~/.links/links.cfg and add the following

Samba
Samba es una suite de software que implementa el protocolo SMB (Bloque de Mensajes del Servidor) para sistemas UNIX como Macs, Linux y FreeBSD. A este protocolo también se le llama Sistema de Ficheros Común de Internet (CIFS). Samba también incluye el sistema NetBIOS, utilizado para compartir ficheros en redes con sistemas Windows.

añada lo siguiente bajo la sección [global]:

Probarlo todo
Hay varios sitios Web de prueba para UTF-8. ,, , y todos los navegadores basados en Mozilla (incluyendo Firefox) ofrecen soporta para UTF-8. Konqueror y Opera también ofrecen soporte completo para UTF-8.

Cuándo se utiliza un navegador en modo texto, asegúrese bien de que lo está utilizando desde un terminal que es compatible con Unicode.

Si observa ciertos caracteres mostrados como pequeñas cajas con letras o números dentro, significa que su fuente no tiene un carácter para el símbolo o glifo que demanda UTF-8. En lugar de ello, se muestra una caja con el código hexadecimal del símbolo UTF-8.


 * Una página de prueba UTF-8 de W3C
 * Una página de prueba UTF-8 ofrecida por la Universidad de Fráncfort

Input methods
Se pueden utilizar las teclas muertas para introducir caracteres en el sistema X que no está presentes en su teclado. Esto funciona presionando a la vez la tecla de la derecha (o en algunos países, ) y opcionalmente una tecla de la sección no alfabética del teclado a la izquierda de la tecla Intro, soltando ambas y pulsando una letra. La tecla muerta debería modificarla. La entrada se puede modificar más tarde utilizando la tecla al mismo que tiempo que se pulsa la tecla  y el modificador.

Para habilitar las teclas muertas en el sistema X, se necesita una disposición que lo soporte. La mayoría de las disposiciones europeas ya incorporan teclas muertas con la variante por defecto. Sin embargo, esto no es así para las disposiciones norteamericanas. Aunque hay cierto grado de inconsistencia entre disposiciones, la forma más fácil parece utilizar una disposición de la forma "en_US" en lugar de "us", por ejemplo. El diseño se define en de esta forma:

This change will come into effect when your X server is restarted. To apply the change now, use the setxkbmap</tt> tool, for example, setxkbmap en_US</tt>.

Probablemente las teclas muertas se describen de forma más fácil con ejemplos. Aunque los resultados dependen de la localización, los conceptos deben ser los mismos independientemente de la localización. Los ejemplos contienen UTF-8, por lo tanto, para verlos necesita indicarle a su navegador que vea las páginas como UTF-8, o tener una localización UTF-8 ya configurada.

Cuando se pulsan las teclas y  al mismo tiempo y se sueltan ambas, y a continuación se presiona, se obtiene el carácter 'ä'. Cuando se presionan y  al mismo tiempo y a continuación se presiona, se obtiene el carácter 'ë'. Cuando se presionan y  al mismo tiempo, y a continuación se presiona, se obtiene el carácter 'á' y cuando se presionan  y  al mismo tiempo, se sueltan y se pulsa , se obtiene el carácter 'é'.

Presionando al mismo tiempo, y  , soltándolas, y presionando , se obtiene el carácter escandinavo 'å'. De modo similar, cuando se presiona, and  al mismo tiempo, se suelta "solo" la tecla  y se presiona de nuevo, se produce el carácter '°'. Aunque parece un solo carácter, éste (U+02DA) no es el mismo que el símbolo utilizado para indicar grados (U+00B0).

Se puede utilizar únicamente con teclas alfabéticas. Por ejemplo, y  producen el carácter griego mu minúscula. y  producen una s scharfes o esszet, etc. Muchos usuarios europeos deberían esperar (porque está marcado en su teclado) que  y  (o  dependiendo de la disposición del teclado) producen el símbolo del Euro, '€'.

Recursos

 * La entrada en Wikipedia para Unicode
 * La entrada en Wikipedia para *UTF-8
 * Unicode.org
 * Utf-8.com
 * RFC 3629
 * RFC 2277
 * Caracteres vs. Bytes

System configuration files (in /etc)
Most system configuration files (such as ) do not support UTF-8. It is recommended to stick with the ASCII character set for these files.