Distcc

From Gentoo Wiki
Jump to:navigation Jump to:search
This page is a translated version of the page Distcc and the translation is 84% complete.
Resources

Distcc es un programa diseñado para distribuir tareas de compilación a través de la red hacia máquinas participantes. Consiste en un servidor, distccd y un programa cliente, distcc. Distcc puede trabajar de forma transparente con ccache, Portage y Automake realizando una sencilla configuración.

Cuando planee utilizar distcc para ayudarle a realizar el bootstrap en una instalación Gentoo, asegúrese de leer el apartado para realizar la inicialización.

Instalación

Antes de configurar distcc, echémos un vistazo a la instalación del paquete sys-devel/distcc en todos los equipos.

Requisitos para todos los equipos

Para utilizar distcc, todas las máquinas en la red deben tener la misma versión de GCC. Mezclar 3.3.x (variando la x) es correcto, pero mezclar 3.3.x y 3.2.x "puede" resultar en errores en tiempo de compilación o ejecución.

Verify that all systems use the same version of binutils (eselect binutils list) or many packages will fail linking with various errors like text relocation.

Ajustes USE

USE flags for sys-devel/distcc Distribute compilation of C code across several machines on a network

gssapi Enable support for net-libs/libgssglue
gtk Add support for x11-libs/gtk+ (The GIMP Toolkit)
hardened Activate default security enhancements for toolchain (gcc, glibc, binutils)
ipv6 Add support for IP version 6
selinux !!internal use only!! Security Enhanced Linux support, this must be set by the selinux profile or breakage will occur
xinetd Add support for the xinetd super-server
zeroconf Support for DNS Service Discovery (DNS-SD)

Emerge

Distcc incluye un monitor gráfico para monitorizar las tareas que un computador está enviando para compilación. Este monitor se habilita cuando el ajuste USE gtk está activado.

Después de configurar el ajuste USE, instale el paquete sys-devel/distcc:

root #emerge --ask sys-devel/distcc
Importante
Recuerde instalar sys-devel/distcc en todas las máquinas que vayan a participar en la construcción.

Configuración

Servicio

Para que distccd arranque de forma automática se debe seguir las instrucciones siguientes.

OpenRC

Modifique /etc/conf.d/distccd y asegúrarse de usar la directiva --allow para permitir únicamente máquinas cliente de confianza. Para mayor seguridad debería utilizar también la directiva --listen para indicarle al demonio distcc en qué dirección IP debe escuchar (en sistemas con más de una dirección IP). Se puede encontrar más información acerca de seguridad en distcc en las notas sobre seguridad de distcc.

Advertencia
Anyone who can connect to the distcc server port can run arbitrary commands on that machine as the distccd user.

En el siguiente ejemplo se permite a los clientes distcc correr en 192.168.0.4 y 192.168.0.5 para conectarse al servidor distccd que corre en la máquina local:

ARCHIVO /etc/conf.d/distccdPermitir a clientes específicos conectarse a distccd
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distccd.log -N 15 --allow 192.168.0.4 --allow 192.168.0.5"

When logging to a file in /var/log, create the log and give appropriate permissions:

root #touch /var/log/distccd.log
root #chown distcc:root /var/log/distccd.log
Importante
Es importante utilizar --allow y --listen. Por favor, lea la página del manual de distccd o el documento sobre seguridad indicado arriba para obtener más información.

Ahora inicie el demonio distcc en todas las máquinas participantes:

root #rc-update add distccd default
root #rc-service distccd start

systemd

Editar el fichero /etc/systemd/system/distccd.service.d/00gentoo.conf para añadir los clientes permitidos en formato CIDR. El ejemplo añade todas las direcciones IP en el rango 192.168.1.xxx:

ARCHIVO /etc/systemd/system/distccd.service.d/00gentoo.confDefinir ALLOWED_SERVERS
Environment="ALLOWED_SERVERS=192.168.1.0/24"

Or an example with multiple clients and a manually specified log-level

ARCHIVO /etc/systemd/system/distccd.service.d/00gentoo.confSetting ALLOWED_SERVERS
Environment="ALLOWED_SERVERS=127.0.0.1 --allow 192.168.1.0/24 --allow 10.1.1.1/24 --log-level error"
Nota
El nombre de variable ALLOWED_SERVERS aquí, puede llevar a confusiones ya que se refiere a los clientes a los que se le permite conectar al servidor distccd local. Independientemente de esto, el valor de esta variable se utiliza en el servicio distccd para asignarle un valor a la opción --allow. Eche un vistazo al fichero /usr/lib/systemd/system/distccd.service. para obtener información adicional.
Importante
In contrast to OpenRC, environment variables put in /etc/env.d/* will not take effect for systemd users even after running env-update and restarting the distccd service. This is because /etc/environment.d generated by env-update is only sourced by systemd user instance. Whereas, distccd is spawned by systemd system instance.

To set the proper environment variables for distccd, place them into /etc/systemd/system/distccd.service.d/00gentoo.conf. For example,

ARCHIVO /etc/systemd/system/distccd.service.d/00gentoo.conf
[Service]
Environment="ALLOWED_SERVERS=192.168.121.0/24"
Environment="DISTCC_VERBOSE=1"
Environment="DISTCC_SAVE_TEMPS=1"
Environment="CCACHE_DIR=/var/cache/ccache"
Advertencia
The Environment= directive in /etc/systemd/system/distccd.service.d/00gentoo.conf file does not support variable expansion. Environment="PATH=/usr/lib/ccache/bin:$PATH" will be treated as is, therefore will not work as intended.

Para una solución alternativa, necesita editrar distccd.service lanzando la siguiente orden:

root #systemctl edit --full distccd.service

Esto abrirá un editor. Cambie la línea con la directiva ExecStart= a:

CÓDIGO Alternativa para añadir a PATH
ExecStart=/bin/bash -c "PATH=/usr/lib/ccache/bin:$PATH exec /usr/bin/distccd --no-detach --daemon --port 3632 -N 15 --allow $ALLOWED_SERVERS --log-level debug"

También se puede escribir un guión shell envoltorio para /usr/bin/distccd.

Recargar los fichero de unidad después de realizar estos cambios:

root #systemctl daemon-reload

Habilitar el auto arranque de distcc y a continuación arrancar el servicio:

root #systemctl enable distccd
root #systemctl start distccd

Especificar las máquinas participantes

Utilice la orden distcc-config en los clientes locales para definir la lista de anfitriones (sistemas que están corriendo distccd como un servicio).

A continuación se muestra una lista ejemplo de definiciones de equipos. En la mayoría de los casos, serán suficientes variaciones de las líneas 1 y 2. La última utiliza la sintaxis /limit para informar a distcc sobre el máximo número de trabajos que se deben lanzar en este nodo. Se puede encontrar más información sobre la sintaxis de las líneas 3 y 4 en la página del manual de distcc.

CÓDIGO Ejemplos de definiciones de máquinas
192.168.0.1 192.168.0.2 192.168.0.3
192.168.0.1/2 192.168.0.2 192.168.0.3/10
192.168.0.1:4000/2 192.168.0.2/1 192.168.0.3:3632/4
@192.168.0.1 @192.168.0.2:/usr/bin/distccd 192.168.0.3

Hay otras formas de configurar máquinas. Eche un vistazo a la página del manual (man distcc) para obtener más información.

Si se van a realizar compilaciones en la máquina local, añada localhost en la lista de máquinas. Contrariamente, si no se va a utilizar la máquina local para compilar, omítala de la lista de máquinas. En una máquina lenta usar localhost puede de hecho hacer las cosas más lentas. Asegúrese de comprobar los ajustes para obtener un mejor rendimiento.

Configure distcc para usar los equipos mencionados en la primera línea del ejemplo:

root #/usr/bin/distcc-config --set-hosts "localhost 192.168.0.1 192.168.0.2 192.168.0.3"

Distcc también ofrece soporte a un modo bombeo (pump) cuando se invoca la orden pump. Esto puede reducir de forma significativa el tiempo de construcción cuando se compilan muchos ficheros en paralelo. Se cachean las cabeceras preprocesadas en el lado servidor y, como resultado, desaparece la continua carga y preprocesado de estos ficheros cabecera.

Para configurar un equipo en modo bombeo, se debe añadir el sufijo ,cpp,lzo a las definiciones de los equipos. El modo bombero requiere de los ajustes cpp y lzo (independientemente de si los archivos son C o C++).

root #/usr/bin/distcc-config --set-hosts "192.168.0.1,cpp,lzo 192.168.0.2,cpp,lzo 192.168.0.3,cpp,lzo"

Los anfitriones también necesitan estar en:

ARCHIVO /etc/distcc/hostsDebería coincidir con --set-hosts
192.168.0.1
192.168.0.2
192.168.0.3

Opcionalmente, para definir el máximo número de hilos que utiliza un anfitrión, añada una barra a izquierdas "/" después de cada anfitrión:

ARCHIVO /etc/distcc/hostsEspecifivar el número de hilos
192.168.0.1/8
192.168.0.2/4
192.168.0.3/16

The same applies to the distcc-config command. If the maximum threads number is not specified, it will default to 4.

Utilización

Con Portage

Configurar Portage para usar distcc es fácil. Es cuestión de habilitar la característica distcc y definir un valor correcto para el número de trabajos simultáneos (ya que así distcc incrementará la cantidad de recursos disponibles para la construcción)

Ajuste la variable MAKEOPTS y la variable FEATURES tal y como se describe abajo.

Una estrategia común es

  • Definir el valor de N al doble del número total (local + remotas) de núcleos de CPU + 1, y
  • Definir el valor de M al número de núcleos de CPU locales

El uso de -lM en la varialble MAKEOPTS evitará lanzar demasiadas tareas cuando alguno de los equipos del cluster de distcc no estén disponibles (incrementando la cantidad de trabajos simultáneos en el resto de los sistemas) o cuando se configure un ebuild para no permitir construcciones en remoto (como con gcc). Esto se logra rechazando el inicio de trabajos adicionales cuando la carga del sistema están en el valor de M o por encima de éste.

ARCHIVO /etc/portage/make.confAjustar MAKEOPTS y FEATURES
# Reemplace N y M por los valores correctos calculados previamente
MAKEOPTS="-jN -lM"
FEATURES="distcc"

Por ejemplo, cuando hay dos equipos PC anfitriones con cuatro núcleos que corren distcc y el equipo PC local tiene una CPU con doble núcleo entonces la variable MAKEOPTS podría ser:

ARCHIVO /etc/portage/make.confEjemplo jde MAKEOPTS para dos equipos PC con cuádruple núcleo (remotos) y un equipo PC con dos núcleos (local)
# Dos equipos remotos con cuatro núcleos cada uno = 8 núcleos remotos
# Un equipo local con dos núcleos = 2 núcleos en local
# El número total de núcleos es 10, de modo que:N = 2*10+1 and M=2
MAKEOPTS="-j21 -l2"

CFLAGS y CXXFLAGS

Cuando edite el fichero make.conf, asegúrese de que no se ha definido -march=native en las variables CFLAGS o CXXFLAGS. distcc no distribuirá trabajos a otras máquinas si march está definido a native. En lugar de esto, deberís listar la plataforma exacta y algunos ajustes extra que son necesarios para la CPU. Algo como:

ARCHIVO /etc/portage/make.conf*FLAGS en línea
# La lista mínima de ajustes se genera con:
#   $ diff -U0 <(LANG=C gcc -Q -O2 -march=sandybridge --help=target) <(LANG=C gcc -Q -O2 -march=native --help=target)
COMMON_FLAGS="-march=sandybridge -mtune=sandybridge -maes" # ¡No use -march=native!
CFLAGS="${COMMON_FLAGS}"
CXXFLAGS="${COMMON_FLAGS}"

Lea -march=native en línea para distcc para ampliar la información.

Con automake

Esto es más fácil de configurar en algunos casos que con Portage. Todo lo que se necesita hacer es actualizar la variable de entorno PATH para incluir /usr/lib/distcc/bin delante del directorio que contiene gcc (/usr/bin/). No obstante, hay un problema. Si se utiliza ccache, entonces deberá poner la localización de distcc después de la de ccache:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Coloque esto en el archivo ~/.bashrc del usuario o fichero equivalente para tener configurada la variable PATH cada vez que que el usuario entre en el sistema o defínala globlamente en un fichero en /etc/env.d/

En lugar de llamar únicamente a make, agregue -jN (donde N es un número entero). El valor de N depende de la red y de la tipología de los computadores que se utilizan para compilar. Una aproximación heurística a los valores correctos se ha dado anteriormente en este artículo.

Con ccache

To make Ccache work with distcc, some prerequisites must be fulfilled:

  • Ccache is successfully set up locally
  • Distcc is successfully set up on the desired hosts

La siguiente configuración funcionará de la siguiente forma:

CÓDIGO Flow diagram
[client]                                                      [remote]
ccache <miss?> → compile it and save cache files,
<hit?>           also distribute other source code → distccccache <miss?> → compile it, save cache files, return cache file to client
  ↓                                                           <hit?>
use the local cache file                                        ↓
                                                 return local cache file to client
Advertencia
¡La siguiente configuración se debe realizar en todos los anfitriones que se desee!

Configurar distccd

In order to let the daemon distccd use ccache, it must masquerade the path /usr/bin with /usr/lib/ccache/bin. Furthermore, when it uses ccache, ccache should use the prefix distcc:

ARCHIVO /etc/conf.d/distccd
PATH="/usr/lib/ccache/bin:${PATH}"
CCACHE_PREFIX="distcc"

Additionally distccd must be aware of the environment variables DISTCC_DIR and CCACHE_DIR:

Advertencia
These variables must be set somewhere in /etc/env.d/, otherwise ccache tries to put cache files in ${HOME}/.ccache/, which might result in a COMPILE_ERROR, due to insufficient permissions. To pinpoint this, use the testing example mentioned below and export DISTCC_SAVE_TEMPS="1" as mentioned here. This will provide error logs from the remote site in /tmp/ by default. The logs will look like this: distcc_server_stderr_*.txt. Be aware, that these environment variables cannot be set in /etc/conf.d/distccd, since they will not be read from distccd for some reason.
ARCHIVO /etc/env.d/03distcc_ccache
CCACHE_DIR="/var/cache/ccache"
DISTCC_DIR="/var/tmp/portage/.distcc"

A continuación, actualice las variables de entorno:

root #env-update
>>> Regenerating /etc/ld.so.cache...

Para terminar, reinicie el demonio distccd para adaptar todos los cambios:

root #rc-service distccd restart

Configurar ccache

Advertencia
When using distcc with ccache, it is necessary to prepare the cache directories manually, since the daemon distccd only works with the user distcc for some reason and it cannot create directories within /var/cache/ccache/. It is not sufficient to add this user to the group portage. Also be aware, that the variable cache_dir_levels, defined in ccache.conf, specifies how many subdirectories have to be created. The following example uses the default, which is 2.

En primer lugar, prepare los directorios caché:

root #cd "/var/cache/ccache/"
root #mkdir {a..z} {0..9} tmp
root #for first_level_directory in $(find . -maxdepth 1 -type d -not -name "." -and -not -name "tmp"); do pushd "${first_level_directory}" >/dev/null; mkdir {a..z} {0..9}; popd >/dev/null; done

The second command (mkdir) will create the first level directories from a to z, 0 to 9 and tmp. The following for loop will then look for the first level directories (find . -maxdepth 1 -type d), excluding the current directory . and tmp (-not -name "." -and -not -name "tmp"). It then descends into each of them (pushd), creates the second level directories from a to z and 0 to 9 (mkdir) and goes back to the previous directory (popd), which is /var/cache/ccache/.

Importante
The current directory . must be excluded with -not -name ".", otherwise the first pushd command will go to the current directory . and then goes back to whatever directory is currently on the stack via popd. It will navigate through the entire stack until it is empty, creating directories, where each pushd command fails. If this happens, one can search for them using find / -type d -name "0" and remove them with rm --recursive [a-z] [0-9]. It is advised to this manually!

When the preparation is done, every directory - including the directory ccache itself - must be owned by the user distcc:

root #find /var/cache/ccache -type d -exec chown distcc:portage "{}" +

Configurar portage

To use emerge with distcc and ccache, make sure, that both features are enabled and that CCACHE_DIR is set in /etc/portage/make.conf:

ARCHIVO /etc/portage/make.conf
[...]
FEATURES="distcc ccache"
CCACHE_DIR="/var/cache/ccache"

It might be redundant to set CCACHE_DIR here, since it is already defined in /etc/env.d/03distcc_ccache, mentioned here. But to make absolutely sure, configure it like that.

Probar distcc con ccache manualmente

Remoto

First enable verbose logging by setting --log-level to debug in /etc/conf.d/distccd:

ARCHIVO /etc/conf.d/distccd
[...]
DISTCCD_OPTS="${DISTCCD_OPTS} --log-level debug"
[...]

Una vez hecho esto, reinicie el demonio para adaptar los cambios:

root #rc-service distccd restart

Also check, if there are directories in /var/cache/ccache - including the directory ccache itself - which are not owned by the user distcc and correct their owner permissions:

root #chown -R distcc:portage /var/cache/ccache
Cliente

Make sure, that the following environment variables are present in the current shell:

root #export PATH="/usr/lib/ccache/bin:${PATH}"
root #export CCACHE_DIR="/var/cache/ccache"
root #export DISTCC_DIR="/var/tmp/portage/.distcc"
root #export DISTCC_SAVE_TEMPS="1"
root #export DISTCC_VERBOSE="1"

After that, navigate to a temporary directory within /tmp/ and compile the example mentioned below:

root #cd $(mktemp --directory)
root #distcc gcc -c main.c -o main.o

This will provide a verbose output, while also keeping temporary files receiving from the remote site in /tmp/ by default:

CÓDIGO
[...]
distcc[29466] (dcc_cleanup_tempfiles_inner) skip cleanup of /tmp/distcc_9c42f0a6.i
distcc[29466] (dcc_cleanup_tempfiles_inner) skip cleanup of /tmp/distcc_server_stderr_9cc0f0a6.txt
[...]

Any occuring error from the remote site are saved in /tmp/distcc_server_stderr_*.txt.

If the compilation was successful, the following line will be shown.

CÓDIGO
[...]
distcc[29466] compile main.c on 192.168.0.4 completed ok
[...]

En el sitio remoto, se mostrará de la siguiente forma:

CÓDIGO
[...]
distccd[13296] (dcc_check_compiler_masq) /usr/lib/ccache/bin/gcc is a safe symlink to /usr/bin/ccache
[...]
distccd[13296] (dcc_job_summary) client: 192.168.0.4:33880 COMPILE_OK exit:0 sig:0 core:0 ret:0 time:20ms gcc main.c

The important part here, is, that any symlink of /usr/lib/ccache/bin/ is a save symlink to /usr/bin/ccache.

Also, on the remote site, there should be the cached file 2beaa22dc2a2873d6869d69411840c-17229.o in /var/cache/ccache/c/0/, assuming, the example with its filename was copied from this wiki article. Generally, one can monitor the ccache size using watch "ccache --show-stats", while compiling.

Probar distcc con ccache usando emerge

Check, if necessary environment variables are present for the current shell, see here and that /etc/portage/make.conf was configured properly, see here.

To produce some cached files on the remote site, one can compile small packages like htop and bzip2 on the client:

root #emerge --ask htop bzip2

Utilización futura

Make sure, that the following environment variables are always set in the desired shell:

CÓDIGO
PATH="/usr/lib/ccache/bin:${PATH}"
CCACHE_DIR="/var/cache/ccache"
DISTCC_DIR="/var/tmp/portage/.distcc"

Para realizar la inicialización

El uso de distcc para el inicio (esto es, construir una cadena de herramientas antes de instalar el resto del sistema) requiere realizar algunas acciones adicionales.

Paso 1: Configurar Portage

Inicie la nueva máquina con un LiveCD de Gentoo Linux y siga las instrucciones de instalación mientras se siguen las instrucciones en las FAQ de Gentoo para obtener más información sobre el bootstrap. A continuación configure Portage para que utilice distcc:

ARCHIVO /etc/portage/make.confConfigure Portage para usar distcc
FEATURES="distcc"
MAKEOPTS="-jN"

Actualice también la variable PATH en la sesión de instalación:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Paso 2: Obtener distcc

Instale sys-devel/distcc:

root #USE='-*' emerge --nodeps sys-devel/distcc

Paso 3: Configurar distcc

Lance distcc-config para configurar distcc. Sustituya la cadena máquina# del ejemplo por las direcciones IP o nombres de los nodos participantes.

root #/usr/bin/distcc-config --set-hosts "localhost máquina1 máquina2 máquina3 ..."

¡Distcc ya está configurado para hacer bootstrap! Continúe con las instrucciones de instalación adecuadas y no olvide lanzar emerge distcc después de lanzar emerge @system. Esto asegurará que las dependencias necesarias también se instalarán.

Nota
Durante el arranque y emerge system puede que parezca que distcc no se está utilizando. Esto es normal ya que algunos ebuilds no funcionan bien con distcc por lo que se deshabilita intencionadamente.

Extras

La aplicación distcc tiene características adicionales y aplicaciones para dar soporte al trabajo en un entorno distcc.

Utilidades de monitorización

Distcc se distribuye con dos herramientas de monitorización. La basada en texto se construye siempre y se llama distccmon-text. Al lanzarlo la primera puede resultar confuso, pero es muy fácil de utilizar. Si el programa se lanza sin parámetros, correrá solo una vez. Sin embargo si se le pasa un número, actualizará la información cada N segundos, donde N es el argumento indicado.

user $distccmon-text 10

La otra utilidad de monitorización solo se habilita cuando se habilita el ajuste USE gtk. Esta herramienta está basada en GTK, corre en un entorno X y es bastante encantador. En Gentoo, se ha cambiado el nombre a distccmon-gui para evitar confusiones (originalmente se llamaba distccmon-gnome).

user $distccmon-gui

Para monitorizar el uso de distcc por parte de Portage:

root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-text 10
root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-gui
Importante
Si el directorio distcc está en otro lugar, cambie la variable DISTCC_DIR adecuadamente.

Un truco consisten en definir DISTCC_DIR en variables de entorno:

root #echo 'DISTCC_DIR="/var/tmp/portage/.distcc/"' >> /etc/env.d/03distcc_custom
Importante
Be aware that DISTCC_DIR must be set somewhere else than /etc/env.d/02distcc, as it gets overwritten everytime, when using distcc-config!. distcc-config --set-env DISTCC_DIR <some_path> does not work.

Ahora actualice el entorno:

root #env-update
root #source /etc/profile

Para terminar, arranque la aplicación GUI:

root #distccmon-gui

SSH para comunicaciones

La configuración de distcc a través de SSH incluye algunos detalles. En primer lugar, genere un par de claves SSH sin contraseña. Observe que portage compila los programas con el usuario Portage (o como root si no se ha definido FEATURES="userpriv"). La carpeta de inicio del usuario Portage es /var/tmp/portage/ lo que implica que las claves se deben almacenar en /var/tmp/portage/.ssh/.

Advertencia
Home folder of the Portage user changed in recent versions to /var/lib/portage/home, but this folder cannot be used for distcc via SSH because it is out of the accessible path during compilation. You should then update it:
root #usermod -d /var/tmp/portage portage
root #ssh-keygen -b 2048 -t rsa -f /var/tmp/portage/.ssh/id_rsa

A continuación cree una sección para cada máquina en el fichero de configuración de SSH:

ARCHIVO /var/tmp/portage/.ssh/configAñadir las secciones para cada equipo
Host test1
  HostName 123.456.789.1
  Port 1234
  User UserName
Host test2
  HostName 123.456.789.2
  Port 1234
  User UserName

Envíe la clave pública a cada nodo de compilación:

root #ssh-copy-id -i /var/tmp/portage/.ssh/id_rsa.pub NombreDeUsuario@NodoDeCompilación

También asegúrese de que todas las máquinas están listadas en el fichero known_hosts:

root #ssh-keyscan -t rsa <nodo-de-compilación-1> <nodo-de-compilación-2> [...] > /var/tmp/portage/.ssh/known_hosts

Corrija el propietario del fichero como se muestra a continuación:

root #chown -R portage:portage /var/tmp/portage/.ssh/

Para configurar los equipos test1 y test2, lance:

root #/usr/bin/distcc-config --set-hosts "@test1 @test2"

Por favor, observe que el símbolo '@', especifica las máquinas ssh para distcc.

Para terminar, indíquele a distcc qué binario SSH debe utilizar:

ARCHIVO /etc/portage/make.conf
DISTCC_SSH="ssh"

No es necesario lanzar el guión de inicio distccd en los equipos cuando distcc se comunica a través de SSH.

SSH inverso

As an alternative to distcc's built-in SSH solution, a compiling server can connect to the distcc client via SSH, redirecting the client's distcc TCP port to the compiling server. There is no need for password-less SSH keys on the client.

user $ssh -R3632:127.0.0.1:3632 root@distcc-client

Note that distcc uses localhost as a literal keyword for special purpose so that 127.0.0.1 has to be used instead. For multiple compiling servers each needs its own port redirection on the client (e.g. 127.0.0.1:4000, 127.0.0.1:4001 etc). Assert that IP addresses and ports are listed in /etc/distcc/hosts on the client.

Pruebas

Para probar distcc, escribir un simple programa Hola distcc y lanzar distcc en modo hablador para comprobar si se está comunicando correctamente.

ARCHIVO main.c
#include <stdio.h>
 
int main() {
    printf("¡Hola distcc!\n");
    return 0;
}

A continuación, en el modo hablador, compilar el programa utilizando distcc y enlazar el fichero objeto generado en un ejecutable:

user $export DISTCC_VERBOSE=1
user $distcc gcc -c main.c -o main.o # or 'pump distcc <...>'
user $gcc main.o -o main
Nota
Reemplazar la orden distcc por pump distcc si se desea utilizar el modo bombeo.

Debería haber un montón de información acerca de distcc con su configuración, selección de la máquina con la que conectar, conexión a la misma y por último la compilación de main.c. Se la salida no muestra las máquinas distcc esperadas, se debe comprobar la configuración.

Por último, asegurarse de que el programa compilado funciona correctamente. Para probar cada máquina, enumerar las máquinas de compilación en el fichero de máquinas.

user $./main
¡Hola distcc!

Solución a problemas

Si se produce cualquier problema mientras se utiliza distcc, entonces esta sección puede ser de ayuda.

ERROR: failed to open /var/log/distccd.log

A partir del 22 de enero de 2015 la instalación no crea el fichero distccd.log apropiado en /var/log/. Esto afecta aparentemente solo a la versión 3.1-r8 de distcc. Esta incidencia está en proceso de solución (ver bug #477630). Es posible evitar este problema creando manualmente el fichero de registro, asignarle el propietario adecuado y reiniciando el demonio distccd:

root #mkdir -p /var/log/distcc
root #touch /var/log/distcc/distccd.log
root #chown distcc:daemon /var/log/distcc/distccd.log

A continuación actualice la ruta /var/log del fichero de configuración de distccd en /etc/conf.d/distccd para definirla al directorio de distcc creado en el paso anterior:

ARCHIVO /etc/conf.d/distccdActualizar la ruta al registro
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distcc/distccd.log -N 15

Para terminar, reinicie el servicio distccd:

root #/etc/init.d/distccd restart

Algunos paquetes no utilizan distcc

A medida que se instalan algunos paquetes, los usuarios observarán que la construcción de algunos de ellos no se está realizando (y por tanto no se están construyendo en paralelo). Esto puede ocurrir porque el fichero Makefile del paquete no soporta operaciones en paralelo o el mantenedor del ebuild ha deshabilitado explícitamente dichas operaciones en paralelo debido un problema conocido.

En algunas ocasiones, distcc puede causar que un paquete falle en su compilación. Si sucede esto, por favor informe de ello.

Rust package is known to cause excessive IO utilization as --local-load is ignored and --jobs is usually too high for local build resources. A package.env needs to be provisioned with non-distcc MAKEOPTS values to workaround this behaviour.

Versiones mezcladas de GCC

Si el entorno aloja versiones diferentes de GCC, probablemente tenga problemas extraños. La solución es asegurarse de que todas las máquinas tengan la misma versión.

Las actualizaciones de Portage más recientes utilizan ${CHOST}-gcc (menos gcc) en lugar de gcc. Esto significa que si se mezclan máquinas i686 con otros tipos de máquina (i386, i586) entonces las construcciones darán problemas. Una solución temporal a esto es lanzar:

root #export CC='gcc' CXX='c++'

También es posible definir las variables CC y CXX en /etc/portage/make.conf a los valores listados en la orden de arriba.

Importante
Hacer esto explícitamente redefine algún comportamiento de Portage y puede que tenga resultados un tanto extraños en el futuro. Haga esto solo si no puede evitar el mezclar CHOSTs.
Nota
No es suficiente tener la versión adecuada de gcc como ranura (slot) en el servidor. Portage utiliza distcc como reemplazo del compilador referenciado por la variable CHOST (esto es, x86_64-pc-linux-gnu) y distccd lo invoca utilizando exactamente el mismo nombre. El compilador del sistema por defecto debe ser la versión adecuada de gcc en todos los equipos que participen en la compilación.

-march=native

A partir de la versión 4.3.0 de GCC, el compilador ofrece soporta para la opción -march=native que habilita la detección automática de la CPU y de las optimizaciones que merece la pena activar en el procesador sobre el que está corriendo GCC. Esto es un problema cuando se utiliza distcc, ya que permite mezclar código optimizado para diferentes procesadores. Por ejemplo, al correr distcc con -march=native en un sistema que tiene un procesador AMD Athlon y haciendo lo mismo en otro sistema que tiene un procesador Intel Pentium processor se mezclará el código compilado en ambos procesadores.

Preste atención a la siguiente advertencia:

Advertencia
No utilice -march=native o -mtune=native en las varibales CFLAGS o CXXFLAGS de make.conf cuando compile con distcc.

Leer la sección CFLAGS y CXXFLAGS y Inlining -march=native for distcc para obtener más información.

No se puede alcanzar la red

Nota
Cuando se utiliza una conexión SSH, puede que se encuentre con el error: ssh: Could not resolve hostname: Temporary failure in name resolution.

Due to network restrictions introduced by the feature network-sandbox, you may run into this issue. Since distcc contradicts with this security feature, you have to disable it:

ARCHIVO /etc/portage/make.confDisabilitar la característica network-sandbox
FEATURES="${FEATURES} -network-sandbox"

Obtener más información de los registros de emerge

Es posible obtener más información de registro si se habilita el modo hablador. Esto se consigue añadiendo DISTCC_VERBOSE al archivo /etc/portage/bashrc:

ARCHIVO /etc/portage/bashrcHabilitar el registro detallado
export DISTCC_VERBOSE=1

Se puede encontrar el registro detallado en /var/tmp/portage/$CATEGORÍA/$PF/temp/build.log.

Se debe recordar que la primera invocación de distcc visible en build.log no es necesariamente la primera llamada a distcc durante el proceso de construcción. Por ejemplo un equipo de construcción puede ausentarse por un periodo de un minuto durante la fase de configuración cuando se realizan algunas comprobaciones utilizando un compilador (distcc define un periodo de ausencia cuando falla la compilación de un servidor remoto, no importa si falló en la máquina local o no).

Consultar el directorio /var/tmp/portage/$CATEGORÍA/$PF/work/ para investigar este tipo de situaciones. Buscar en otros registros o llamar a make de forma explícita desde el propio directorio de trabajo.

Otra variable interesante que se puede utilizar es DISTCC_SAVE_TEMPS. Cuando se define, guarda la salida estándar y la de error de un compilador remoto que, para las construcciones de Portage, se generan en ficheros dentro del directorio /var/tmp/portage/$CATEGORÍA/$PF/temp/.

ARCHIVO /etc/portage/bashrcGuardar la salida temporal
export DISTCC_SAVE_TEMPS=1

No se puede crear el directorio /dev/null/.cache/ccache/tmp: Not a directory

This error can be discovered from the standard error output file in the server if you set DISTCC_SAVE_TEMPS. It only occurs when using distccd with ccache.

Likely, it is because CCACHE_DIR is not properly set, or not passed correctly to distccd. ccache will then default to $HOME/.cache/ccache as its cache folder. However, ccache is run by distccd under user distcc, which is a non-login account. See systemd section and With ccache section for setting CCACHE_DIR.

La construcción de Portage ha fallado con errores que, aparentemente no se pueden asociar de ningún modo con distcc

When builds are failing with errors that do not seem to be connected to distcc, but the build works with FEATURES="-distcc", it has been reported that builds sometimes fail because of DISTCC_VERBOSE=1. Try the build with DISTCC_VERBOSE=0.

Ver también

  • Distcc/Cross-Compiling — le muestra al lector cómo configurar distcc para realizar compilación cruzada entre diferentes arquitecturas de procesador.

Recursos externos


This page is based on a document formerly found on our main website gentoo.org.
The following people contributed to the original document: Lisa Seelye, Mike Gilbert (floppym) , Erwin, Sven Vermeulen (SwifT) , Lars Weiler, Tiemo Kieft, and
They are listed here because wiki history does not allow for any external attribution. If you edit the wiki article, please do not add yourself here; your contributions are recorded on each article's associated history page.