Distcc

From Gentoo Wiki
Jump to:navigation Jump to:search
This page is a translated version of the page Distcc and the translation is 52% complete.
Outdated translations are marked like this.
Some of the information in this article may have drifted out of sync with current practices. Please help out by checking over the content (how to get started).
Other languages:
Resources

distcc 는 네트워크를 통해 호스트가 참여하여 분산 컴파일 작업을 수행하도록 설계한 프로그램입니다. distccd 서버와 distcc 클라이언트로 구성되어 있습니다. distcc는 ccache, 포티지en, 간단한 설정 과정을 거치는 automake로 감쪽같이 처리할 수 있습니다.

Distcc comprises a server, distccd, and a client program, distcc. Distcc can work transparently with ccache, Portage, and Automake with a small amount of setup.

젠투 설치 초기에 도움을 받으려 distcc를 사용한다면, 부트스트랩 과정에 distcc 사용 섹션을 읽어보십시오.

If using hosts to run distcc that are of a different architecture, or run a different toolchain, see Distcc/Cross-Compiling.

참고
Distcc can introduce compile-time issues, like bug bug #691544, so the first troubleshooting step when encountering such issues should be to disable distcc to see if it solves it.
요령
Using a second, faster, machine to build binary packages and setting up a binary package host can advantageously replace some use cases of distcc. It may be easier to set up and will cover all compilers and build systems.

설치

distcc를 설정하기 전, 우선 모든 호스트에 대한 sys-devel/distcc 꾸러미 설치 과정을 살펴보겠습니다.

모든 호스트에 대한 의존성

distcc를 사용하려면 네트워크상의 모든 컴퓨터에 같은 gcc 버전이 있어야 합니다. 예를 들어 3.3.x(x는 바뀔 수 있음)는 괜찮지만 3.3.x와 3.2.x를 같이 사용하면, 컴파일 오류 또는 실행시간 오류가 나타날지도 모릅니다.

Verify that all systems use the same version of binutils (eselect binutils list) or many packages will fail linking with various errors like text relocation.

USE 플래그

USE flags for sys-devel/distcc Distribute compilation of C code across several machines on a network

gssapi Enable support for net-libs/libgssglue
gtk Add support for x11-libs/gtk+ (The GIMP Toolkit)
hardened Activate default security enhancements for toolchain (gcc, glibc, binutils)
ipv6 Add support for IP version 6
selinux !!internal use only!! Security Enhanced Linux support, this must be set by the selinux profile or breakage will occur
xinetd Add support for the xinetd super-server
zeroconf Support for DNS Service Discovery (DNS-SD)
Data provided by the Gentoo Package Database · Last update: 2024-01-15 15:58 More information about USE flags

distcc에는 컴파일 작업을 보내는 컴퓨터의 작업을 지켜볼 때 사용하는 그래픽 감시 프로그램이 있습니다. 이 감시 프로그램은 gtk USE 플래그를 설정했을 때 쓸 수 있습니다.

Emerge

USE 플래그 설정 후, sys-devel/distcc 꾸러미를 설치하십시오:

root #emerge --ask sys-devel/distcc
중요
모든 컴퓨터에 sys-devel/distcc를 설치하십시오.

설정

서비스

distccd를 자동으로 시작하려면 다음 절차를 진행하십시오.

OpenRC

/etc/conf.d/distccd를 편집하고 신뢰하는 클라이언트만 허용하도록 --allow 지시자를 설정하였는지 확인하십시오. 보안성을 강화하기 위해, 여러분은 distccd 데몬이 어떤 (사방에 있는 시스템들의) IP로 수신받고 있는지 알려줄 --listen 지시자를 사용할 수 있습니다. 더 많은 distcc 보안 정보는 distcc 보안 기록에서 찾을 수 있습니다.

경고
Anyone who can connect to the distcc server port can run arbitrary commands on that machine as the distccd user.

다음 예제에서는 192.168.0.4와 192.168.0.5 주소에서 동작하는 distcc 클라언트에서 근접 네트워크 영역에서 동작하는 distccd 서버에 접속할 수 있도록합니다:

파일 /etc/conf.d/distccddistccd에 연결하는 개별 클라이언트 허용
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distccd.log -N 15 --allow 192.168.0.4 --allow 192.168.0.5"

When logging to a file in /var/log, create the log and give appropriate permissions:

root #touch /var/log/distccd.log
root #chown distcc:root /var/log/distccd.log
중요
--allow와 --listen 지시자의 사용은 중요합니다. 더 많은 내용은 distccd 맨 페이지나 상단의 보안 문서를 읽어보십시오.

이제 distccd 데몬을 모든 참여 머신에서 시작하십시오:

root #rc-update add distccd default
root #rc-service distccd start

systemd

/etc/systemd/system/distccd.service.d/00gentoo.conf 설정 파일을 편집하여 CIDR 형식으로 분산 컴파일을 허용할 클라이언트를 추가하십시오. 일치하는 예제에서는 192.168.1.xxx 범위의 모든 IP 주소를 추가합니다.
파일 /etc/systemd/system/distccd.service.d/00gentoo.confALLOWED_SERVERS 설정
Environment="ALLOWED_SERVERS=192.168.1.0/24"

Or an example with multiple clients and a manually specified log-level:

파일 /etc/systemd/system/distccd.service.d/00gentoo.confSetting ALLOWED_SERVERS
Environment="ALLOWED_SERVERS=127.0.0.1 --allow 192.168.1.0/24 --allow 10.1.1.1/24 --log-level error"
참고
여기에 있는 "ALLOWED_SERVERS" 변수 이름은 로컬 distccd 서버에 연결하도록 허용한 클라이언트 주소를 제공하므로 혼동을 주지 않습니다. 그렇지만, distccd 서비스를 가동할 때 --allow 옵션 값을 넘기는 변수이기도 합니다. /usr/lib/systemd/system/distccd.service. 서비스 유닛을 참고하십시오.
중요
In contrast to OpenRC, environment variables put in /etc/env.d/* will not take effect for systemd users even after running env-update and restarting the distccd service. This is because /etc/environment.d generated by env-update is only sourced by systemd user instance. Whereas, distccd is spawned by systemd system instance.

To set the proper environment variables for distccd, place them into /etc/systemd/system/distccd.service.d/00gentoo.conf, for example:

파일 /etc/systemd/system/distccd.service.d/00gentoo.conf
[Service]
Environment="ALLOWED_SERVERS=192.168.121.0/24"
Environment="DISTCC_VERBOSE=1"
Environment="DISTCC_SAVE_TEMPS=1"
Environment="CCACHE_DIR=/var/cache/ccache"
경고
The Environment= directive in /etc/systemd/system/distccd.service.d/00gentoo.conf file does not support variable expansion. Environment="PATH=/usr/lib/ccache/bin:$PATH" will be treated as is, therefore will not work as intended.

For workaround, edit distccd.service by running the following command:

root #systemctl edit --full distccd.service

This will open up an editor. Change the line with ExecStart= directive to:

코드 Workaround for appending to PATH
ExecStart=/bin/bash -c "PATH=/usr/lib/ccache/bin:$PATH exec /usr/bin/distccd --no-detach --daemon --port 3632 -N 15 --allow $ALLOWED_SERVERS --log-level debug"

Alternatively, it is possible to write a shell script wrapper for /usr/bin/distccd.

설정을 바꾸었다면 유닛 파일을 다시 읽으십시오:

root #systemctl daemon-reload

distccd 자동 시작을 활성화한 후 서비스를 시작하십시오:

root #systemctl enable distccd
root #systemctl start distccd

참여 호스트 지정

호스트의 목록을 설정하려면 distcc-config 명령을 사용하십시오.

다음 예제는 호스트 정의 목록의 예제입니다. 대부분 첫번째 두번째 값을 약간 바꾸는걸로 충분합니다. 후자의 경우는 이 노드에서 컴파일 작업을 실행할 최대 작업량을 distcc에 알리는 /limit 문구를 사용합니다. 세번째 네번째 줄에서 사용하는 문법 내용은 distcc 설명서 페이지en에서 찾아볼 수 있습니다.

코드 호스트 정의 예제
192.168.0.1          192.168.0.2                       192.168.0.3
192.168.0.1/2        192.168.0.2                       192.168.0.3/10
192.168.0.1:4000/2   192.168.0.2/1                     192.168.0.3:3632/4
@192.168.0.1         @192.168.0.2:/usr/bin/distccd     192.168.0.3

호스트를 설정하는데 다른 여러가지 방법도 있습니다. 자세한 내용은 distcc 맨 페이지(man distcc)를 보십시오.

만약 로컬 머신에서도 컴파일해야한다면 호스트 목록에 localhost를 추가해야 합니다. 반대로 로컬 머신을 컴파일할 때 활용하지 않으면 호스트 목록에서 생략해야 합니다. 느린 장치에서 로컬호스트를 사용하는 것은 실제로 컴파일을 느리게 만듭니다. 성능을 위해 설정을 시험하여 확인하십시오.

앞의 예제의 첫 줄에 언급한 호스트를 사용하도록 distcc를 설정해보겠습니다:

root #/usr/bin/distcc-config --set-hosts "192.168.0.1 192.168.0.2 192.168.0.3"

distcc에서는 pump 명령을 통해 "펌프" 모드를 지원합니다. 여러 파일을 동시에 컴파일 할 때 빌드 시간을 획기적으로 줄여줍니다. 서버측에서 우선 처리한 헤더를 캐싱하여, 헤더 파일 우선 처리 반복 과정을 없애줍니다.

펌프 모드를 호스트에 설정하려면 호스트 정의 부분 뒤에 ,cpp,lzo를 추가하십시오. 펌프 모드는(C또는 C++ 파일 여부는 상관 없이) cpp 와 lzo 플래그가 필요합니다.

root #/usr/bin/distcc-config --set-hosts "192.168.0.1,cpp,lzo 192.168.0.2,cpp,lzo 192.168.0.3,cpp,lzo"

Hosts also need to be in:

파일 /etc/distcc/hostsShould match --set-hosts
192.168.0.1
192.168.0.2
192.168.0.3

Optionally, to set the maximum number of threads used by a host, add a forward slash "/" after each host:

파일 /etc/distcc/hostsSpecify max number of threads
192.168.0.1/8
192.168.0.2/4
192.168.0.3/16

The same applies to the distcc-config command. If the maximum threads number is not specified, it will default to 4.

사용법

포티지와 distcc 사용

포티지en가 distcc를 사용하도록 설정하는 건 쉽습니다. distcc 기능을 활성화하고 동시 빌드 작업 수의 값을 적절하게 설정(하여 distcc 빌드 자원을 증가)하면 됩니다.

다음, MAKEOPTS 변수와 FEATURES 변수를 아래처럼 설정하십시오.

일반적인 전략은

  • CPU 코어 전체(로컬+원격)갯수의 2배수 + 1을 N 값으로 설정
  • 로컬 CPU 코어의 갯수를 M으로 설정하는 것입니다.

distcc 클러스터 호스트(다른 시스템에서 동시 컴파일 작업 수를 늘려줌)가 없거나, 원격 빌드를 허용하지 않도록 ebuild를 설정하여 로컬에서만 컴파일(gcc)해야 한다면, -IM 플래그를 적용하여 과도한 작업을 분담하지 않도록 막으십시오. 시스템 부하가 M값에 근접하거나 넘어서는 경우 추가 작업 시작을 거절할 수 있습니다.

파일 /etc/portage/make.confMAKEOPTS와 FEATURES 설정
# Replace N and M with the right value as calculated previously
MAKEOPTS="-jN -lM"
FEATURES="distcc distcc-pump"

예컨대, distccd를 실행 중인 두 대의 쿼드코어 호스트 PC에 듀얼 코어 CPU를 붙인 로컬 PC를 연결했다면, MAKEOPTS 변수값을 다음과 같이 설정할 수 있습니다:

파일 /etc/portage/make.conf2대의 쿼드코어 칩 머신(호스트)과 1대의 듀얼 코어 PC(로컬) 에 대한 MAKEOPTS 예제
# 2 remote hosts with 4 cores each = 8 cores remote
# 1 local host with 2 cores = 2 cores local
# total number of cores is 10, so N = 2*10+1 and M=2
MAKEOPTS="-j21 -l2"

CFLAGS and CXXFLAGS

make.conf 파일을 편집할 때 CFLAGS 또는 CXXFLAGS 변수에 -march=native가 없는지 확인하십시오. march 값을 native로 설정하면 distccd는 다른 머신에 처리 결과물을 배포할 수 없습니다. 적당한 -march=값은 다음 명령을 실행하여 가져올 수 있습니다.

파일 /etc/portage/make.confinlined *FLAGS
# Minimal list of flags is generated with:
#   $ diff -U0 <(LANG=C gcc -Q -O2 -march=sandybridge --help=target) <(LANG=C gcc -Q -O2 -march=native --help=target)
COMMON_FLAGS="-march=sandybridge -mtune=sandybridge -maes" # don't use -march=native!
CFLAGS="${COMMON_FLAGS}"
CXXFLAGS="${COMMON_FLAGS}"

더 많은 내용은 distcc에 맞게 -march=native 옵션 넣기를 살펴보십시오.

As an alternative, install app-misc/resolve-march-native to determine what -march=native would resolve into.

automake와 distcc 사용

어쩌면 이 방법은 포티지 설정보다 쉽습니다. 여러분은 여러분의 PATH 변수에 gcc가 있는 디렉터리(/usr/bin)앞에 /usr/lib/distcc/bin을 넣어 업데이트 하면 됩니다. 하지만, 여기서 주의할 점이 있습니다. 만약 여러분이 ccache를 사용한다면 여러분들은 ccache 다음에 distcc의 위치를 지정해야 합니다:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

사용자의 ~/.bashrc 파일 또는 사용자 로그인시 매번PATH를 설정할 비슷한 파일에 이 값을 추가하거나, /etc/env.d/ 파일에 전역 값으로 설정하십시오.

make라고 입력하는 대신, -jN(N은 정수형 숫자)을 추가하십시오. N 값은 여러분의 네트워크와 여러분이 컴파일에 사용하는 컴퓨터의 형식에 달려있습니다. 이 글 초반부에 제대로된 값을 직접 찾아보는 방법을 언급했습니다.

With ccache

To make Ccache work with distcc, some prerequisites must be fulfilled:

  • Ccache is successfully set up locally
  • Distcc is successfully set up on the desired hosts

The following setup will work as follows:

코드 Flow diagram
[client]                                                      [remote]
'''ccache''' <miss?> → compile it and save cache files,
<hit?>           also distribute other source code → '''distcc''' → '''ccache''' <miss?> → compile it, save cache files, return cache file to client
  ↓                                                           <hit?>
use the local cache file                                        ↓
                                                 return local cache file to client
경고
The following configuration must be done on all desired hosts!

Configure distccd

In order to let the daemon distccd use ccache, it must masquerade the path /usr/bin with /usr/lib/ccache/bin. Furthermore, when it uses ccache, ccache should use the prefix distcc:

파일 /etc/conf.d/distccd
PATH="/usr/lib/ccache/bin:${PATH}"
CCACHE_PREFIX="distcc"

Additionally distccd must be aware of the environment variables DISTCC_DIR and CCACHE_DIR:

경고
These variables must be set somewhere in /etc/env.d/, otherwise ccache tries to put cache files in ${HOME}/.ccache/, which might result in a COMPILE_ERROR, due to insufficient permissions. To pinpoint this, use the testing example mentioned below and export DISTCC_SAVE_TEMPS="1" as mentioned here. This will provide error logs from the remote site in /tmp/ by default. The logs will look like this: distcc_server_stderr_*.txt. Be aware, that these environment variables cannot be set in /etc/conf.d/distccd, since they will not be read from distccd for some reason.
파일 /etc/env.d/03distcc_ccache
CCACHE_DIR="/var/cache/ccache"
DISTCC_DIR="/var/tmp/portage/.distcc"

Next, update the environment variables:

root #env-update
>>> Regenerating /etc/ld.so.cache...

Finally, restart the daemon distccd to adapt all changes:

root #rc-service distccd restart

Configure ccache

경고
When using distcc with ccache, it is necessary to prepare the cache directories manually, since the daemon distccd only works with the user distcc for some reason and it cannot create directories within /var/cache/ccache/. It is not sufficient to add this user to the group portage. Also be aware, that the variable cache_dir_levels, defined in ccache.conf, specifies how many subdirectories have to be created. The following example uses the default, which is 2.

First, prepare the cache directories:

root #cd "/var/cache/ccache/"
root #mkdir {a..z} {0..9} tmp
root #for first_level_directory in $(find . -maxdepth 1 -type d -not -name "." -and -not -name "tmp"); do pushd "${first_level_directory}" >/dev/null; mkdir {a..z} {0..9}; popd >/dev/null; done

The second command (mkdir) will create the first level directories from a to z, 0 to 9 and tmp. The following for loop will then look for the first level directories (find . -maxdepth 1 -type d), excluding the current directory . and tmp (-not -name "." -and -not -name "tmp"). It then descends into each of them (pushd), creates the second level directories from a to z and 0 to 9 (mkdir) and goes back to the previous directory (popd), which is /var/cache/ccache/.

중요
The current directory . must be excluded with -not -name ".", otherwise the first pushd command will go to the current directory . and then goes back to whatever directory is currently on the stack via popd. It will navigate through the entire stack until it is empty, creating directories, where each pushd command fails. If this happens, one can search for them using find / -type d -name "0" and remove them with rm --recursive [a-z] [0-9]. It is advised to this manually!

When the preparation is done, every directory - including the directory ccache itself - must be owned by the user distcc:

root #find /var/cache/ccache -type d -exec chown distcc:portage "{}" +

Configure portage

To use emerge with distcc and ccache, make sure, that both features are enabled and that CCACHE_DIR is set in /etc/portage/make.conf:

파일 /etc/portage/make.conf
[...]
FEATURES="distcc ccache"
CCACHE_DIR="/var/cache/ccache"

It might be redundant to set CCACHE_DIR here, since it is already defined in /etc/env.d/03distcc_ccache, mentioned here. But to make absolutely sure, configure it like that.

Testing distcc with ccache manually

Remote

First enable verbose logging by setting --log-level to debug in /etc/conf.d/distccd:

파일 /etc/conf.d/distccd
[...]
DISTCCD_OPTS="${DISTCCD_OPTS} --log-level debug"
[...]

After that, restart the daemon to adapt the changes:

root #rc-service distccd restart

Also check, if there are directories in /var/cache/ccache - including the directory ccache itself - which are not owned by the user distcc and correct their owner permissions:

root #chown -R distcc:portage /var/cache/ccache
Client

Make sure, that the following environment variables are present in the current shell:

root #export PATH="/usr/lib/ccache/bin:${PATH}"
root #export CCACHE_DIR="/var/cache/ccache"
root #export DISTCC_DIR="/var/tmp/portage/.distcc"
root #export DISTCC_SAVE_TEMPS="1"
root #export DISTCC_VERBOSE="1"

After that, navigate to a temporary directory within /tmp/ and compile the example mentioned below:

root #cd $(mktemp --directory)
root #distcc gcc -c main.c -o main.o

This will provide a verbose output, while also keeping temporary files receiving from the remote site in /tmp/ by default:

코드 
[...]
distcc[29466] (dcc_cleanup_tempfiles_inner) skip cleanup of /tmp/distcc_9c42f0a6.i
distcc[29466] (dcc_cleanup_tempfiles_inner) skip cleanup of /tmp/distcc_server_stderr_9cc0f0a6.txt
[...]

Any occuring error from the remote site are saved in /tmp/distcc_server_stderr_*.txt.

If the compilation was successful, the following line will be shown:

코드 
[...]
distcc[29466] compile main.c on 192.168.0.4 completed ok
[...]

On the remote site, it will look like this:

코드 
[...]
distccd[13296] (dcc_check_compiler_masq) /usr/lib/ccache/bin/gcc is a safe symlink to /usr/bin/ccache
[...]
distccd[13296] (dcc_job_summary) client: 192.168.0.4:33880 COMPILE_OK exit:0 sig:0 core:0 ret:0 time:20ms gcc main.c

The important part here, is, that any symlink of /usr/lib/ccache/bin/ is a save symlink to /usr/bin/ccache.

Also, on the remote site, there should be the cached file 2beaa22dc2a2873d6869d69411840c-17229.o in /var/cache/ccache/c/0/, assuming, the example with its filename was copied from this wiki article. Generally, one can monitor the ccache size using watch "ccache --show-stats", while compiling.

Testing distcc with ccache using emerge

Check, if necessary environment variables are present for the current shell, see here and that /etc/portage/make.conf was configured properly, see here.

To produce some cached files on the remote site, one can compile small packages like htop and bzip2 on the client:

root #emerge --ask htop bzip2

Future usage

Make sure, that the following environment variables are always set in the desired shell:

코드 
PATH="/usr/lib/ccache/bin:${PATH}"
CCACHE_DIR="/var/cache/ccache"
DISTCC_DIR="/var/tmp/portage/.distcc"

부트스트랩 과정에 distcc 사용

TODO: Todo:

  • Check this section for outdated information. Notably "USE='-*'" and "--nodeps" may no longer be advised. See Discussion page for more informaiton.


부트 스트랩 과정에서 distcc를 사용할 때는 추가 과정을 거쳐야합니다.

1단계: 포티지 설정

젠투리눅스 LiveCD가 들어간 새 컴퓨터를 부팅하고 부트스트랩 부분까지 설치 과정을 따라하십시오(부트스트랩에 대한 더 많은 정보를 얻고자 하신다면 젠투 FAQ를 보십시오). 다음 distcc를 사용하도록 포티지를 설정하십시오:

파일 /etc/portage/make.conf포티지에서 distcc를 사용하도록 설정
FEATURES="distcc"
MAKEOPTS="-jN"

마찬가지로 설치 세션에서 PATH 변수를 업데이트하십시오:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

2단계: distcc 가져오기

sys-devel/distcc를 설치하십시오:

root #USE='-*' emerge --nodeps sys-devel/distcc

3단계: distcc 설정

distcc를 설정하려면 distcc-config --install을 실행하십시오. 예제의 host# 부분을 참여하는 distcc 노드의 IP 주소 또는 호스트 이름으로 바꾸십시오.

root #/usr/bin/distcc-config --set-hosts "localhost host1 host2 host3 ..."

이제 distcc 부트스트랩을 설정했습니다! 적당한 설치 절차를 따르시고, emerge @system을 실행한 후 emerge distcc를 잊지 마십시오. 이 절차는 필요한 모든 의존성을 설치했는지 확인하는 과정입니다.

참고
부트스트랩과 emerge @system을 처리하는 동안에는 distcc를 사용하지 않는 것 같습니다. 일부 ebuild가 distcc와 제대로 동작하지 않는 것으로 보이기 때문에, 의도대로 비활성화했습니다.

추가 구성요소

distcc 프로그램에는 distcc 환경에서 동작할 추가 기능과 추가 프로그램이 있습니다.

감시 유틸리티

distcc에는 두 가지 감시 프로그램이 들어있습니다. 항상 빌드하는 텍스트 기반 프로그램을 distccmon-text라고 합니다. 처음 실행하는게 약간 혼동스러울 수도 있지만, 사용 방법은 아주 쉽습니다. 프로그램을 아무런 매개 변수없이 실행하면 단 한번만 실행합니다. 하지만, 숫자를 전달하면 매 N초마다 업데이트 합니다. 여기에서 N은 여러분이 전달한 숫자 인자입니다.

user $distccmon-text 10

다른 감시 유틸리티는 gtk를 USE 플래그로 설정했을 때만 실행할 수 있습니다. GTK+ 기반의 프로그램이며, X 환경에서 구동되고 정말 사랑스럽습니다 *-_-*. 젠투에서의 GUI 감시 프로그램은 혼동을 피하기 위해 distccmon-gui로 이름을 바꾸었습니다(보통 distccmon-gnome이라고 합니다).

user $distccmon-gui

포티지의 distcc 사용 상태를 감시하려면:

root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-text 10
root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-gui
중요
distcc 디렉터리가 어디에도 없다면, DISTCC_DIR 변수를 적절하게 바꾸십시오.

DISTCC_DIR 환경 변수를 설정하는 꼼수를 진행하십시오:

root #echo 'DISTCC_DIR="/var/tmp/portage/.distcc/"' >> /etc/env.d/02distcc
중요
Be aware that DISTCC_DIR must be set somewhere else than /etc/env.d/02distcc, as it gets overwritten everytime, when using distcc-config!. distcc-config --set-env DISTCC_DIR <some_path> does not work.

이제 환경을 업데이트하십시오:

root #env-update
root #source /etc/profile

마지막으로, GUI 프로그램을 시작하십시오:

root #distccmon-gui

통신용 SSH

ssh를 통한 distcc 설정에 몇가지 함정이 있습니다. 먼저 암호 설정을 뺀 상태의 SSH 키 쌍을 만들어야 합니다. portage 사용자가 포티지로 프로그램을 컴파일 함을 잊지 마십시오. portage 사용자 폴더는 /var/tmp/portage/이며 ssh 키를 /var/tmp/portage/.ssh/에 저장해야 함을 의미합니다.

경고
{{{1}}}
root #ssh-keygen -b 2048 -t rsa -f /var/tmp/portage/.ssh/id_rsa

두번째로, SSH 설정 파일에 각 호스트에 대한 섹션을 만드십시오:

파일 /var/tmp/portage/.ssh/config호스트 단위 섹션 추가
Host test1
    HostName 123.456.789.1
    Port 1234
    User UserName
 
Host test2
    HostName 123.456.789.2
    Port 1234
    User UserName

각 컴파일 노드에 공개키를 보내십시오:

root #ssh-copy-id -i /var/tmp/portage/.ssh/id_rsa.pub UserName@CompilationNode

또한 각 호스트에 known_hosts 파일이 있는지 확인하십시오:

root #ssh-keyscan -t rsa <compilation-node-1> <compilation-node-2> [...] > /var/tmp/portage/.ssh/known_hosts

다음과 같이 소유권을 수정하십시오:

root #chown -R portage:portage /var/tmp/portage/.ssh/

test1과 test2 호스트를 설정하려면 다음 명령을 실행하십시오:

root #/usr/bin/distcc-config --set-hosts "@test1 @test2"

@ 기호는 distcc용 ssh 호스트를 지정할 때 사용하는 기호임을 참고하십시오.

마지막으로, 어떤 SSH 바이너리를 활용할지 distcc에 알리십시오:

파일 /etc/portage/make.conf
DISTCC_SSH="ssh"

distcc가 SSH로 통신하면, 호스트에서 distccd 초기화 스크립트를 실행할 필요가 없습니다.

Reverse SSH

As an alternative to distcc's built-in SSH solution, a compiling server can connect to the distcc client via SSH, redirecting the client's distcc TCP port to the compiling server. There is no need for password-less SSH keys on the client:

user $ssh -R3632:127.0.0.1:3632 root@distcc-client

Note that distcc uses localhost as a literal keyword for special purpose so that 127.0.0.1 has to be used instead. For multiple compiling servers each needs its own port redirection on the client (e.g. 127.0.0.1:4000, 127.0.0.1:4001 etc). Assert that IP addresses and ports are listed in /etc/distcc/hosts on the client.

시험

distcc를 시험해보려면 간단한 Hello distcc 프로그램을 작성하고 자세한 출력 모드 상태로 distcc 를 실행하여 여러 머신이 제대로 통신을 하는지 확인하십시오.

파일 main.c
#include <stdio.h>
 
int main() {
    printf("Hello distcc!\n");
    return 0;
}

다음, 자세한 출력 모드를 활성화하고 distcc 를 활용하여 프로그램을 컴파일한 다음 만들어진 오브젝트 파일을 실행 파일에 연결하십시오:

user $export DISTCC_VERBOSE=1
user $distcc gcc -c main.c -o main.o # or 'pump distcc <...>'
user $gcc main.o -o main
참고
펌프 모드를 활용하려면 distcc 명령을 pump distcc로 바꾸십시오.

distcc가 설정을 찾고 연결할 호스트를 선택한 다음, 연결을 시작해서 마지막으로 main.c를 컴파일하는 출력 내용이 나와야합니다. 출력 내용에 예상하던 distcc 호스트가 안뜬다면 설정을 확인하십시오.

마지막으로 컴파일한 프로그램이 제대로 돌아가는지 확인하십시오. 각 호스트를 시험하려면, 호스트 파일에 컴파일 호스트 설정 값을 일일히 넣으십시오.

user $./main
Hello distcc!

문제 해결

distcc를 사용하는 동안 문제가 발한다면, 이 부분이 문제를 해결하는데 도움이 될 것입니다.

ERROR: failed to open /var/log/distccd.log

2015년 1월 22일 이머징 과정에서 /var/log/에 올바른 distccd.log 파일을 만드는 과정에 실패했습니다. distcc 3.1-r8 버전에만 영향을 받는 것 같습니다. 이 버그(bug #477630 참고)는 (현재 2015년 11월 14일에도 여전히)수정중입니다. 직접 로그 파일을 만들고, 적당한 소유권을 부여한 다음 distccd 데몬을 다시 시작하면 문제를 피해갈 수 있습니다:

root #mkdir -p /var/log/distcc
root #touch /var/log/distcc/distccd.log
root #chown distcc:daemon /var/log/distcc/distccd.log

다음, /etc/conf.d/distccd의 distccd 설정 파일 경로인 /var/log 디렉터리를 이전 단계에서 만든 distcc 디렉터리로 업데이트하십시오:

파일 /etc/conf.d/distccd기록 경로 업데이트
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distcc/distccd.log -N 15

마지막으로 distccd 서비스를 다시 시작하십시오:

root #/etc/init.d/distccd restart

일부 꾸러미가 distcc를 활용하지 않음

다양한 꾸러미를 emerge 할 때, 꾸러미 일부를 분산처리하지 않는다는 점(그리고 병렬로 빌드하지 않는다는 점)을 주의하셔야 합니다. 이것은 꾸러미의 Makefile이 병렬 처리를 지원하지 않거나 ebuild의 관리자가 알려진 문제점때문에 확실하게 병렬 처리를 사용하지 않도록 했기 때문입니다.

때론 distcc가 컴파일의 실패 요인이기도 합니다. 이런 일이 일어난다면, 저희에게 알려주십시오.

Rust package is known to cause excessive IO utilization as --local-load is ignored and --jobs is usually too high for local build resources. A package.env needs to be provisioned with non-distcc MAKEOPTS values to workaround this behavior.

파일 /etc/portage/env/nodistcc.conf
MAKEOPTS="-jN"
FEATURES="-distcc"
파일 /etc/portage/package.env/nodistcc
dev-lang/rust           nodistcc.conf
mail-client/thunderbird nodistcc.conf
sys-libs/libcxx         nodistcc.conf
www-client/firefox      nodistcc.conf

혼합 GCC 버전

각각의 환경에서 다른 GCC 버전을 사용하면, 이상한 문제가 생길 수 있습니다. 해결 방법은 모든 호스트의 GCC 버전을 같게 하는 것입니다.

최근 포티지에서는 gcc 대신 ${CHOST}-gcc(마이너스 gcc)를 사용하도록 업데이트 했습니다. 이는 i686 머신을 다른 형식(i386, i586)의 머신과 혼용해서 사용한다면, 빌드한 결과에 문제가 생김을 의미합니다:

root #export CC='gcc' CXX='c++'

위 명령처럼 /etc/portage/make.conf 에 CC 변수와 CXX 변수 값을 넣을 수 있습니다.

중요
이 설정 행위는 명백하게 포티지의 몇가지 동작을 재정의하는 것이며 나중에 이상한 결과가 나타날지도 모릅니다. 오로지 CHOST 값을 섞어써야 할 때에만 설정하십시오.
참고
서버에서 슬롯 기반의 올바른 gcc 버전을 가져오는 걸로 충분하지 않습니다. 포티니에서는 CHOST 변수 값(x86_64-pc-linux-gnu)을 참고하여 distcc를 컴파일러 대신 활용하며, distccd 는 distcc를 똑같은 이름으로 호출하여 실행합니다. 올바른 gcc 버전이 컴파일 호스트로 활용할 기본 시스템의 컴파일러여야합니다.

-march=native

GCC 4.3.0부터, GCC가 동작하는 프로세서에서 CPU 자동 감지 및 최적화를 활성화하는 -march=native 스위치를 지원합니다. distcc를 사용할 때, 다른 프로세서에 대한 최적화 코드를 뒤섞는 일이 발생하므로 문제가 생길 수 있습니다. 예를 들어, AMD 애슬론 프로세서 시스템에서 distcc에 -march=native 옵션을 넣어 실행하고 인텔 펜티엄 프로세서가 붙은 다른 시스템에서 똑같이 실행하면 두 시스템에서 코드가 뒤섞입니다.

다음 경고에 주의하십시오:

경고
distcc로 컴파일할 때, make.conf의 CFLAGS변수 또는 CXXFLAGS변수에서 -march=native 또는 -mtune=native값을 사용하지 마십시오.

See the CFLAGS and CXXFLAGS section and Inlining -march=native for distcc for more information.

Network is unreachable

참고
When using SSH connection, there can be an error: ssh: Could not resolve hostname: Temporary failure in name resolution.

Due to network restrictions introduced by the feature network-sandbox, this issue may be encountered. Since distcc contradicts with this security feature, it must be disabled:

파일 /etc/portage/make.confDisabling network-sandbox feature
FEATURES="${FEATURES} -network-sandbox"

이머지 기록에서 더 많은 출력 내용 가져오기

자세한 기록 모드를 활성화하여 더 많은 기록 내용을 가져올 수 있습니다. DISTCC_VERBOSE 변수를 /etc/portage/bashrc 파일에 추가하면 됩니다:

파일 /etc/portage/bashrc자세한 기록 활성화
export DISTCC_VERBOSE=1

자세한 기록은 /var/tmp/portage/$CATEGORY/$PF/temp/build.log 파일에 있습니다.

build.log 에 나타나는 distcc 첫 실행 내용은 빌드 과정을 진행하는 동안 distcc를 처음 실행이 필요하지 않음을 참고하십시오. 요컨대, 컴파일러를 활용하여 일부 검사과정을 처리할 때 설정 과정을 진행하는 동안 1분동안 백오프 주기를 가질 수 있습니다.(로컬 머신에서 실패하든 어디서 실패하든 상관 없이 원격 서버 컴파일에 실패했을 경우 distcc에서 백오프 주기를 설정합니다).

/var/tmp/portage/$CATEGORY/$PF/work/ 디렉터리로 들어가서 각각의 상황을 살펴보십시오. 다른 기록을 찾아보거나 작업 디렉터리에서 분명하게 make 명령을 호출하십시오.

쓸만한 다른 변수중에 DISTCC_SAVE_TEMPS 변수가 있습니다. 이 변수를 설정하면 포티지를 빌드할 때 나오는 표준 출력/표준 오류를 /var/tmp/portage/$CATEGORY/$PF/temp/ 디렉터리에 파일로 저장합니다.

파일 /etc/portage/bashrc임시 출력 내용 저장
export DISTCC_SAVE_TEMPS=1

Failed to create directory /dev/null/.cache/ccache/tmp: Not a directory

This error can be discovered from the standard error output file in the server if DISTCC_SAVE_TEMPS is set. It only occurs when using distccd with ccache.

Likely, it is because CCACHE_DIR is not properly set, or not passed correctly to distccd. ccache will then default to $HOME/.cache/ccache as its cache folder. However, ccache is run by distccd under user distcc, which is a non-login account. See systemd section and With ccache section for setting CCACHE_DIR.

Portage build failing with errors that are apparently not connected with distcc at all

When builds are failing with errors that do not seem to be connected to distcc, but the build works with FEATURES="-distcc", it has been reported that builds sometimes fail because of DISTCC_VERBOSE=1. Try the build with DISTCC_VERBOSE=0.

추가 참조

외부 자료

This page is based on a document formerly found on our main website gentoo.org.
The following people contributed to the original document: Lisa Seelye, Mike Gilbert (floppym) , Erwin, Sven Vermeulen (SwifT) , Lars Weiler, Tiemo Kieft, and
They are listed here because wiki history does not allow for any external attribution. If you edit the wiki article, please do not add yourself here; your contributions are recorded on each article's associated history page.

Retrieved from "https://wiki.gentoo.org/index.php?title=Distcc/ko&oldid=1209949"