Distcc/ko

distcc 는 네트워크를 통해 호스트가 참여하여 분산 컴파일 작업을 수행하도록 설계한 프로그램입니다. 서버와 클라이언트로 구성되어 있습니다. distcc는 ccache, 포티지en, 간단한 설정 과정을 거치는 automake로 감쪽같이 처리할 수 있습니다.

젠투 설치 초기에 도움을 받으려 를 사용한다면, 부트스트랩 과정에 distcc 사용 섹션을 읽어보십시오.

설치
를 설정하기 전, 우선 모든 호스트에 대한 꾸러미 설치 과정을 살펴보겠습니다.

모든 호스트에 대한 의존성
를 사용하려면 네트워크상의 모든 컴퓨터에 같은 gcc 버전이 있어야 합니다. 예를 들어 3.3.x(x는 바뀔 수 있음)는 괜찮지만 3.3.x와 3.2.x를 같이 사용하면, 컴파일 오류 또는 실행시간 오류가 나타날지도 모릅니다.

Verify that all systems use the same version of binutils (eselect binutils list) or many packages will fail linking with various errors like text relocation.

Emerge
distcc에는 컴파일 작업을 보내는 컴퓨터의 작업을 지켜볼 때 사용하는 그래픽 감시 프로그램이 있습니다. 이 감시 프로그램은  USE 플래그를 설정했을 때 쓸 수 있습니다.

USE 플래그 설정 후, 꾸러미를 설치하십시오:

서비스
를 자동으로 시작하려면 다음 절차를 진행하십시오.

OpenRC
를 편집하고 신뢰하는 클라이언트만 허용하도록  지시자를 설정하였는지 확인하십시오. 보안성을 강화하기 위해, 여러분은 데몬이 어떤 (사방에 있는 시스템들의) IP로 수신받고 있는지 알려줄   지시자를 사용할 수 있습니다. 더 많은 보안 정보는 distcc 보안 기록에서 찾을 수 있습니다.

다음 예제에서는 와   주소에서 동작하는 distcc 클라언트에서 근접 네트워크 영역에서 동작하는  서버에 접속할 수 있도록합니다:

When logging to a file in, create the log and give appropriate permissions:

이제 데몬을 모든 참여 머신에서 시작하십시오:

systemd
설정 파일을 편집하여 CIDR 형식으로 분산 컴파일을 허용할 클라이언트를 추가하십시오. 일치하는 예제에서는 192.168.1.xxx 범위의 모든 IP 주소를 추가합니다.

Or an example with multiple clients and a manually specified log-level

To set the proper environment variables for, place them into. For example,

For workaround, you need to edit distccd.service by running the following command.

This will open up an editor. Change the line with  directive to

Alternatively, you could also write a shell script wrapper for.

설정을 바꾸었다면 유닛 파일을 다시 읽으십시오:

자동 시작을 활성화한 후 서비스를 시작하십시오:

참여 호스트 지정
호스트의 목록을 설정하려면 명령을 사용하십시오.

다음 예제는 호스트 정의 목록의 예제입니다. 대부분 첫번째 두번째 값을 약간 바꾸는걸로 충분합니다. 후자의 경우는 이 노드에서 컴파일 작업을 실행할 최대 작업량을 에 알리는  문구를 사용합니다. 세번째 네번째 줄에서 사용하는 문법 내용은 distcc 설명서 페이지en 에서 찾아볼 수 있습니다.

호스트를 설정하는데 다른 여러가지 방법도 있습니다. 자세한 내용은 맨 페이지를 보십시오.

만약 로컬 머신에서도 컴파일해야한다면 호스트 목록에 를 추가해야 합니다. 반대로 로컬 머신을 컴파일할 때 활용하지 않으면 호스트 목록에서 생략해야 합니다. 느린 장치에서 로컬호스트를 사용하는 것은 실제로 컴파일을 느리게 만듭니다. 성능을 위해 설정을 시험하여 확인하십시오.

앞의 예제의 첫 줄에 언급한 호스트를 사용하도록 를 설정해보겠습니다:

distcc에서는  명령을 통해 "펌프" 모드를 지원합니다. 여러 파일을 동시에 컴파일 할 때 빌드 시간을 획기적으로 줄여줍니다. 서버측에서 우선 처리한 헤더를 캐싱하여, 헤더 파일 우선 처리 반복 과정을 없애줍니다.

펌프 모드를 호스트에 설정하려면 호스트 정의 부분 뒤에 를 추가하십시오. 펌프 모드는(C또는 C++ 파일 여부는 상관 없이)  와   플래그가 필요합니다.

Hosts also need to be in:

Optionally, to set the maximum number of threads used by a host, add a forward slash "/" after each host:

The same applies to the command. If the maximum threads number is not specified, it will default to 4.

포티지와 distcc 사용
포티지en 가 를 사용하도록 설정하는 건 쉽습니다. 기능을 활성화하고 동시 빌드 작업 수의 값을 적절하게 설정(하여 빌드 자원을 증가)하면 됩니다.

다음, MAKEOPTS 변수와 FEATURES 변수를 아래처럼 설정하십시오.

일반적인 전략은
 * CPU 코어 전체(로컬+원격)갯수의 2배수 + 1을  값으로 설정
 * 로컬 CPU 코어의 갯수를 으로 설정하는 것입니다.

클러스터 호스트(다른 시스템에서 동시 컴파일 작업 수를 늘려줌)가 없거나, 원격 빌드를 허용하지 않도록 ebuild를 설정하여 로컬에서만 컴파일(gcc)해야 한다면,  플래그를 적용하여 과도한 작업을 분담하지 않도록 막으십시오. 시스템 부하가 값에 근접하거나 넘어서는 경우 추가 작업 시작을 거절할 수 있습니다.

예컨대, 를 실행 중인 두 대의 쿼드코어 호스트 PC에 듀얼 코어 CPU를 붙인 로컬 PC를 연결했다면, MAKEOPTS 변수값을 다음과 같이 설정할 수 있습니다:

CFLAGS and CXXFLAGS
파일을 편집할 때 CFLAGS 또는 CXXFLAGS 변수에 가 없는지 확인하십시오. 값을 로 설정하면 는 다른 머신에 처리 결과물을 배포할 수 없습니다. 적당한 값은 다음 명령을 실행하여 가져올 수 있습니다.

더 많은 내용은 distcc에 맞게  옵션 넣기를 살펴보십시오.

automake와 distcc 사용
어쩌면 이 방법은 포티지 설정보다 쉽습니다. 여러분은 여러분의 PATH 변수에 가 있는 디렉터리앞에 을 넣어 업데이트 하면 됩니다. 하지만, 여기서 주의할 점이 있습니다. 만약 여러분이 를 사용한다면 여러분들은 다음에 의 위치를 지정해야 합니다:

사용자의 파일 또는 사용자 로그인시 매번 PATH 를 설정할 비슷한 파일에 이 값을 추가하거나,  파일에 전역 값으로 설정하십시오.

라고 입력하는 대신, ( 은 정수형 숫자)을 추가하십시오. 값은 여러분의 네트워크와 여러분이 컴파일에 사용하는 컴퓨터의 형식에 달려있습니다. 이 글 초반부에 제대로된 값을 직접 찾아보는 방법을 언급했습니다.

With ccache
To make Ccache work with, some prerequisites must be fulfilled:
 * Ccache is successfully set up locally
 * Distcc is successfully set up on the desired hosts

The following setup will work as follows:

Configure distccd
In order to let the daemon use, it must masquerade the path  with. Furthermore, when it uses, should use the prefix  :

Additionally must be aware of the environment variables DISTCC_DIR and CCACHE_DIR :

Next, update the environment variables:

Finally, restart the daemon to adapt all changes:

Configure ccache
First, prepare the cache directories:

The second command will create the first level directories from  to,  to  and. The following loop will then look for the first level directories, excluding the current directory  and. It then descends into each of them, creates the second level directories from to  and  to   and goes back to the previous directory , which is.

When the preparation is done, every directory - including the directory itself - must be owned by the user  :

Configure portage
To use with  and, make sure, that both features are enabled and that CCACHE_DIR is set in :

It might be redundant to set CCACHE_DIR here, since it is already defined in, mentioned here. But to make absolutely sure, configure it like that.

Remote
First enable verbose logging by setting  to   in :

After that, restart the daemon to adapt the changes:

Also check, if there are directories in - including the directory  itself - which are not owned by the user   and correct their owner permissions:

Client
Make sure, that the following environment variables are present in the current shell:

After that, navigate to a temporary directory within and compile the example mentioned below:

This will provide a verbose output, while also keeping temporary files receiving from the remote site in by default:

Any occuring error from the remote site are saved in.

If the compilation was successful, the following line will be shown.

On the remote site, it will look like this:

The important part here, is, that any symlink of is a save symlink to.

Also, on the remote site, there should be the cached file in, assuming, the example with its filename was copied from this wiki article. Generally, one can monitor the ccache size using, while compiling.

Testing distcc with ccache using emerge
Check, if necessary environment variables are present for the current shell, see here and that was configured properly, see here.

To produce some cached files on the remote site, one can compile small packages like  and   on the client:

Future usage
Make sure, that the following environment variables are always set in the desired shell:

부트스트랩 과정에 distcc 사용
부트 스트랩 과정에서 를 사용할 때는 추가 과정을 거쳐야합니다.

1단계: 포티지 설정
젠투리눅스 LiveCD가 들어간 새 컴퓨터를 부팅하고 부트스트랩 부분까지 설치 과정을 따라하십시오(부트스트랩에 대한 더 많은 정보를 얻고자 하신다면 젠투 FAQ를 보십시오). 다음 를 사용하도록 포티지를 설정하십시오:

마찬가지로 설치 세션에서  변수를 업데이트하십시오:

2단계: distcc 가져오기
를 설치하십시오:

3단계: distcc 설정
distcc를 설정하려면 을 실행하십시오. 예제의  부분을 참여하는 distcc 노드의 IP 주소 또는 호스트 이름으로 바꾸십시오.

이제 distcc 부트스트랩을 설정했습니다! 적당한 설치 절차를 따르시고, 을 실행한 후 를 잊지 마십시오. 이 절차는 필요한 모든 의존성을 설치했는지 확인하는 과정입니다.

추가 구성요소
프로그램에는 환경에서 동작할 추가 기능과 추가 프로그램이 있습니다.

감시 유틸리티
distcc에는 두 가지 감시 프로그램이 들어있습니다. 항상 빌드하는 텍스트 기반 프로그램을 라고 합니다. 처음 실행하는게 약간 혼동스러울 수도 있지만, 사용 방법은 아주 쉽습니다. 프로그램을 아무런 매개 변수없이 실행하면 단 한번만 실행합니다. 하지만, 숫자를 전달하면 매 초마다 업데이트 합니다. 여기에서 은 여러분이 전달한 숫자 인자입니다.

다른 감시 유틸리티는 를 USE 플래그로 설정했을 때만 실행할 수 있습니다. GTK+ 기반의 프로그램이며, X 환경에서 구동되고 정말 사랑스럽습니다 *-_-*. 젠투에서의 GUI 감시 프로그램은 혼동을 피하기 위해 로 이름을 바꾸었습니다(보통 이라고 합니다).

포티지의 사용 상태를 감시하려면:

DISTCC_DIR 환경 변수를 설정하는 꼼수를 진행하십시오:

이제 환경을 업데이트하십시오:

마지막으로, GUI 프로그램을 시작하십시오:

통신용 SSH
ssh를 통한 distcc 설정에 몇가지 함정이 있습니다. 먼저 암호 설정을 뺀 상태의 SSH 키 쌍을 만들어야 합니다. 사용자가 포티지로 프로그램을 컴파일 함을 잊지 마십시오. 사용자 폴더는 이며 ssh 키를 에 저장해야 함을 의미합니다.

두번째로, SSH 설정 파일에 각 호스트에 대한 섹션을 만드십시오:

각 컴파일 노드에 공개키를 보내십시오:

또한 각 호스트에 파일이 있는지 확인하십시오:

다음과 같이 소유권을 수정하십시오:

과  호스트를 설정하려면 다음 명령을 실행하십시오:

기호는 distcc용 ssh 호스트를 지정할 때 사용하는 기호임을 참고하십시오.

마지막으로, 어떤 SSH 바이너리를 활용할지 에 알리십시오:

가 SSH로 통신하면, 호스트에서 초기화 스크립트를 실행할 필요가 없습니다.

Reverse SSH
As an alternative to distcc's built-in SSH solution, a compiling server can connect to the distcc client via SSH, redirecting the client's distcc TCP port to the compiling server. There is no need for password-less SSH keys on the client.

Note that distcc uses as a literal keyword for special purpose so that  has to be used instead. For multiple compiling servers each needs its own port redirection on the client (e.g. 127.0.0.1:4000, 127.0.0.1:4001 etc). Assert that IP addresses and ports are listed in on the client.

시험
를 시험해보려면 간단한 Hello distcc 프로그램을 작성하고 자세한 출력 모드 상태로 를 실행하여 여러 머신이 제대로 통신을 하는지 확인하십시오.

다음, 자세한 출력 모드를 활성화하고 를 활용하여 프로그램을 컴파일한 다음 만들어진 오브젝트 파일을 실행 파일에 연결하십시오:

가 설정을 찾고 연결할 호스트를 선택한 다음, 연결을 시작해서 마지막으로 를 컴파일하는 출력 내용이 나와야합니다. 출력 내용에 예상하던 호스트가 안뜬다면 설정을 확인하십시오.

마지막으로 컴파일한 프로그램이 제대로 돌아가는지 확인하십시오. 각 호스트를 시험하려면, 호스트 파일에 컴파일 호스트 설정 값을 일일히 넣으십시오.

문제 해결
를 사용하는 동안 문제가 발한다면, 이 부분이 문제를 해결하는데 도움이 될 것입니다.

ERROR: failed to open
2015년 1월 22일 이머징 과정에서 에 올바른 파일을 만드는 과정에 실패했습니다. distcc 3.1-r8 버전에만 영향을 받는 것 같습니다. 이 버그( 참고)는 (현재 2015년 11월 14일에도 여전히)수정중입니다. 직접 로그 파일을 만들고, 적당한 소유권을 부여한 다음 distccd 데몬을 다시 시작하면 문제를 피해갈 수 있습니다:

다음, 의 설정 파일 경로인  디렉터리를 이전 단계에서 만든  디렉터리로 업데이트하십시오:

마지막으로 distccd 서비스를 다시 시작하십시오:

일부 꾸러미가 distcc를 활용하지 않음
다양한 꾸러미를 emerge 할 때, 꾸러미 일부를 분산처리하지 않는다는 점(그리고 병렬로 빌드하지 않는다는 점)을 주의하셔야 합니다. 이것은 꾸러미의 이 병렬 처리를 지원하지 않거나 ebuild의 관리자가 알려진 문제점때문에 확실하게 병렬 처리를 사용하지 않도록 했기 때문입니다.

때론 가 컴파일의 실패 요인이기도 합니다. 이런 일이 일어난다면, 저희에게 알려주십시오.

Rust package is known to cause excessive IO utilization as --local-load is ignored and --jobs is usually too high for local build resources. A package.env needs to be provisioned with non-distcc MAKEOPTS values to workaround this behaviour.

혼합 GCC 버전
각각의 환경에서 다른 GCC 버전을 사용하면, 이상한 문제가 생길 수 있습니다. 해결 방법은 모든 호스트의 GCC 버전을 같게 하는 것입니다.

최근 포티지에서는  대신  (마이너스 gcc)를 사용하도록 업데이트 했습니다. 이는 i686 머신을 다른 형식(i386, i586)의 머신과 혼용해서 사용한다면, 빌드한 결과에 문제가 생김을 의미합니다:

위 명령처럼 에  CC 변수와 CXX 변수 값을 넣을 수 있습니다.

-march=native
GCC 4.3.0부터, GCC가 동작하는 프로세서에서 CPU 자동 감지 및 최적화를 활성화하는  스위치를 지원합니다. 를 사용할 때, 다른 프로세서에 대한 최적화 코드를 뒤섞는 일이 발생하므로 문제가 생길 수 있습니다. 예를 들어, AMD 애슬론 프로세서 시스템에서 에  옵션을 넣어 실행하고 인텔 펜티엄 프로세서가 붙은 다른 시스템에서 똑같이 실행하면 두 시스템에서 코드가 뒤섞입니다.

다음 경고에 주의하십시오:

See the CFLAGS and CXXFLAGS section and Inlining  for distcc for more information.

Network is unreachable
Due to network restrictions introduced by the feature, you may run into this issue. Since contradicts with this security feature, you have to disable it:

이머지 기록에서 더 많은 출력 내용 가져오기
자세한 기록 모드를 활성화하여 더 많은 기록 내용을 가져올 수 있습니다. DISTCC_VERBOSE 변수를 파일에 추가하면 됩니다:

자세한 기록은 파일에 있습니다.

에 나타나는 첫 실행 내용은 빌드 과정을 진행하는 동안 를 처음 실행이 필요하지 않음을 참고하십시오. 요컨대, 컴파일러를 활용하여 일부 검사과정을 처리할 때 설정 과정을 진행하는 동안 1분동안 백오프 주기를 가질 수 있습니다.(로컬 머신에서 실패하든 어디서 실패하든 상관 없이 원격 서버 컴파일에 실패했을 경우 에서 백오프 주기를 설정합니다).

디렉터리로 들어가서 각각의 상황을 살펴보십시오. 다른 기록을 찾아보거나 작업 디렉터리에서 분명하게 명령을 호출하십시오.

쓸만한 다른 변수중에 DISTCC_SAVE_TEMPS 변수가 있습니다. 이 변수를 설정하면 포티지를 빌드할 때 나오는 표준 출력/표준 오류를 디렉터리에 파일로 저장합니다.

Failed to create directory /dev/null/.cache/ccache/tmp: Not a directory
This error can be discovered from the standard error output file in the server if you set DISTCC_SAVE_TEMPS. It only occurs when using with.

Likely, it is because CCACHE_DIR is not properly set, or not passed correctly to. will then default to as its cache folder. However, is run by  under user distcc, which is a non-login account. See systemd section and With ccache section for setting CCACHE_DIR.

Portage build failing with errors that are apparently not connected with distcc at all
When builds are failing with errors that do not seem to be connected to distcc, but the build works with FEATURES="-distcc", it has been reported that builds sometimes fail because of DISTCC_VERBOSE=1. Try the build with DISTCC_VERBOSE=0.

외부 자료

 * distcc에 맞게  옵션 넣기
 * distcc 홈페이지