Distcc/ko

distcc 는 네트워크를 통해 호스트가 참여하여 분산 컴파일 작업을 수행하도록 설계한 프로그램입니다. 서버와 클라이언트로 구성되어 있습니다. distcc는 ccache, 포티지en, 약간의 설정 과정을 거치는 automake로 감쪽같이 처리할 수 있습니다.

젠투 설치 초기에 도움을 받으려 를 사용한다면, 부트스트랩 과정에 distcc 사용 섹션을 읽어보십시오.

설치
를 설정하기 전, 우선 모든 호스트에 대한 꾸러미 설치 과정을 살펴보겠습니다.

모든 호스트에 대한 의존성
를 사용하려면 네트워크상의 모든 컴퓨터에 같은 gcc 버전이 있어야 합니다. 예를 들어 3.3.x(x는 바뀔 수 있음)는 괜찮지만 3.3.x와 3.2.x를 같이 사용하면, 컴파일 오류 또는 실행시간 오류가 나타날지도 모릅니다.

프로그램 설치
distcc에는 컴파일 작업을 보내는 컴퓨터의 작업을 지켜볼 때 사용하는 그래픽 감시 프로그램이 있습니다. 이 감시 프로그램은  USE 플래그를 설정했을 때 쓸 수 있습니다.

USE 플래그 설정 후, 꾸러미를 설치하십시오:

distcc 데몬 자동 시작
를 자동으로 시작하려면 사용하는 초기화 시스템에 따라 다음 절차를 진행하십시오.

OpenRC 사용
를 편집하고 신뢰하는 클라이언트만 허용하도록  지시자를 설정하였는지 확인하십시오. 보안성을 강화하기 위해, 여러분은 데몬이 어떤 (사방에 있는 시스템들의) IP로 수신받고 있는지 알려줄   지시자를 사용할 수 있습니다. 보안에 대한 더 많은 정보는 distcc 보안 기록에서 찾을 수 있습니다.

다음 예제에서는 와   주소에서 동작하는 distcc 클라언트에서 근접 네트워크 영역에서 동작하는  서버에 접속할 수 있도록합니다:

이제 데몬을 모든 참여 머신에서 시작하십시오:

systemd 사용
설정 파일을 편집하고 CIDR형식의 주소로 허용 클라이언트를 추가하십시오. 예제는 다음과 같습니다:

설정을 바꾸었다면 유닛 파일을 다시 읽으십시오:

자동 시작을 활성화한 후 서비스를 시작하십시오:

설정
설정을 살펴보기로 하겠습니다.

참여 호스트 지정
호스트의 목록을 설정하려면 명령을 사용하십시오.

다음 예제는 호스트 정의 목록의 예제입니다. 대부분 첫번째 두번째 값을 약간 바꾸는걸로 충분합니다. 후자의 경우는 이 노드에서 컴파일 작업을 실행할 최대 작업량을 에 알리는  문구를 사용합니다. 세번째 네번째 줄에서 사용하는 문법 내용은 distcc 설명서 페이지en 에서 찾아볼 수 있습니다.

호스트를 설정하는데 다른 여러가지 방법도 있습니다. 자세한 내용은 맨 페이지를 보십시오.

만약 로컬 머신에서도 컴파일해야한다면 호스트 목록에 를 추가해야 합니다. 반대로 로컬 머신을 컴파일할 때 활용하지 않으면 호스트 목록에서 생략해야 합니다. 느린 장치에서 로컬호스트를 사용하는 것은 실제로 컴파일을 느리게 만듭니다. 성능을 위해 설정을 시험하여 확인하십시오.

앞의 예제의 첫 줄에 언급한 호스트를 사용하도록 를 설정해보겠습니다:

distcc에서는  명령을 통해 "pump" 모드를 지원합니다. 여러 파일을 동시에 컴파일 할 때 빌드 시간을 획기적으로 줄여줍니다. 서버측에서 우선 처리한 헤더를 캐싱하여, 헤더 파일 우선 처리 반복 과정을 없애줍니다.

To configure a host for pump mode, add the  suffix to the hosts definitions. Pump mode requires both  and   flags (regardless of the files being C or C++).

포티지와 distcc 사용
포티지en 가 를 사용하도록 설정하는 건 쉽습니다. 기능을 활성화하고 동시 빌드 작업 수의 값을 적절하게 설정(하여 빌드 자원을 증가)하면 됩니다.

다음, MAKEOPTS 변수와 FEATURES 변수를 아래처럼 설정하십시오.

일반적인 전략은
 * CPU 코어 전체(로컬+원격)갯수의 2배수 + 1을  값으로 설정
 * 로컬 CPU 코어의 갯수를 으로 설정하는 것입니다.

클러스터 호스트(다른 시스템에서 동시 컴파일 작업 수를 늘려줌)가 없거나, 원격 빌드를 허용하지 않도록 ebuild를 설정하여 로컬에서만 컴파일(gcc)해야 한다면,  플래그를 적용하여 과도한 작업을 분담하지 않도록 막으십시오. 시스템 부하가 값에 근접하거나 넘어서는 경우 추가 작업 시작을 거절할 수 있습니다.

예컨대, 를 실행 중인 두 대의 쿼드코어 호스트 PC에 듀얼 코어 CPU를 붙인 로컬 PC를 연결했다면, MAKEOPTS 변수값을 다음과 같이 설정할 수 있습니다:

파일을 편집할 때 CFLAGS 또는 CXXFLAGS 변수에 가 없는지 확인하십시오. 값을 로 설정하면 는 다른 머신에 처리 결과물을 배포할 수 없습니다. 적당한 값은 다음 명령을 실행하여 가져올 수 있습니다.

더 많은 내용은 distcc에 맞게  옵션 넣기를 살펴보십시오.

automake와 distcc 사용
어쩌면 이 방법은 포티지 설정보다 쉽습니다. 여러분은 여러분의 PATH 변수에 가 있는 디렉터리앞에 을 넣어 업데이트 하면 됩니다. 하지만, 여기서 주의할 점이 있습니다. 만약 여러분이 를 사용한다면 여러분들은 다음에 의 위치를 지정해야 합니다:

사용자의 파일 또는 사용자 로그인시 매번 PATH 를 설정할 비슷한 파일에 이 값을 추가하거나,  파일에 전역 값으로 설정하십시오.

라고 입력하는 대신, ( 은 정수형 숫자)을 추가하십시오. 값은 여러분의 네트워크와 여러분이 컴파일에 사용하는 컴퓨터의 형식에 달려있습니다. 이 글 초반부에 제대로된 값을 직접 찾아보는 방법을 언급했습니다.

부트스트랩 과정에 distcc 사용
부트 스트랩 과정에서 를 사용할 때는 추가 과정을 거쳐야합니다.

1단계: 포티지 설정
젠투리눅스 LiveCD가 들어간 새 컴퓨터를 부팅하고 부트스트랩 부분까지 설치 과정을 따라하십시오(부트스트랩에 대한 더 많은 정보를 얻고자 하신다면 젠투 FAQ를 보십시오). 다음 를 사용하도록 포티지를 설정하십시오:

마찬가지로 설치 세션에서  변수를 업데이트하십시오:

2단계: distcc 가져오기
를 설치하십시오:

3단계: distcc 설정
distcc를 설정하려면 을 실행하십시오. 예제의  부분을 참여하는 distcc 노드의 IP 주소 또는 호스트 이름으로 바꾸십시오.

이제 distcc 부트스트랩을 설정했습니다! 적당한 설치 절차를 따르시고, 을 실행한 후 를 잊지 마십시오. 이 절차는 필요한 모든 의존성을 설치했는지 확인하는 과정입니다.

추가 distcc 요소
프로그램에는 환경에서 동작할 추가 기능과 추가 프로그램이 있습니다.

distcc 감시 프로그램
distcc에는 두 가지 감시 프로그램이 들어있습니다. 항상 빌드하는 텍스트 기반 프로그램을 라고 합니다. 처음 실행하는게 약간 혼동스러울 수도 있지만, 사용 방법은 아주 쉽습니다. 프로그램을 아무런 매개 변수없이 실행하면 단 한번만 실행합니다. 하지만, 숫자를 전달하면 매 초마다 업데이트 합니다. 여기에서 은 여러분이 전달한 숫자 인자입니다.

다른 감시 유틸리티는 를 USE 플래그로 설정했을 때만 실행할 수 있습니다. GTK+ 기반의 프로그램이며, X 환경에서 구동되고 정말 사랑스럽습니다 *-_-*. 젠투에서의 GUI 감시 프로그램은 혼동을 피하기 위해 로 이름을 바꾸었습니다(보통 이라고 합니다).

포티지의 사용 상태를 감시하려면:

DISTCC_DIR 환경 변수를 설정하는 꼼수를 진행하십시오:

이제 환경을 업데이트하십시오:

마지막으로, GUI 프로그램을 시작하십시오:

distcc 통신 용도로 ssh 사용
ssh를 통한 distcc 설정에 몇가지 함정이 있습니다. 먼저 암호 설정을 뺀 상태의 SSH 키 쌍을 만들어야 합니다. 사용자가 포티지로 프로그램을 컴파일 함을 잊지 마십시오. 사용자 폴더는 이며 ssh 키를 에 저장해야 함을 의미합니다.

두번째로, SSH 설정 파일에 각 호스트에 대한 섹션을 만드십시오:

각 컴파일 노드에 공개키를 보내십시오:

또한 각 호스트에 파일이 있는지 확인하십시오:

다음과 같이 소유권을 수정하십시오:

과  호스트를 설정하려면 다음 명령을 실행하십시오:

기호는 distcc용 ssh 호스트를 지정할 때 사용하는 기호임을 참고하십시오.

마지막으로, 어떤 SSH 바이너리를 활용할지 에 알리십시오:

가 SSH로 통신하면, 호스트에서 초기화 스크립트를 실행할 필요가 없습니다.

Testing
To test, write a simple Hello distcc program and run in verbose mode to see if it communicates properly.

Next, turn on verbose mode, compile the program using and link the generated object file into an executable:

There should be a bunch of output about finding its configuration, selecting the host to connect to, starting to connect to it, and ultimately compile. If the output does not list the desired hosts, check the configuration.

Finally, ensure the compiled program works properly. To test each host, enumerate each compile host in the hosts file.

문제 해결
를 사용하는 동안 문제가 발한다면, 이 부분이 문제를 해결하는데 도움이 될 것입니다.

ERROR: failed to open
2015년 1월 22일 이머징 과정에서 에 올바른 파일을 만드는 과정에 실패했습니다. distcc 3.1-r8 버전에만 영향을 받는 것 같습니다. 이 버그( 참고)는 (현재 2015년 11월 14일에도 여전히)수정중입니다. 직접 로그 파일을 만들고, 적당한 소유권을 부여한 다음 distccd 데몬을 다시 시작하면 문제를 피해갈 수 있습니다:

다음, 의 설정 파일 경로인  디렉터리를 이전 단계에서 만든  디렉터리로 업데이트하십시오:

마지막으로 distccd 서비스를 다시 시작하십시오:

일부 꾸러미가 distcc를 활용하지 않음
다양한 꾸러미를 emerge 할 때, 꾸러미 일부를 분산처리하지 않는다는 점(그리고 병렬로 빌드하지 않는다는 점)을 주의하셔야 합니다. 이것은 꾸러미의 이 병렬 처리를 지원하지 않거나 ebuild의 관리자가 알려진 문제점때문에 확실하게 병렬 처리를 사용하지 않도록 했기 때문입니다.

때론 가 컴파일의 실패 요인이기도 합니다. 이런 일이 일어난다면, 저희에게 알려주십시오.

혼합 GCC 버전
각각의 환경에서 다른 GCC 버전을 사용하면, 이상한 문제가 생길 수 있습니다. 해결 방법은 모든 호스트의 GCC 버전을 같게 하는 것입니다.

최근 포티지에서는  대신  (마이너스 gcc)를 사용하도록 업데이트 했습니다. 이는 i686 머신을 다른 형식(i386, i586)의 머신과 혼용해서 사용한다면, 빌드한 결과에 문제가 생김을 의미합니다:

위 명령처럼 에  CC 변수와 CXX 변수 값을 넣을 수 있습니다.

-march=native
GCC 4.3.0부터, GCC가 동작하는 프로세서에서 CPU 자동 감지 및 최적화를 활성화하는  스위치를 지원합니다. 를 사용할 때, 다른 프로세서에 대한 최적화 코드를 뒤섞는 일이 발생하므로 문제가 생길 수 있습니다. 예를 들어, AMD 애슬론 프로세서 시스템에서 에  옵션을 넣어 실행하고 인텔 펜티엄 프로세서가 붙은 다른 시스템에서 똑같이 실행하면 두 시스템에서 코드가 뒤섞입니다.

다음 경고에 주의하십시오:

GCC를 로 호출할 때 사용하는 플래그를 알아보려면 다음 명령을 실행하십시오:

Get more output from emerge logs
It is possible to obtain more logging by enabling verbose mode. This is accomplished by adding DISTCC_VERBOSE to :

The verbose logging can then be found in.

Keep in mind that the first invocation visible in  isn’t necessary the first  call during a build process. For example a build server can get a one-minute backoff period during the configuration stage when some checks are performed using a compiler ( sets a backoff period when compilation on a remote server failed, it doesn’t matter whether it failed on local machine or not).

Dig into the directory to investigate such situations. Find other logs, or call explicitly from within the working directory.

Another interesting variable to use is DISTCC_SAVE_TEMPS. When set, it saves the standard output/error from a remote compiler which, for Portage builds, results in files in the directory.

추가 참조

 * DistCC 크로스 컴파일 안내서에서는 어떤 아키텍처에서 다른 아키텍처를 대상으로 를 통해 프로그램을 빌드하는 방법을 설명합니다. 이 과정은 Athlon (i686)에서 K6-2 (i586) 용 프로그램을 빌드하거나 SPARC에서 PowerPC용 프로그램을 빌드하는 것 만큼 간단할 수 있습니다.

외부 자료

 * distcc에 맞게  옵션 넣기
 * distcc 홈페이지