Distcc

From Gentoo Wiki
Jump to: navigation, search
This page is a translated version of the page Distcc and the translation is 18% complete.

Outdated translations are marked like this.
Other languages:
Deutsch • ‎English • ‎Türkçe • ‎español • ‎français • ‎italiano • ‎polski • ‎русский • ‎中文(中国大陆)‎ • ‎日本語 • ‎한국어
Resources

Distcc, derleme görevlerini ağdaki istemcilere yayarak gerçekleştiren bir yazılımdır. Sunucu servisi distccd, istemci servisi distcc'dir. Ufak bir yapılandırma ile ccache, Portage ve Automake ile uyumlu şekilde çalışabilir.

Eğer distcc'yi yeni bir Gentoo kurulumunda (bootstrap) kullanmak istiyorsanız makalenin ilgili bölümünü okuduğunuza emin olun.

Kurulum

distcc'yi yapılandırmadan önce, tüm makinelere sys-devel/distcc paketini kuralım.

Tüm makinelerdeki gereksinimler

distcc'yi kullanabilmek için ağınızdaki tüm bilgisayarların birbirine yakın GCC sürümlerini kullanması gerekmektedir. Örneğin, 3.3.x (x değişebilir) sürümlerini birlikte kullanmanız problem oluşturmaz ancak 3.3.x ile 3.2.x sürümleri karıştığında derleme veya derlenmiş programların çalışması sırasında problem oluşabilir.

Verify that all systems use the same version of binutils (eselect binutils list) or many packages will fail linking with various errors like text relocation.

USE flags

USE flags for sys-devel/distcc Distribute compilation of C code across several machines on a network

gssapi Enable support for net-libs/libgssglue
hardened Activate default security enhancements for toolchain (gcc, glibc, binutils)
xinetd Add support for the xinetd super-server

Emerge

Distcc giden görevlerin gösterilmesi için bir arayüze sahip. Bu özelliği kullanmak istiyorsanız USE bayraklarınıza gtk eklediğinize emin olun.

USE yapılandırmasının ardından sys-devel/distcc kurulabilir:

root #emerge --ask distcc
Önemli
Dahil edeceğiniz tüm bilgisayarlarda sys-devel/distcc'yi kurmanız gerekmektedir.

Configuration

Service

distccd servisinin otomatik olarak başlaması için yapmanız gerekenler, kullandığınız init sistemine bağlı olarak, aşağıdaki gibidir.

OpenRC kullanıyorsanız

/etc/conf.d/distccd dosyasını ihtiyacınıza göre düzenleyin ve --allow izinlerini yalnızca güvendiğiniz istemcilere verin. Ek güvenlik önlemi olarak hangi istemcilerin dinleneceğini --listen ile belirleyebilirsiniz. Güvenlik kaygıları için lütfen Distcc güvenlik belgesini inceleyin.

Warning
Anyone who can connect to the distcc server port can run arbitrary commands on that machine as the distccd user.

Aşağıdaki örnek 192.168.0.4 ve 192.168.0.5 adreslerinde çalışan istemcilerin çalıştırdığımız distccd servisine erişebilmesine izin verir:

FILE /etc/conf.d/distccddistccd'ye bağlanabilmesi için istemcilerin seçimi
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distccd.log -N 15 --allow 192.168.0.4 --allow 192.168.0.5"
Önemli
--allow ve --listen'ın kullanımı önemlidir. Lütfen distccd yardım sayfalarını incelediğinize emin olun.

Şimdi dahil olan tüm bilgisayarlarda distccd servisini başlatalım:

root #rc-update add distccd default
root #rc-service distccd start

systemd kullanıyorsanız

/etc/systemd/system/distccd.service.d/00gentoo.conf dosyasını düzenleyin ve izin veirlen istemcileri CIDR formatina göre ekleyin. Örnek olarak:

FILE /etc/systemd/system/distccd.service.d/00gentoo.confALLOWED_SERVERS yapılandırması
Environment="ALLOWED_SERVERS=192.168.1.0/24"
Note
The name "ALLOWED_SERVERS" here is rather confusing as it refers to the clients that are allowed to connect to the local distccd server. Nevertheless, it is this variable which is used in the distccd service as value for the --allow option – see the /usr/lib/systemd/system/distccd.service file for additional information.

Değişikliğin ardından unit dosyalarını yeniden yüklemelisiniz:

root #systemctl daemon-reload

Açılışta distcc servisinin çalışmasını açıp, ardından servisi başlatın:

root #systemctl enable distccd
root #systemctl start distccd

Dahil olacak istemcileri belirleme

Katılacak istemcileri ayarlamak için distcc-config komutunu kullanabilirsiniz.

Aşağıdaki örnek istemci listesini inceleyin. Çoğu durumda 1. ve 2. satırların türevleri yeterli olmaktadır. 3. ve 4. satırlardaki kullanımın detayını distcc yardım sayfalarında bulabilirsiniz.

CODE İstemci tanımlarına örnekler
192.168.0.1          192.168.0.2                       192.168.0.3
192.168.0.1/2        192.168.0.2                       192.168.0.3/10
192.168.0.1:4000/2   192.168.0.2/1                     192.168.0.3:3632/4
@192.168.0.1         @192.168.0.2:/usr/bin/distccd     192.168.0.3

Daha farklı yöntemler kullanabilirsiniz. distcc yardım sayfalarına (man distcc) bakmanızı öneririz.

Bulunduğunuz bilgisayarı da derlemeye dahil etmek istiyorsanız listeye localhost da eklemeniz gerek. Yavaş bir bilgisayar ise, işlemin genelini yavaşlatacağı için bulundurmamayı seçebilirsiniz.

distcc'yi örneğin ilk satırında belirtilen bilgisayarları kullanacak şekilde yapılandıralım:

root #/usr/bin/distcc-config --set-hosts "192.168.0.1 192.168.0.2 192.168.0.3"

Distcc also supports a pump mode, by invoking the pump command. This may significantly reduce build time when multiple files are compiled in parallel. It caches preprocessed headers on the server side and, as a result, gets rid of repeated uploading and preprocessing of these header files.

To configure a host for pump mode, add the ,cpp,lzo suffix to the hosts definitions. Pump mode requires both cpp and lzo flags (regardless of the files being C or C++).

root #/usr/bin/distcc-config --set-hosts "192.168.0.1,cpp,lzo 192.168.0.2,cpp,lzo 192.168.0.3,cpp,lzo"

Usage

Portage'ı distcc ile kullanmak

Portage ile distcc kullanımı kolaydır. Yapmanız gereken distcc özelliğini açıp, aynı anda yapılacak işlem sayısını artırmaktan ibaret (çünkü distcc bize bu imkanı sağlıyor).

Ardından MAKEOPTS ve FEATURES değişkenlerini aşağıdaki gibi düzenlemeniz gerek.

Genel strateji şöyledir

  • N değerini toplam (sunucu+istemciler) CPU sayısının iki katına, ve
  • M değerini sunucudaki işlemcilerin sayısına ayarlayın

MAKEOPTS için yapılandırmanıza uygun bir değer kullanmalısınız. Distcc hostları erişilemez durumda veya paket yerel olarak derlenmeliyse (gcc gibi) -lM bayrağı eklemeniz çok fazla işlem üretilmesini engeller.

FILE /etc/portage/make.confMAKEOPTS ve FEATURES yapılandırması
# N ve M değerlerini önceden belirtilen hesaba göre düzenleyin
MAKEOPTS="-jN -lM"
FEATURES="distcc distcc-pump"
Warning
distcc-pump is known to break multiple packages in unpredictable ways. Do not ever use it system-wide. Bug reports filed with distcc-pump enabled may be rejected.

Örneğin distccd çalışan iki tane 4 çekirdekli işlemciye sahip bilgisayara sahipseniz ve sunucu çift çekirdekli ise, gerekli MAKEOPTS değişkeni şöyle olabilir:

FILE /etc/portage/make.confÇift çekirdekli sunucu ve 2 tane 4 çekirdekli istemci için MAKEOPTS örneği
# 4 çekirdekli 2 istemci = 8 çekirdek uzak
# 2 çekirdekli 1 sunucu = 2 çekirdek yerel
# Toplam sayı 10, yani N = 2*10+1 and M=2
MAKEOPTS="-j21 -l2"

CFLAGS and CXXFLAGS

make.conf dosyasını düzenlerken, CFLAGS veya CXXFLAGS içerisinde -march=native bulunmadığına dikkat edin. Eğer march değerinde native bulunuyorsa distccd kodu diğer sunuculara göndermeyecektir. Hedef için uygun -march= değeri şu komut ile bulunabilir:

user $gcc -v -E -x c -march=native -mtune=native - < /dev/null 2>&1 | grep cc1 | perl -pe 's/ -mno-\S+//g; s/^.* - //g;'

Daha fazla bilgi için Inlining -march=native for distcc sayfasına bakabilirsiniz.

A GCC bug has recently been fixed in the 8.0 dev tree which facilitates a more reliable and succinct mechanism for extrapolating appropriate machine flags. The fix has been backported to the 6 and 7 branches and should be released fairly soon. Some processing is still required and a script can be found in the distccflags repo, or via wget:

Warning
Downloading scripts and executing them without any validation is a security risk. Before executing such scripts, take a good look at what they want to accomplish and refrain from executing it when the content or behavior is not clear and purposeful.
user $chmod +x distccflags
user $./distccflags -march=native

Distcc'yi automake ile kullanmak

Bu işlem genelde Portage yapılandırmasından daha kolaydır. Yapmanız gereken şey PATH ortam değişkenine gcc'yi barındıran dizinden ( /usr/bin ) önce /usr/lib/distcc/bin eklemek. Ancak ccache kullanıyorsanız ccache bölümünün ardına yerleştirmeniz gerek:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Bu komutu kullanıcı bazlı ~/.bashrc veya global /etc/env.d/ gibi otomatik yüklenen bir dosyaya ekleyip her sisteme girdiğinizde çalışmasını sağlayabilirsiniz.

Ardından normalde make komutu ile iş yaparken, make -jN tarzında (buradaki N bir sayıdır) kullanabilirsiniz. N değeri ağınızın hızına ve işlemci sayınıza göre değişecektir. Size en uyumlu değeri bulmak için deneme yapmanızı tavsiye ederiz.

distcc'yi bootstrap ile (sıfır kurulumda) kullanmak

distcc'yi sıfır kurulumda kullanmak bazı ek adımlar gerektirir.

Adım 1: Portage'ı yapılandırın

Distcc'yi yapılandırmak için distcc-config --install komutunu çalıştırın. Aşağıdaki komutta host ile başlayan yerleri DistCC derlemesine katılan cihazların IP adresi veya hostname adresi ile değiştirin:

FILE /etc/portage/make.confPortage için distcc yapılandırması
FEATURES="distcc"
MAKEOPTS="-jN"

Kurulum oturumunda PATH değişkeninin de güncellenmesi gerekmekte:

root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Adım 2: Distcc kurulumu

sys-devel/distcc paketini kurun:

root #USE='-*' emerge --nodeps sys-devel/distcc

Adım 3: Distcc'yi yapılandırma

Distcc'yi yapılandırmak için distcc-config --install komutunu çalıştırın. Aşağıdaki komutta host ile başlayan yerleri DistCC derlemesine katılan cihazların IP adresi veya hostname adresi ile değiştirin:

root #/usr/bin/distcc-config --set-hosts "localhost host1 host2 host3 ..."

Distcc artık sıfırdan kuruluma hazır! Kuruluma devam edebilirsiniz. Ancak emerge @system komutunun ardından emerge distcc komutunu çalıştırıp tüm gerekli bağımlılıkların yüklendiğinden emin olun.

Not
emerge @system komutu ile paketler kurulurken bazne distcc çalışmıyor görülebilir. Bunun sebebi bazı paketlerin distcc ile kurulumu problemli olduğu için bu paketler için pasif konuma getirilmiş olmasıdır.

Distcc Ekstraları

Distcc uygulamasının bazı özellikleri ve yardımcı uygulamaları bulunmakta.

Distcc İzleme Araçları

Distcc iki tane izleme aracı ile gelmekte. Bunlardan metin tabanlı olanı distccmon-text. İlk kez kullanıyorsanız biraz kafa karıştırıcı olabilir ancak kullanımı kolaydır. Eğer herhangi bir parametre vermezseniz bir defa, herhangi bir numara -örneğin N- verirseniz her N saniyede bir çalışacaktır.

user $distccmon-text 10

Diğer izleme aracı da yalnızca gtk USE bayrağı açıksa kurulacaktır. GTK+ temelli, X ortamında çalışan sevimli bir uygulamadır. Gentoo'da, kafa karışıklığını önlemek için bu uygulamaya distccmon-gui (orijinal ismi distccmon-gnome'dur).

user $distccmon-gui

Portage'ın distcc kullanımını ölçmek için:

root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-text 10
root #DISTCC_DIR="/var/tmp/portage/.distcc/" distccmon-gui
Önemli
Eğer distcc dizini farklı yerde ise, DISTCC_DIR değişkenini ayarlamayı unutmayın.

DISTCC_DIR değişkenini ortam değişkenleriyle ayarlamak için bir ipucu:

root #echo 'DISTCC_DIR="/var/tmp/portage/.distcc/"' >> /etc/env.d/02distcc

Ardından ortam değişkenlerini güncelleyin:

root #env-update
root #source /etc/profile

Ardından grafiksel uygulamayı başlatabilirsiniz:

root #distccmon-gui

İletişimde SSH kullanılması

Cross-Compiling (Çapraz derleme)

Cross-compiling (çapraz derleme), derleme işlemini kullandığınız işlemci mimarisinden farklı bir mimaride çalışması için yaptığınız duruma verilen addır. Yani Athlon (i686) işlemci ile K6-2 (i586) için veya Sparc işlemci ile ppc için derleme yapmak gibi. Bu konuya Distcc/Cross-Compiling|DistCC Cross-compiling Belgesinde]] değinilmiştir.

Distcc'yi Kurulum (Bootstrap) için Kullanmak

Adım 1: Portage'ı Yapılandırın

Send the public key to each compilation node:

root #ssh-copy-id -i /var/tmp/portage/.ssh/id_rsa.pub UserName@CompilationNode

Yeni bilgisayarı Gentoo Linux CD'si ile başlatıp kurulum dökümanlarındaki adımlardan bootstrap'a kadar gelin. (Bootstrap için detaylı bilgiyi buradan bulabilirsiniz.) Ardından portage'ı distcc kullanmak için yapılandırın:

root #ssh-keyscan -t rsa <compilation-node-1> <compilation-node-2> [...] > /var/tmp/portage/.ssh/known_hosts

Fix the file ownership as follows:

root #chown -R portage:portage /var/tmp/portage/.ssh/

To set up the hosts test1 and test2, run:

root #nano -w /etc/portage/make.conf
FEATURES="distcc"
MAKEOPTS="-jN"
root #export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Finally, tell distcc which SSH binary to use:

FILE /etc/portage/make.conf
DISTCC_SSH="ssh"

It is not necessary to run the distccd initscript on the hosts when distcc communicates via SSH.

Testing

To test distcc, write a simple Hello distcc program and run distcc in verbose mode to see if it communicates properly.

FILE main.c
#include <stdio.h>
 
int main() {
    printf("Hello distcc!\n");
    return 0;
}

Next, turn on verbose mode, compile the program using distcc and link the generated object file into an executable:

user $export DISTCC_VERBOSE=1
user $distcc gcc -c main.c -o main.o # or 'pump distcc <...>'
user $gcc main.o -o main
Note
Replace distcc command with pump distcc for use pump mode.

There should be a bunch of output about distcc finding its configuration, selecting the host to connect to, starting to connect to it, and ultimately compile main.c. If the output does not list the desired distcc hosts, check the configuration.

Finally, ensure the compiled program works properly. To test each host, enumerate each compile host in the hosts file.

user $./main
Hello distcc!
Önemli
Bunu yapmak Portage'ın davranışını değiştireceğinden garip sorunlara yol açabilir. Yalnıca farklı CHOST değerlerini karıştırıyorsanız bu yöntemi kullanın.


If a problem occurs while using distcc, then this section might help in resolving the problem.

ERROR: failed to open /var/log/distccd.log

As of January 22nd, 2015 emerging fails to create the proper distccd.log file in /var/log/. This apparently only effects version 3.1-r8 of distcc. This bug is in the process of being corrected (see bug #477630). It is possible to work around this by manually creating the log file, giving it proper ownership, and restarting the distccd daemon:

root #mkdir -p /var/log/distcc
root #touch /var/log/distcc/distccd.log
root #chown distcc:daemon /var/log/distcc/distccd.log

Next update the /var/log path of the distccd configuration file in /etc/conf.d/distccd to the distcc directory created in the step before:

FILE /etc/conf.d/distccdUpdating log path
DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distcc/distccd.log -N 15

Finally, restart the distccd service:

root #/etc/init.d/distccd restart

-march=native

GCC 4.3.0 sürümünden itibaren derleyici -march=native parametresi ile işlemcinizin türünü ve kullanılması gereken derleme seçeneklerini otomatik olarak tanımlayabiliyor. Bu durum distcc gibi farklı işlemcileri aynı anda kullanan bir sistem için problem oluşturmakta. Bu sebeple distcc kullanırken CFLAGS veya CXXFLAGS değerlerinizde -march=native or -mtune=native kullanmayın.

Distcc Ekstraları

Distcc İzleme Araçları

Distcc iki tane izleme aracı ile gelmekte. Bunlardan metin tabanlı olanı distccmon-text. İlk kez kullanıyorsanız biraz kafa karıştırıcı olabilir ancak kullanımı kolaydır. Eğer herhangi bir parametre vermezseniz bir defa, herhangi bir numara -örneğin N- verirseniz her N saniyede bir çalışacaktır.

Diğer izleme aracı da USE bayraklarınızda gtk veya gnome açık durumda ise derlenecek olan, GTK+ temelli grafiksel arayüzdür. Diğer dağıtımlarda genellikle distccmon-gnome ismiyle bilinen bu arayüz Gentoo'da karışıklığa sebep olmamak için distccmon-gui ismindedir.

root #export CC='gcc' CXX='c++'

It is also possible to set the CC and CXX variables in /etc/portage/make.conf to the values list in the command above.

root #distccmon-text N
Note
Having the right version of gcc as a slot on a server isn’t enough. Portage uses distcc as a replacement for the compiler referenced by the CHOST variable (i.e. x86_64-pc-linux-gnu) and distccd invokes it by exactly same name. The right version of gcc should be a default system’s compiler on all involved compilation hosts.

veya distccmon-gui için:

root #distccmon-gui

Heed the following warning:

Warning
Do not use -march=native or -mtune=native in the CFLAGS or CXXFLAGS variables of make.conf when compiling with distcc.

See the CFLAGS and CXXFLAGS section and Inlining -march=native for distcc for more information.

Get more output from emerge logs

It is possible to obtain more logging by enabling verbose mode. This is accomplished by adding DISTCC_VERBOSE to /etc/portage/bashrc:

FILE /etc/portage/bashrcEnabling verbose logging
export DISTCC_VERBOSE=1

The verbose logging can then be found in /var/tmp/portage/$CATEGORY/$PF/temp/build.log.

Keep in mind that the first distcc invocation visible in build.log isn’t necessary the first distcc call during a build process. For example a build server can get a one-minute backoff period during the configuration stage when some checks are performed using a compiler (distcc sets a backoff period when compilation on a remote server failed, it doesn’t matter whether it failed on local machine or not).

Dig into the /var/tmp/portage/$CATEGORY/$PF/work/ directory to investigate such situations. Find other logs, or call make explicitly from within the working directory.

Another interesting variable to use is DISTCC_SAVE_TEMPS. When set, it saves the standard output/error from a remote compiler which, for Portage builds, results in files in the /var/tmp/portage/$CATEGORY/$PF/temp/ directory.

FILE /etc/portage/bashrcSaving temporary output
export DISTCC_SAVE_TEMPS=1

Adım 2: Distcc Kurulumu

Distcc'yi kurun:

External resources


This page is based on a document formerly found on our main website gentoo.org.
The following people contributed to the original document: Lisa Seelye, Mike Gilbert (floppym), Erwin, Sven Vermeulen (SwifT), Lars Weiler, Tiemo Kieft, and
They are listed here because wiki history does not allow for any external attribution. If you edit the wiki article, please do not add yourself here; your contributions are recorded on each article's associated history page.