バイナリーパッケージガイド

From Gentoo Wiki
Jump to: navigation, search
This page is a translated version of the page Binary package guide and the translation is 38% complete.

Other languages:
Deutsch • ‎English • ‎español • ‎日本語 • ‎한국어 • ‎русский • ‎中文(中国大陆)‎

Portage は、通常の ebuild のほかに、バイナリーパッケージの作成とインストールにも対応しています。 このガイドでは、バイナリーパッケージの作成方法、インストール方法、バイナリーパッケージサーバーのセットアップ方法について説明します。

はじめに

いくつかのシステム管理者はGentooでバイナリパッケージのインストールを使用するのに多くの理由があります。

  1. まず第一に、管理者が複数の同様のシステムを更新された状態に維持することが可能になります。 ソースからすべてをコンパイルする必要があるのは、時間の浪費になりえます。 もし、ただひとつのシステムですべてをコンパイルして他のシステムでバイナリパッケージを再利用できれば、いくつかの似たようなシステム(そのうちいくらかには古いハードウェアがあるかもしれません)を管理するのはとても楽になるでしょう。
  2. 第二の理由は、安全な更新を行うことです。 ミッションクリティカルなシステムのためには、使用可能な状態で可能な限りありつづけることが重要です。 これは、すべての更新を一番最初に自分自身に行うステージングサーバーによって実現できます。 ステージングサーバが良好な状態になると、その次に更新が重要なシステムに適用することができます。 このアプローチの変化形として、同じシステムのchroot環境で更新を行い、そこで作成されたバイナリを実際のシステムで用いるという方法もあります。
  3. 第三の理由は、バックアップとしてです。 多くの場合、バイナリパッケージが壊れたシステム(すなわち、壊れたコンパイラ)を回復する唯一の方法です。 事前にコンパイルされたバイナリをバイナリパッケージサーバ上やローカルで持つことは、ツールチェーンが壊れた場合には大きな助けになるでしょう。
  4. 最後に、非常に古いシステムを更新する助けにもなります。 非常に古いシステムを更新する作業は、バイナリパッケージを使用することで大幅に楽になります。 バイナリパッケージではビルド時の依存関係を更新/インストールする必要がないので、通常は古いシステムにバイナリパッケージをインストールするのは助けになります。 また、バイナリパッケージは事前にコンパイルされているので、ビルド工程での失敗も避けられます。

このガイドでは、次のトピックに焦点を当てます。:

  • バイナリパッケージの作成方法;
  • バイナリパッケージのクライアントへの配信方法;
  • バイナリパッケージの使用方法;
  • バイナリパッケージの管理方法.

最後に、バイナリパッケージの扱い方に関するいくつかの高度な話題を扱います。

Note
このガイドで使用するツールは、特に断りがなければ、すべてsys-apps/portageに含まれます。

バイナリパッケージを作成する

バイナリパッケージを作成する主な方法は3つあります:

  1. 通常のインストール後、 quickpkgのアプリケーションを使用する
  2. emerge時に--buildpkg (-b)オプションを明示する
  3. Portageの機能としてbuildpkgを自動的に使用する

これらの三つの方法のうちいずれをとってもPKGDIR変数よって指定されるディレクトリにバイナリパッケージが作成されます。 (デフォルトでは/usr/portage/packagesです)

quickpkg を利用する

quickpkgは一つ以上のdependency atom (あるいはパッケージセット)を取り、そのatomと一致するインストールされたパッケージに対するバイナリパッケージを作成します。

例えば、すべてのインストールされたGCCのバージョンのバイナリパッケージを作るには

root #quickpkg sys-devel/gcc

システム上のインストールされたすべてのパッケージに対して場なりパッケージを作成する場合は、* globを以下のように使います:

root #quickpkg "*/*"

この方法には注意すべき点があります。それは、インストールされたファイルを元にしてバイナリパッケージが作成され、コンフィグファイルをパッケージに含める際に問題となるかもしれないことです。システム管理者はパッケージをインストールした後にコンフィグファイルを編集することがあります。重要な(、ひょっとしたら機密の)情報の漏洩を防止する観点から、quickpkgはデフォルトではCONFIG_PROTECTによって保護さされたコンフィグファイルをバイナリパッケージに含めません。これらのコンフィグファイルを含めるには、--include-config or --include-unmodified-config オプションを使用してください。

emerge のオプションに --buildpkg を使用する

emergeでソフトウェアをインストールするときに、 Portageに--buildpkg (-b)オプションを通すことによってバイナリパッケージを同時に作成することもできますː

root #emerge --ask --buildpkg sys-devel/gcc

システムにはソフトウェアをインストールせずに、バイナリパッケージのみを作成することもできます。この場合は--buildpkgonly (-B)オプションを通してください:

root #emerge --ask --buildpkgonly sys-devel/gcc

The latter approach however requires all build time dependencies to be previously installed.

Implementing buildpkg as a Portage feature

The most common way to automatically create binary packages whenever a package is installed by Portage is to use the buildpkg feature, which can be set in /etc/portage/make.conf like so:

FILE /etc/portage/make.confEnabling Portage's buildpkg feature
FEATURES="buildpkg"

この機能を有効にすると、Portageがソフトウェアをインストールするたびに、同様にバイナリパッケージも作成します。

Excluding creation of some packages

It is possible to tell Portage not to create binary packages for a select few packages or categories. This is done by passing the --buildpkg-exclude option to emerge:

root #emerge -uDN @world --buildpkg --buildpkg-exclude "virtual/* sys-kernel/*-sources"

This could be used for packages that have little to no benefit in having a binary package available. Examples would be the Linux kernel source packages or upstream binary packages (those ending with -bin like www-client/firefox-bin).

Setting up a binary package host

Portage supports a number of protocols for downloading binary packages: FTP, FTPS, HTTP, HTTPS and SSH. This leaves room for many possible binary package host implementations.

There is, however, no "out-of-the-box" method provided by Portage for distributing binary packages. Depending on the desired setup additional software will need to be installed.

Web based binary package host

A common approach for distributing binary packages is to create a web-based binary package host.

Use a web server such as lighttpd (www-servers/lighttpd) and configure it to provide read access to /etc/portage/make.conf's PKGDIR location.

FILE /etc/lighttpd/lighttpd.conflighttpd の設定例
# add this to the end of the standard configuration
server.modules += ( "mod_alias" )
alias.url = ( "/packages" => "/usr/portage/packages/" )

Then, on the client systems, configure the PORTAGE_BINHOST variable accordingly:

FILE /etc/portage/make.confUsing a web-based binary package host
PORTAGE_BINHOST="http://binhost.example.com/packages"

SSH binary package host

To provide a more authenticated approach for binary packages, one can consider using SSH.

When using SSH, it is possible to use the Portage Linux user's SSH key (without passphrase as the installations need to happen in the background) to connect to a remote binary package host.

To accomplish this, make sure that the Portage user's SSH key is allowed on the server. This will need to happen for each machine that will connect to the SSH capable binary host:

root #cat portage.id_rsa.pub >> /home/binpkguser/.ssh/authorized_keys

The PORTAGE_BINHOST variable could then look like so:

FILE /etc/portage/make.confSetting up PORTAGE_BINHOST for SSH access
PORTAGE_BINHOST="ssh://binpkguser@binhostserver/usr/portage/packages"
Note
Don't use ssh's config in ~/.ssh/config for setting ports or username as it'll be ignored when portage tries to rsync the packages back onto the client. Instead set all the options correctly in the PORTAGE_BINHOST variable.

NFS exported

When using binary packages on an internal network, it might be easier to export the packages through NFS and mount it on the clients.

The /etc/exports file could look like so:

FILE /etc/exportsパッケージのディレクトリをエクスポート
/usr/portage/packages                            2001:db8:81:e2::/48(ro,no_subtree_check,root_squash) 192.168.100.1/24(ro,no_subtree_check,root_squash)

On the clients, the location can then be mounted. An example /etc/fstab entry would look like so:

FILE /etc/fstabEntry for mounting the packages folder
binhost:/usr/portage/packages      /usr/portage/packages    nfs    defaults    0 0

バイナリーパッケージを使用する

For binary packages to be usable on other systems they must fulfill some requirements:

  • The client and server architecture and CHOST must match.
  • The CFLAGS and CXXFLAGS variables used to build the binary packages must be compatible with all clients.
  • USE flags for processor specific features (like MMX, SSE,...) have to be carefully selected; all clients need to support them.
Important
Portage can not validate if these requirements match. It is the responsibility of the system administrator to guard these settings.

Next to these, Portage will check if the binary package is built using the same USE flags as expected on the client. If a package is built with a different USE flag combination, Portage will either ignore the binary package (and use source-based build) or fail, depending on the options passed to the emerge command upon invocation (see Installing binary packages).

On clients, a few configuration changes are needed in order for the binary packages to be used.

バイナリーパッケージをインストールする

There are a few options that can be passed on to the emerge command that inform Portage about using binary packages:

Option Description
--usepkg (-k) Tries to use the binary package(s) in the locally available packages directory. Useful when using NFS or SSHFS mounted binary package hosts. If the binary packages are not found, a regular (source-based) installation will be performed.
--usepkgonly (-K) Similar to --usepkg (-k) but fail if the binary package cannot be found. This option is useful if only pre-built binary packages are to be used.
--getbinpkg (-g) Download the binary package(s) from a remote binary package host. If the binary packages are not found, a regular (source-based) installation will be performed.
--getbinpkgonly (-G) Similar to --getbinpkg (-g) but will fail if the binary package(s) cannot be downloaded. This option is useful if only pre-built binary packages are to be used.

In order to automatically use binary package installations, the appropriate option can be added to the EMERGE_DEFAULT_OPTS variable:

FILE /etc/portage/make.confAutomatically fetching binary packages and fail if not available
EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --getbinpkgonly"

There is a Portage feature that automatically implements the equivalent of --getbinpkg (-g) without the need for updating the EMERGE_DEFAULT_OPTS variable: getbinpkg

FILE /etc/portage/make.confEnabling getbinpkg as Portage feature
FEATURES="getbinpkg"

Pulling packages from a binary package host

When using a binary package host, clients need to have the PORTAGE_BINHOST variable set. Otherwise the client will not know where the binary packages are stored which results in Portage being unable to retrieve them.

FILE /etc/portage/make.confSetting PORTAGE_BINHOST
PORTAGE_BINHOST="http://binhost.example.com/packages"

The PORTAGE_BINHOST variable uses a space-separated list of URIs. This allows administrators to use several binary package servers simultaneously. The URI must always point to the directory in which the Packages file resides.

Note
The support for multiple binary package servers is somewhat incomplete. If several servers serve a binary package for the same package version, then only the first one will be considered. This can be problematic when these binary packages differ in their USE variable configuration and the USE variable configuration of a later binary package would match the systems configuration.

改変したバイナリーパッケージを再インストールする

Passing the --rebuilt-binaries option to emerge will reinstall every binary that has been rebuilt since the package was installed. This is useful in case rebuilding tools like revdep-rebuild or python-updater are run on the binary package server.

A related option is --rebuilt-binaries-timestamp. It causes emerge not to consider binary packages for a re-install if those binary packages have been built before the given time stamp. This is useful to avoid re-installing all packages, if the binary package server had to be rebuild from scratch but --rebuilt-binaries is used otherwise.

Additional client settings

Next to the getbinpkg feature, Portage also listens to the binpkg-logs feature. This one controls if log files for successful binary package installations should be kept. It is only relevant if the PORT_LOGDIR variable has been set and is enabled by default.

Similar to excluding binary packages for a certain set of packages or categories, clients can be configured to exclude binary package installations for a certain set of packages or categories.

To accomplish this, use the --usepkg-exclude option:

root #emerge -uDNg @world --usepkg-exclude "sys-kernel/gentoo-sources virtual/*"

バイナリーパッケージを管理する

Exporting and distributing the binary packages will lead to useless storage consumption if the binary package list is not actively maintained.

不用なバイナリーパッケージを削除する

In the app-portage/gentoolkit package an application called eclean is provided. It allows for maintaining Portage-related variable files, such as downloaded source code files, but also binary packages.

The following command will remove all binary packages that have no corresponding ebuild:

root #eclean packages

詳細は Eclean の記事を読んでください。

Another tool that can be used is the qpkg tool from the app-portage/portage-utils package. However, this tool is a bit less configurable.

To clean up unused binary packages (in the sense of used by the server on which the binary packages are stored):

root #qpkg -c

Packages のファイルを管理する

Inside the packages directory, a file called Packages exists. This file acts as a cache for the metadata of all binary packages in the packages directory. The file is updated whenever Portage adds a binary package to the directory. Similarly, eclean updates it when it removes binary packages.

If for some reason binary packages are simply deleted or copied into the packages directory, or the Packages file gets corrupted or deleted, then it must be recreated. This is done using emaint command:

root #emaint binhost --fix

Advanced topics

Creating snapshots of the packages directory

When deploying binary packages for a large number of client systems it might become worthwhile to create snapshots of the packages directory. The client systems then do not use the packages directory directly but use binary packages from the snapshot.

Snapshots can be created using the /usr/lib64/portage/python2.7/binhost-snapshot or /usr/lib64/portage/python3.3/binhost-snapshot tool. It takes four arguments:

  1. A source directory (the path to the packages directory).
  2. A target directory (that must not exist).
  3. A URI.
  4. A binary package server directory.

The files from the package directory are copied to the target directory. A Packages file is then created inside the binary package server directory (fourth argument) with the provided URI.

Client systems need to use an URI that points to the binary package server directory. From there they will be redirected to the URI that was given to binhost-snapshot. This URI has to refer to the target directory.

Understanding the binary package format

Binary packages created by Portage have the file name ending with .tbz2. These files consist of two parts:

  1. A .tar.bz2 archive containing the files that will be installed on the system.
  2. A xpak archive containing package metadata, the ebuild, and the environment file.

See man xpak for a description of the format.

In app-portage/portage-utils some tools exists that are able to split or create tbz2 and xpak files.

The following command will split the tbz2 into a .tar.bz2 and an .xpak file:

user $qtbz2 -s <package>.tbz2

The .xpak file can be examined using the qxpak utility.

To list the contents:

user $qxpak -l <package>.xpak

The next command will extract a file called USE which contains the enabled USE flags for this package:

user $qxpak -x package-manager-0.xpak USE

PKGDIR の構成

The currently used format version 2 has the following layout:

CODE Packages directory layout (version 2)
PKGDIR
`+- Packages
 +- app-accessibility/
 |  +- pkg1-version.tbz2
 |  `- pkgN-version.tbz2
 +- app-admin/
 |  `- ...
 `- ...

The Packages file is the major improvement (and also the trigger for Portage to know that the binary package directory uses version 2) over the first binary package directory layout (version 1). In version 1, all binary packages were also hosted inside a single directory (called All/) and the category directories only had symbolic links to the binary packages inside the All/ directory.

quickunpkg を用いて展開する

Zoobab wrote a simple shell tool named quickunpkg to quickly unpack tbz2 files.