Руководство по бинарным пакетам

From Gentoo Wiki
Jump to: navigation, search
This page is a translated version of the page Binary package guide and the translation is 76% complete.

Other languages:
Deutsch • ‎English • ‎español • ‎日本語 • ‎한국어 • ‎русский • ‎中文(中国大陆)‎

На ряду с обычной поддержкой ebuild, Portage поддерживает сборку и установку бинарных пакетов. Это руководство объясняет, как создать их, установить и как настроить сервер бинарных пакетов.

Введение

Есть много причин, почему некоторым системным администраторам нравится устанавливать пакеты Gentoo в виде бинарных пакетов.

  1. First of all, it allows administrators to keep similar systems updated. Having to compile everything from source can become time consuming. Maintaining several similar systems, possibly some of them with older hardware, can be much easier if only one system has to compile everything from source and the other systems reuse the binary packages.
  2. A second reason is to do safe updates. For mission critical systems it is important to stay usable as much as possible. This can be done by a staging server that performs all updates first to itself. Once the staging server is in a good state the updates can then be applied to the critical systems. A variant of this approach is to do the updates in a chroot on the same system and use the binaries created there on the real system.
  3. A third reason is as a backup. Often binary packages are the only way of recovering a broken system (i.e. broken compiler). Having pre-compiled binaries around either on a binary package server or locally can be of great help in case of a broken toolchain.
  4. Finally, it also supports updating very old systems. The task of updating very old systems can be greatly eased using binary packages. It is usually helpful to install binary packages on old systems because they do not require build time dependencies to be installed/updated. Binaries packages also avoid failures in build processes since they are pre-compiled.

В этом руководстве основное внимание будет уделено следующим темам:

  • как создать бинарные пакеты;
  • как предоставить бинарные пакеты клиенту;
  • как использовать бинарные пакеты;
  • как обслуживать бинарные пакеты.

Ближе к концу будет рассмотрено несколько более сложных тем о работе с бинарными пакетами.

Заметка
Все утилиты, которые используются в этом руководстве, являются частью пакета sys-apps/portage, если не указано иное.

Создание бинарных пакетов

Существует три основных способа создания бинарных пакетов:

  1. после обычной установки использовать приложение quickpkg;
  2. явно, во время каждого запуска emerge, использовать параметр --buildpkg (-b);
  3. автоматически, с помощью возможности (feature) Portage buildpkg.

Все три метода создадут бинарные пакеты в каталоге, который указан в переменной PKGDIR (по умолчанию это /usr/portage/packages).

Использование quickpkg

The quickpkg application takes one or more dependency atoms (or package sets) and creates binary packages for all installed packages that match that atom.

Например, для создания бинарных пакетов для всех установленных версий GCC:

root #quickpkg sys-devel/gcc

Используйте *, для того чтобы создать бинарные пакеты для всех установленных пакетов в системе:

root #quickpkg "*/*"

There is a caveat with this method: it relies on the installed files, which can be a problem in case of configuration files. Administrators often change configuration files after installing software. Because this could leak out important (perhaps even confidential) data into the packages, quickpkg by default does not include configuration files that are protected through the CONFIG_PROTECT method. To force inclusion of configuration files, use the --include-config or --include-unmodified-config options.

Использование --buildpkg как параметра emerge

При установке программ с помощью emerge можно попросить Portage создавать бинарные пакеты, если использовать параметр --buildpkg (-b):

root #emerge --ask --buildpkg sys-devel/gcc

Так же можно попросить Portage только создать бинарный пакет без установки пакета в систему. Для этого необходимо использовать параметр --buildpkgonly (-B):

root #emerge --ask --buildpkgonly sys-devel/gcc

The latter approach however requires all build time dependencies to be previously installed.

Реализация работы buildpkg с помощью возможности Portage

Наиболее распространенный способ создания бинарного пакета, каждый раз когда пакет устанавливается Portage, — это использовать возможность (feature) buildpkg, которою можно включить в файле /etc/portage/make.conf так:

Файл /etc/portage/make.confВключение возможности Portage buildpkg
FEATURES="buildpkg"

Каждый раз, когда Portage будет устанавливать программное обеспечение и эта возможность включена, он будет создавать также бинарный пакет.

Исключение для некоторых пакетов

Можно попросить Portage не создавать бинарные пакеты для некоторых выбранных пакетов или категорий. Это можно сделать передав команде emerge параметр --buildpkg-exclude:

root #emerge -uDN @world --buildpkg --buildpkg-exclude "virtual/* sys-kernel/*-sources"

This could be used for packages that have little to no benefit in having a binary package available. Examples would be the Linux kernel source packages or upstream binary packages (those ending with -bin like www-client/firefox-bin).

Настройка хоста бинарных пакетов

Portage поддерживает несколько протоколов для загрузки бинарных пакетов: FTP, FTPS, HTTP, HTTPS и SSH. Такое количество оставляет большое пространство для различных реализаций хоста бинарных пакетов.

Тем не менее, не существует «готового» метода, предоставляемого Portage для распространения бинарных пакетов. В зависимости от желаемой настройки необходимо установить дополнительное программное обеспечение.

Хост бинарных пакетов на основе веб

Основной подход для распространения бинарных пакетов это создать хост бинарных пакетов на основе веб.

Воспользуйтесь веб-сервером, таким как lighttpd (www-servers/lighttpd) и настройте его, чтобы он предоставлял доступ на чтение к каталогу указанному в переменной PKGDIR в файле /etc/portage/make.conf.

Файл /etc/lighttpd/lighttpd.confПример конфигурации lighttpd
# добавьте это в конец стандартной конфигурации
server.modules += ( "mod_alias" )
alias.url = ( "/packages" => "/usr/portage/packages/" )

Затем, на клиентских системах настройте переменную PORTAGE_BINHOST:

Файл /etc/portage/make.confИспользование хоста бинарных пакетов на основе веб
PORTAGE_BINHOST="http://binhost.genfic.com/packages"

Хост бинарных пакетов на основе SSH

To provide a more authenticated approach for binary packages, one can consider using SSH.

When using SSH, it is possible to use the Portage Linux user's SSH key (without passphrase as the installations need to happen in the background) to connect to a remote binary package host.

To accomplish this, make sure that the Portage user's SSH key is allowed on the server. This will need to happen for each machine that will connect to the SSH capable binary host:

root #cat portage.id_rsa.pub >> /home/binpkguser/.ssh/authorized_keys

Тогда переменная PORTAGE_BINHOST может выглядеть так:

Файл /etc/portage/make.confНастройка PORTAGE_BINHOST для SSH-доступа
PORTAGE_BINHOST="ssh://binpkguser@binhostserver/usr/portage/packages"
Заметка
Не используйте конфигурационный файл ssh ~/.ssh/config для настройки портов или имени пользователя, так как они буду проигнорированы когда Portage будет синхронизировать пакеты на стороне клиента. Вместо этого настройте все параметры в переменной PORTAGE_BINHOST.

Экспорт из NFS

В случае использования хоста бинарных пакетов во внутренней сети, может быть проще экспортировать пакеты с помощью NFS, а затем смонтировать их на клиенте.

Файл /etc/exports может выглядеть так:

Файл /etc/exportsЭкспорт каталога пакетов
/usr/portage/packages                            2001:db8:81:e2::/48(ro,no_subtree_check,root_squash) 192.168.100.1/24(ro,no_subtree_check,root_squash)

Затем на клиентах можно смонтировать каталог. Пример записи в файле /etc/fstab:

Файл /etc/fstabЗапись для монтирования папки с пакетами
binhost:/usr/portage/packages      /usr/portage/packages    nfs    defaults    0 0

Использование бинарных пакетов

Для того, чтобы бинарные пакеты можно было использовать на других системах, они должны соответствовать некоторым требованиям:

  • Архитектура на клиенте и сервере, а также переменная CHOST должны совпадать.
  • Переменные оптимизации в CFLAGS</var CXXFLAGS, используемые для создания бинарных пакетов, должны поддерживаться всеми клиентами.
  • USE-флаги возможностей процессора (такие как MMX, SSE, ...) следует выбирать осторожно; все клиенты должны поддерживать их.
Важно
Portage не может проверить соблюдаются ли эти требования. За соблюдение этих требований отвечает системный администратор.

Next to these, Portage will check if the binary package is built using the same USE flags as expected on the client. If a package is built with a different USE flag combination, Portage will either ignore the binary package (and use source-based build) or fail, depending on the options passed to the emerge command upon invocation (see Installing binary packages).

На клиентах требуется сделать некоторые настройки, чтобы использовались бинарные пакеты.

Установка бинарных пакетов

Можно добавить несколько параметров к команде emerge, чтобы сообщить Portage о том как нужно работать с бинарными пакетами:

Option Description
--usepkg
(-k)
Tries to use the binary package(s) in the locally available packages directory. Useful when using NFS or SSHFS mounted binary package hosts. If the binary packages are not found, a regular (source-based) installation will be performed.
--usepkgonly
(-K)
Similar to --usepkg (-k) but fail if the binary package cannot be found. This option is useful if only pre-built binary packages are to be used.
--getbinpkg
(-g)
Download the binary package(s) from a remote binary package host. If the binary packages are not found, a regular (source-based) installation will be performed.
--getbinpkgonly
(-G)
Similar to --getbinpkg (-g) but will fail if the binary package(s) cannot be downloaded. This option is useful if only pre-built binary packages are to be used.

Чтобы автоматически установку бинарных пакетов, соответствующую параметр можно добавить в переменную EMERGE_DEFAULT_OPTS:

Файл /etc/portage/make.confАвтоматическая загрузка бинарных пакетов или завершать с ошибкой, если они не не доступны
EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --getbinpkgonly"

There is a Portage feature that automatically implements the equivalent of --getbinpkg (-g) without the need for updating the EMERGE_DEFAULT_OPTS variable: getbinpkg

Файл /etc/portage/make.confВключение функции Portage getbinpkg
FEATURES="getbinpkg"

Получение пакетов с хоста бинарных пакетов

When using a binary package host, clients need to have the PORTAGE_BINHOST variable set. Otherwise the client will not know where the binary packages are stored which results in Portage being unable to retrieve them.

Файл /etc/portage/make.confНастройка PORTAGE_BINHOST
PORTAGE_BINHOST="http://binhost.genfic.com/packages"

The PORTAGE_BINHOST variable uses a space-separated list of URIs. This allows administrators to use several binary package servers simultaneously. The URI must always point to the directory in which the Packages file resides.

Заметка
The support for multiple binary package servers is somewhat incomplete. If several servers serve a binary package for the same package version, then only the first one will be considered. This can be problematic when these binary packages differ in their USE variable configuration and the USE variable configuration of a later binary package would match the systems configuration.

Переустановка модифицированных бинарных пакетов

Passing the --rebuilt-binaries option to emerge will reinstall every binary that has been rebuilt since the package was installed. This is useful in case rebuilding tools like revdep-rebuild or python-updater are run on the binary package server.

A related option is --rebuilt-binaries-timestamp. It causes emerge not to consider binary packages for a re-install if those binary packages have been built before the given time stamp. This is useful to avoid re-installing all packages, if the binary package server had to be rebuild from scratch but --rebuilt-binaries is used otherwise.

Дополнительные настройки клиента

Next to the getbinpkg feature, Portage also listens to the binpkg-logs feature. This one controls if log files for successful binary package installations should be kept. It is only relevant if the PORT_LOGDIR variable has been set and is enabled by default.

Similar to excluding binary packages for a certain set of packages or categories, clients can be configured to exclude binary package installations for a certain set of packages or categories.

Чтобы выполнить это, воспользуйтесь параметром --usepkg-exclude:

root #emerge -uDNg @world --usepkg-exclude "sys-kernel/gentoo-sources virtual/*"

Обслуживание бинарных пакетов

Exporting and distributing the binary packages will lead to useless storage consumption if the binary package list is not actively maintained.

Удаление устаревших бинарных пакетов

In the app-portage/gentoolkit package an application called eclean is provided. It allows for maintaining Portage-related variable files, such as downloaded source code files, but also binary packages.

Следующая команда удалит все бинарные пакеты у которых нет ebuild:

root #eclean packages

Для дополнительной, пожалуйста, прочтите статью Eclean.

Есть другая утилита, которой можно воспользоваться. Это утилита qpkg из пакета app-portage/portage-utils. Однако эта утилита чуть менее настраиваемая.

Чтобы отчистить неиспользуемые бинарные пакеты (в смысле неиспользуемые сервером, на котором хранятся бинарные пакеты):

root #qpkg -c

Maintaining the Packages file

Inside the packages directory, a file called Packages exists. This file acts as a cache for the metadata of all binary packages in the packages directory. The file is updated whenever Portage adds a binary package to the directory. Similarly, eclean updates it when it removes binary packages.

If for some reason binary packages are simply deleted or copied into the packages directory, or the Packages file gets corrupted or deleted, then it must be recreated. This is done using emaint command:

root #emaint binhost --fix

Дополнительные темы

Создание снимка каталога пакетов

When deploying binary packages for a large number of client systems it might become worthwhile to create snapshots of the packages directory. The client systems then do not use the packages directory directly but use binary packages from the snapshot.

Snapshots can be created using the /usr/lib64/portage/python2.7/binhost-snapshot or /usr/lib64/portage/python3.3/binhost-snapshot tool. It takes four arguments:

  1. A source directory (the path to the packages directory).
  2. A target directory (that must not exist).
  3. A URI.
  4. A binary package server directory.

The files from the package directory are copied to the target directory. A Packages file is then created inside the binary package server directory (fourth argument) with the provided URI.

Client systems need to use an URI that points to the binary package server directory. From there they will be redirected to the URI that was given to binhost-snapshot. This URI has to refer to the target directory.

Как устроен формат файлов бинарных пакетов

Бинарные пакеты созданные Portage имеют расширение .tbz2. Такие файлы содержат две части:

  1. Архив .tar.bz2 содержит файлы, которые можно установить в систему.
  2. Архив xpak содержит метаданные пакета, файл ebuild и файл переменного окружения.

Для описания формата смотрите man xpak.

В пакете app-portage/portage-utils некоторые утилиты способны разделить или создать файлы tbz2 и xpak.

Следующая команда разделит tbz2 на файлы .tar.bz2 и .xpak:

user $qtbz2 -s <package>.tbz2

Файл .xpak можно проверить с помощью утилиты qxpak.

Чтобы показать содержимое:

user $qxpak -l <package>.xpak

Следующая команда извлечет файл USE, который содержит включенные USE-флаги для этого пакета:

user $qxpak -x package-manager-0.xpak USE

Схема PKGDIR

На данный момент используется формат версии 2 со следующей схемой:

Код Схема каталога с пакетами (версия 2)
PKGDIR
`+- Packages
 +- app-accessibility/
 |  +- pkg1-version.tbz2
 |  `- pkgN-version.tbz2
 +- app-admin/
 |  `- ...
 `- ...

The Packages file is the major improvement (and also the trigger for Portage to know that the binary package directory uses version 2) over the first binary package directory layout (version 1). In version 1, all binary packages were also hosted inside a single directory (called All/) and the category directories only had symbolic links to the binary packages inside the All/ directory.

Распаковка с помощью quickunpkg

Zoobab написал простую утилиту для оболочки командной строки quickunpkg, чтобы быстро распаковывать файлы tbz2.