Руководство по бинарным пакетам

На ряду с обычной поддержкой ebuild, Portage поддерживает сборку и установку бинарных пакетов. Это руководство объясняет, как создать их, установить и как настроить сервер бинарных пакетов.

Введение

Есть много причин, почему некоторым системным администраторам нравится использовать бинарные пакеты для установки программ в Gentoo.

1. Это позволяет администраторам экономить время при поддерживании похожих систем обновлёнными. Компиляция всего из исходников может потребовать много времени. Обслуживание нескольких похожих систем (некоторые из них, возможно, имеют старое оборудование) может стать намного проще, если только одна система будет компилировать всё из исходников, а остальные будут использовать бинарные пакеты.
2. Осуществлять безопасные обновления. Для критически важных в производстве систем важно как можно дольше оставаться пригодными для использования. Это может быть осуществлено с помощью установочного сервера, который сначала будет применять все обновления к себе. Когда установочный сервер окажется в хорошем состоянии, обновления смогут быть применены к критическим системам. Другой подход – осуществлять обновления в chroot-среде на той же системе и использовать созданные там бинарные пакеты в реальной системе.
3. В качестве резервной копии. Часто бинарные пакеты являются единственным способом восстановления повреждённой системы (т.е. повреждённого компилятора). Наличие предварительно скомпилированных бинарных пакетов либо на отдельном сервере, либо на локальной системе может стать большим подспорьем в случае повреждения базовой системы.
4. Это содействует обновлению очень старых систем. Задача обновления очень старых систем может быть существенно облегчена с помощью бинарных пакетов. Обычно установка бинарных пакетов на старых системах бывает полезна но причине того, что они не требуют установки/обновления зависимостей времени сборки. Также бинарные пакеты позволяют избежать ошибок во время построения, поскольку они скомпилированы заранее.

В этом руководстве основное внимание будет уделено следующим темам:

• создание бинарных пакетов;
• предоставление бинарных пакетов клиенту;
• внедрение бинарных пакетов;
• обслуживание бинарных пакетов.

Ближе к концу будет рассмотрено несколько более сложных тем о работе с бинарными пакетами.

Заметка
Все утилиты, которые используются в этом руководстве, являются частью пакета sys-apps/portage, если не указано иное.

Создание бинарных пакетов

Существует три основных способа создания бинарных пакетов:

1. после обычной установки использовать приложение quickpkg;
2. явно, во время каждого запуска emerge, использовать параметр --buildpkg (-b);
3. автоматически, с помощью установки значения buildpkg в переменной Portage FEATURES.

Все три метода создадут бинарные пакеты в каталоге, который указан в переменной PKGDIR (по умолчанию это /var/cache/binpkgs).

Использование quickpkg

Приложение quickpkg создаёт бинарные пакеты для всех установленных пакетов, которые соответствуют заданным атомам (или множествам пакетов).

Например, для создания бинарных пакетов для всех установленных версий GCC:

root #quickpkg sys-devel/gcc

Используйте *, для того чтобы создать бинарные пакеты для всех установленных пакетов в системе:

root #quickpkg "*/*"

Для данного метода существует оговорка: он полагается на установленные файлы, что может вызвать проблему с конфигурационными файлами. Администраторы после установки программного обеспечения часто изменяют конфигурационные файлы. Поскольку это может привести к утечке важной (возможно, даже конфиденциальной) информации, quickpkg по умолчанию не включает в пакеты конфигурационные файлы, защищённые с помощью CONFIG_PROTECT. Чтобы принудительно включить конфигурационные файлы, используйте опцию --include-config или --include-unmodified-config.

Использование --buildpkg как параметра emerge

При установке программ с помощью emerge можно попросить Portage создавать бинарные пакеты, если использовать параметр --buildpkg (-b):

root #emerge --ask --buildpkg sys-devel/gcc

Так же можно попросить Portage только создать бинарный пакет без установки пакета в систему. Для этого необходимо использовать параметр --buildpkgonly (-B):

root #emerge --ask --buildpkgonly sys-devel/gcc

Последний метод, однако, требует предварительной установки всех зависимостей времени сборки.

Реализация работы buildpkg с помощью возможности Portage

Наиболее распространенный способ создания бинарного пакета, каждый раз когда пакет устанавливается Portage, — это использовать возможность (feature) buildpkg, которою можно включить в файле /etc/portage/make.conf так:

ФАЙЛ /etc/portage/make.confВключение возможности Portage buildpkg

FEATURES="buildpkg"

Каждый раз, когда Portage будет устанавливать программное обеспечение и эта возможность включена, он будет создавать также бинарный пакет.

Исключение для некоторых пакетов

Можно попросить Portage не создавать бинарные пакеты для некоторых выбранных пакетов или категорий. Это можно сделать передав команде emerge параметр --buildpkg-exclude:

root #emerge -uDN @world --buildpkg --buildpkg-exclude "virtual/* sys-kernel/*-sources"

Это можно использовать для пакетов, для которые создание бинарных пакетов приносит мало пользы. Например пакеты исходного кода ядра или бинарные пакеты (те, которые заканчиваются на -bin как www-client/firefox-bin).

Настройка хоста бинарных пакетов

Portage поддерживает несколько протоколов для загрузки бинарных пакетов: FTP, FTPS, HTTP, HTTPS и SSH/SFTP. Такое количество оставляет большое пространство для различных реализаций хоста бинарных пакетов.

Тем не менее, не существует «готового» метода, предоставляемого Portage для распространения бинарных пакетов. В зависимости от желаемой настройки необходимо установить дополнительное программное обеспечение.

Хост бинарных пакетов на основе веб

Основной подход для распространения бинарных пакетов это создать хост бинарных пакетов на основе веб.

Воспользуйтесь веб-сервером, таким как lighttpd (www-servers/lighttpd) и настройте его, чтобы он предоставлял доступ на чтение к каталогу указанному в переменной PKGDIR в файле /etc/portage/make.conf.

ФАЙЛ /etc/lighttpd/lighttpd.confПример конфигурации lighttpd

# добавьте это в конец стандартной конфигурации
server.modules += ( "mod_alias" )
alias.url = ( "/packages" => "/var/cache/binpkgs" )

Затем, на клиентских системах настройте переменную PORTAGE_BINHOST:

ФАЙЛ /etc/portage/make.confИспользование хоста бинарных пакетов на основе веб

PORTAGE_BINHOST="http://binhost.example.com/packages"

Хост бинарных пакетов на основе SSH

Для установки подлинности бинарных пакетов пользователь может использовать SSH.

При использовании SSH, можно использовать SSH ключ суперпользователя (без пароля, т.к. установка должна происходить в фоне) для подключения к удалённому серверу бинарных пакетов.

Для осуществления этого убедитесь, что SSH ключ суперпользователя разрешён на сервере. Это потребуется повторить для всех устройств, которые будут подключаются к SSH серверу бинарных пакетов.

root #cat root.id_rsa.pub >> /home/binpkguser/.ssh/authorized_keys

Тогда переменная PORTAGE_BINHOST может выглядеть так:

ФАЙЛ /etc/portage/make.confНастройка PORTAGE_BINHOST для SSH-доступа

PORTAGE_BINHOST="ssh://binpkguser@binhostserver/var/cache/binpkgs"

Заметка
Не используйте конфигурационный файл SSH ~/.ssh/config для настройки портов или имени пользователя. Этот каталог игнорируется, когда Portage синхронизирует пакеты на стороне клиента. Вместо этого настройте все параметры в переменной PORTAGE_BINHOST.

Экспорт из NFS

В случае использования хоста бинарных пакетов во внутренней сети, может быть проще экспортировать пакеты с помощью NFS, а затем смонтировать их на клиенте.

Файл /etc/exports может выглядеть так:

ФАЙЛ /etc/exportsЭкспорт каталога пакетов

/var/cache/binpkgs
2001:db8:81:e2::/48(ro,no_subtree_check,root_squash) 192.168.100.1/24(ro,no_subtree_check,root_squash)

Затем на клиентах можно смонтировать каталог. Пример записи в файле /etc/fstab:

ФАЙЛ /etc/fstabЗапись для монтирования папки с пакетами

binhost:/var/cache/binpkgs      /var/cache/binpkgs    nfs    defaults    0 0

Использование бинарных пакетов

Для того, чтобы бинарные пакеты можно было использовать на других системах, они должны соответствовать некоторым требованиям:

• Архитектура на клиенте и сервере, а также переменная CHOST должны совпадать.
• Переменные оптимизации в CFLAGS</var CXXFLAGS, используемые для создания бинарных пакетов, должны поддерживаться всеми клиентами.
• USE-флаги возможностей процессора (такие как MMX, SSE и так далее) следует выбирать осторожно; все клиенты должны поддерживать их.

Важно
Portage не может проверить соблюдаются ли эти требования. За соблюдение этих требований отвечает системный администратор.

Также Portage проверят, создан ли бинарный пакет с использованием тех же USE-флагов, которые требуются клиенту. Если пакет собран с другой комбинацией USE-флагов, в зависимости от параметров, переданных emerge, Portage либо проигнорирует бинарный пакет (и станет собирать из исходного кода), либо завершиться. Более подробней смотрите в разделе установка бинарных пакетов.

На клиентах требуется сделать некоторые настройки, чтобы использовались бинарные пакеты.

Установка бинарных пакетов

Можно добавить несколько параметров к команде emerge, чтобы сообщить Portage о том как нужно работать с бинарными пакетами:

Параметр	Описание
--usepkg (-k)	Пытается использовать бинарные пакет(ы) из локального каталога packages. Полезно в случае использования NFS или SSHFS монтирование из хоста бинарных пакетов. Если бинарные пакеты не найдены, Portage вернется к обычной установке (из исходного кода).
--usepkgonly (-K)	Похоже на --usepkg (-k), но останавливается, если бинарный пакет не найден. Этот параметр полезен в случае использования только ранее собранных бинарных пакетов.
--getbinpkg (-g)	Загружает бинарные пакеты с удаленного хоста бинарных пакетов. Если бинарные пакеты не найдены, Portage вернется к обычной установке (из исходного кода).
--getbinpkgonly (-G)	Похоже на --getbinpkg (-g), но останавливается, но останавливается, если бинарный пакет не найден. Этот параметр полезен в случае использования только ранее собранных бинарных пакетов.

Чтобы автоматически установку бинарных пакетов, соответствующую параметр можно добавить в переменную EMERGE_DEFAULT_OPTS:

ФАЙЛ /etc/portage/make.confАвтоматическая загрузка бинарных пакетов или завершать с ошибкой, если пакет не доступен

EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --getbinpkgonly"

В Portage есть возможность, которая автоматически реализует эквивалент --getbinpkg (-g) без необходимости писать в переменную EMERGE_DEFAULT_OPTS значение --getbinpkg:

ФАЙЛ /etc/portage/make.confВключение getbinpkg в переменную FEATURES

FEATURES="getbinpkg"

Получение пакетов с хоста бинарных пакетов

В случае использования хоста бинарных пакетов, на клиентах необходимо настроить переменную PORTAGE_BINHOST. Иначе клиент не будет знать где хранятся бинарные пакеты, в результате чего, Portage не сможет установить их.

ФАЙЛ /etc/portage/make.confНастройка PORTAGE_BINHOST

PORTAGE_BINHOST="http://binhost.example.com/packages"

В переменной PORTAGE_BINHOST хранится разделенный пробелами список URI. Это позволяет администраторам использовать множество серверов бинарных пакетов одновременно. URI всегда должны указывать на каталог в котором находится файл Packages.

Заметка
Поддержка множества серверов бинарных пакетов немного не завершена. Если несколько серверов предоставляют бинарный пакет для одной и той же версии пакета, то будет учитен только первый. Это может вызывать проблемы, когда в этих пакетах различаются переменные USE и USE-переменные второго пакета совпадают с системными конфигурациями.

Переустановка модифицированных бинарных пакетов

Опция --rebuilt-binaries в emerge переустановит все бинарные файлы, которые были перестроены с момента установки пакета. Это полезно в том случае, если на сервере бинарных пакетов запущены инструменты пересборки, такие как revdep-rebuild.

Связанной опцией является --rebuilt-binaries-timestamp. Она заставляет emerge не рассматривать бинарные пакеты для переустановки, если эти пакеты были собраны до указанной временной метки. Это полезно, чтобы избежать переустановки всех пакетов, когда сервер бинарных пакетов должен быть собран с нуля и использовался бы --rebuilt-binaries.

Дополнительные настройки клиента

Помимо возможности getbinpkg, Portage также содержит функцию binpkg-logs. Эта функция определяет, следует ли сохранять файлы журналов успешной установки бинарных пакетов. Она имеет значение, только если установлена переменная PORT_LOGDIR, и по умолчанию включена.

Аналогично исключению бинарных пакетов для определённого набора пакетов или категорий, клиенты могут быть настроены на исключение установки бинарных пакетов для определённого набора пакетов или категорий.

Чтобы выполнить это, воспользуйтесь параметром --usepkg-exclude:

root #emerge -uDNg @world --usepkg-exclude "sys-kernel/gentoo-sources virtual/*"

Чтобы включить такие дополнительные настройки для каждой команды emerge, добавьте необходимые пакеты в переменную EMERGE_DEFAULT_OPTS в файле make.conf:

ФАЙЛ /etc/portage/make.confВключение настроек для emerge при каждом вызове

EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --usepkg-exclude 'sys-kernel/gentoo-sources virtual/*'"

Обслуживание бинарных пакетов

Экспорт и распространение бинарных пакетов приведет к бесполезному расходу памяти, если список бинарных пакетов не будет активно поддерживаться.

Удаление устаревших бинарных пакетов

В пакете app-portage/gentoolkit предоставляется программа под названием eclean. Она позволяет обслуживать связанные с Portage временные файлы, такие как файлы загруженного исходного кода, а также файлы бинарных пакетов.

Следующая команда удалит все бинарные пакеты у которых нет ebuild в установленных репозиториях ebuild-файлов:

root #eclean packages

Для дополнительной, пожалуйста, прочтите статью Eclean.

Есть другая утилита, которой можно воспользоваться. Это утилита qpkg из пакета app-portage/portage-utils. Однако эта утилита чуть менее настраиваемая.

Чтобы отчистить неиспользуемые бинарные пакеты (в смысле неиспользуемые сервером, на котором хранятся бинарные пакеты):

root #qpkg -c

Поддержка файла Packages

Внутри каталога пакетов имеется файл manifest с именем Packages. Этот файл используется как кэш для метаданных всех бинарных пакетов в этом каталоге пакетов. Файл обновляется каждый раз когда Portage добавляет бинарный пакет в каталог. Таким же образом, eclean обновляет его когда удаляет бинарные пакеты.

Если по каким то причинам бинарные пакеты были просто удалены или скопированы в каталог пакетов, или файл Packages был испорчен или удален, то его необходимо пересоздать. Это можно сделать с помощью команды emaint:

root #emaint binhost --fix

Дополнительные темы

Создание снимка каталога пакетов

При развёртывании бинарных пакетов для большого числа клиентских систем может оказаться целесообразным создавать снапшоты каталога пакетов. В этом случае клиентские системы не используют каталог пакетов напрямую, а используют бинарные пакеты из снимка.

Снимок можно создать с помощью утилиты /usr/lib64/portage/python2.7/binhost-snapshot или /usr/lib64/portage/python3.3/binhost-snapshot. Ей требуются четыре аргумента:

1. Исходный каталог (путь к каталогу c пакетами).
2. Целевой каталог (который не должен существовать).
3. URI.
4. Каталог сервера бинарных пакетов.

Файлы из каталога c пакетами копируются в целевой каталог. Затем создаётся файл Packages в каталоге сервера бинарных пакетов (четвертый аргумент) с указанным URI.

Теперь клиентские системы должны обращаться к URI, указывающему на каталог сервера бинарных пакетов. Оттуда они будут перенаправлены на URI, который был указан в binhost-snapshot. Этот URI должен ссылаться на целевой каталог.

Как устроен формат файлов бинарных пакетов

Бинарные пакеты созданные Portage имеют расширение .tbz2. Такие файлы содержат две части:

1. Архив .tar.bz2 содержит файлы, которые можно установить в систему.
2. Архив xpak содержит метаданные пакета, файл ebuild и файл переменного окружения.

Для описания формата смотрите man xpak.

В пакете app-portage/portage-utils некоторые утилиты способны разделить или создать файлы tbz2 и xpak.

Следующая команда разделит tbz2 на файлы .tar.bz2 и .xpak:

user $qtbz2 -s <package>.tbz2

Файл .xpak можно проверить с помощью утилиты qxpak.

Чтобы показать содержимое:

user $qxpak -l <package>.xpak

Следующая команда извлечет файл USE, который содержит включенные USE-флаги для этого пакета:

user $qxpak -x package-manager-0.xpak USE

Схема PKGDIR

На данный момент используется формат версии 2 со следующей схемой:

КОД Схема каталога с пакетами (версия 2)

PKGDIR
`+- Packages
 +- app-accessibility/
 |  +- pkg1-version.tbz2
 |  `- pkgN-version.tbz2
 +- app-admin/
 |  `- ...
 `- ...

Файл Packages является основным улучшением (а также критерием, по которому Portage узнает, что каталог бинарных пакетов использует версию 2) по сравнению с первой версией каталога бинарных пакетов (версия 1). В версии 1 все бинарные пакеты также размещались в одном каталоге (называемом All/), а каталоги категорий имели только символические ссылки на бинарные пакеты в каталоге All/.

Распаковка с помощью quickunpkg

Zoobab написал простую утилиту для оболочки командной строки quickunpkg, чтобы быстро распаковывать файлы tbz2.