Project:ComRel/Developer Handbook/Developer hierarchy

Это HOWTO поможет Вам создать и настроить бездисковые рабочие станции с Gentoo Linux.

Введение

Об это руководстве

Это HOWTO поможет Вам настроить бездисковые рабочие станции основанные на дистрибутиве Gentoo Linux. Мы стремимся сделать это руководство настолько удобным для пользователя, насколько возможно, и также, доступным для новичка в Linux, (потому что каждый из нас был новичком в какой-то момент :) В то время как опытные пользователи могут с легкостью объединить множество доступных руководств по бездисковым станциям вместе, мы надеемся, что это руководство сможет облегчить установку для всех заинтересованных пользователей, независимо от того, гики они или нет.

Что такое бездисковая машина?

Бездисковая машина - это компьютер без каких-либо обычных загрузочных устройств, таких как жесткие диски, дискеты, или оптические диски. Бездисковые станции загружаются по сети и требуют сервер, который обеспечит их местом для хранения данных, как это сделал бы локальный жесткий диск. С этого момента, мы будем называть сервер основным устройством - master, в то время как бездисковая машина будет зависимым устройством - slave. Зависимый узел требует сетевую плату с поддержкой загрузки PXE или Etherboot; проверьте поддерживаемый список по адресу Etherboot.org. Большинство современных плат поддерживает PXE, множество встроенных в материнскую плату сетевых плат также будут работать.

Перед тем как Вы начнете

Вам необходимо установить Gentoo на основной узел и иметь достаточно пространства на основном узле, чтобы хранить файловые системы зависимых рабочих станций. Также, удостоверьтесь, что вы имеете один из интерфейсов подключения к интернету отдельно от подключения к локальной сети.

Конфигурация основного и зависимых компьютеров

Информация о ядрах

Ядро - это программа, которая располагается между аппаратным обеспечением и всеми остальными программами, которые загружены на Вашу машину. По существу, это сердце операционной системы, включающей в себя ядро. Когда компьютер загружается, BIOS выполняет инструкции, найденные в зарезервированном загрузочном пространстве Вашего жесткого диска. Эти инструкции обычно являются загрузчиком, который загружает ядро. После того, как ядро загружено, все процессы управляются им.

Чтобы найти больше информации по ядрам и их настройке, Вы можете проверить kernel HOWTO .

Конфигурация основного ядра

Основное ядро может быть настолько большим и настроенным под Ваши нужды, насколько Вы захотите. Но в то же время, существует несколько требуемых параметров ядра, которые Вам необходимо выбрать. Перейдете в меню конфигурации ядра, введя:

root #cd /usr/src/linux

root #make menuconfig

Вы должны получить графический интерфейс, серого и синего цвета, который предлагает безопасную альтернативу редактированию файла /usr/src/linux/.config вручную. Если ядро в данный момент функционирует нормально, Вы можете сохранить текущий файл конфигурации, выйдя из графического интерфейса и введя следующую команду:

root #cp .config .config_working

Перейдите в следующие подменю и убедитесь, что перечисленные элементы меню отмечены как встроенные в ядро - built-in (а не как модули - modular). Параметры, показанные ниже, взяты из ядра версии 2.6.10. Если Вы используете другую версию, текст, или последовательность элементов меню может различаться. Просто убедитесь, что Вы, по меньшей мере, выбрали те элементы, которые показаны ниже.

Если Вы хотите получить доступ к интернету на вашем основном узле и/или настроить безопасный межсетевой экран, убедитесь, что Вы добавили поддержку для iptables:

Если Вы хотите использовать пакетную фильтрацию, Вы можете включить оставшиеся параметры в качестве модулей позже. Чтобы узнать о том, как настроить их должным образом, прочтите Главу настольной книги по безопасности Gentoo, посвященную межсетевым экранам .

После того, как Вы переконфигуровали ядро на основном компьютере, Вам нужно собрать его заново:

root #make && make modules_install

root #cp arch/i386/boot/bzImage /boot/bzImage-master

Затем добавьте запись для нового ядра в lilo.conf или grub.conf, в зависимости от используемого загрузчика, и сделайте новое ядро ядром, загружаемым по умолчанию. Теперь когда новый файл bzImage скопирован в загрузочный каталог, все, что Вам требуется сделать - перезагрузить систему чтобы активировать эти новые параметры.

Настройки зависимого ядра

Рекомендуется, чтобы зависимое ядро было собрано без модулей, так как их загрузка и настройка в случае удаленной загрузки ядра - сложный и ненужный процесс. Вдобавок, зависимое ядро должно быть настолько маленьким и компактным, насколько это возможно, чтобы эффективно загрузиться по сети. Мы будем компилировать зависимое ядро в том же самом месте, где было сконфигурировано основное.

Во избежание путаницы и пустой траты времени, возможно, неплохой идеей является сделать резервное копирование файла конфигурации основного ядра вводом следующих команд:

root #cp /usr/src/linux/.config /usr/src/linux/.config_master

А сейчас, нам потребуется сконфигурировать зависимое ядро тем же образом, каким мы конфигурировали основное. Если Вы хотите начать со свежего файла конфигурации, Вы всегда можете восстановить файл по умолчанию /usr/src/linux/.config , введя:

root #cd /usr/src/linux

root #cp .config_master .config

Теперь, перейдите ко графическому интерфейсу конфигурации, с помощь ввода команды:

root #cd /usr/src/linux

root #make menuconfig

Вам необходимо будет удостовериться, что Вы выбрали следующие параметры как встроенные, а не как модули ядра:

Теперь необходимо собрать зависимое ядро. Вам надо действовать осторожно, чтобы не испортить какие-либо модули ядра, которые Вы собрали для основной машины:

root #cd /usr/src/linux

root #make

Теперь, создайте каталог на основной машине, который будет использован для хранения файлов зависимых машин и требуемых системных файлов. Мы используем каталог /diskless, но Вы можете выбрать любое место, которое хотите. Сейчас, скопируйте bzImage для зависимых компьютеров в каталог /diskless :

Template:Note/ru

root #mkdir /diskless

root #cp /usr/src/linux/arch/i386/boot/bzImage /diskless

Конфигурация предварительных файловых систем для зависимых компьютеров

Файловые системы для основной и зависимых систем могут быть отрегулированы и изменены в значительной степени. На данный момент мы заинтересованы только в том, как получить предварительную файловую систему с подходящими файлами конфигурации и точками монтирования. Во-первых, мы должны создать каталог внутри /diskless для первой зависимой системы. Каждая зависимая система требует свою собственную корневую файловую систему, потому что разделение определенных системных файлов вызовет проблемы с разрешениями и сбои. Вы можете назвать эти каталоги так, как хотите, но я предполагаю использование IP-адресов зависимых машин, так как они уникальны и не могут быть перепутаны. Например, пусть статический IP нашей первой зависимой машины будет следующим: 192.168.1.21 :

root #mkdir /diskless/192.168.1.21

Различные файлы конфигурации в каталоге /etc нуждаются в изменении для того, чтобы работать на зависимой машине. Скопируйте каталог /etc основной машины на корневой каталог зависимой, введя:

root #cp -r /etc /diskless/192.168.1.21/etc

Все же, эта файловая система пока не готова, потому что ей требуются разные точки монтирования и каталоги. Чтобы их создать, введите:

root #mkdir /diskless/192.168.1.21/home

root #mkdir /diskless/192.168.1.21/dev

root #mkdir /diskless/192.168.1.21/proc

root #mkdir /diskless/192.168.1.21/tmp

root #mkdir /diskless/192.168.1.21/mnt

root #chmod a+w /diskless/192.168.1.21/tmp

root #mkdir /diskless/192.168.1.21/mnt/.initd

root #mkdir /diskless/192.168.1.21/root

root #mkdir /diskless/192.168.1.21/sys

root #mkdir /diskless/192.168.1.21/var

root #mkdir /diskless/192.168.1.21/var/empty

root #mkdir /diskless/192.168.1.21/var/lock

root #mkdir /diskless/192.168.1.21/var/log

root #mkdir /diskless/192.168.1.21/var/run

root #mkdir /diskless/192.168.1.21/var/spool

root #mkdir /diskless/192.168.1.21/usr

root #mkdir /diskless/192.168.1.21/opt

Большинство из этих файлов-заглушек должно быть Вам знакомо; такие заглушки как /dev , /proc или /sys будут заполнены при запуске зависимого компьютера, остальные будут примонтированы позже. Вам также нужно изменить файл /diskless/192.168.1.21/etc/conf.d/hostname , чтобы отобразить имя хоста зависимой машины. Двоичные файлы, библиотеки и другие файлы будут заполнены позже в этом руководстве, прямо перед тем, как мы попытаемся загрузить зависимый компьютер.

Даже хотя каталог /dev и заполняется менеджером устройств udev позже, Вам требуется создать файл console . Если Вы этого не сделаете, Вы получите ошибку unable to open initial console.

root #mknod /diskless/192.168.1.21/dev/console c 5 1

Конфигурация DHCP-сервера

Информация о DHCP-сервере

DHCP означает Dynamic Host Configuration Protocol (протокол динамической настройки узла). DHCP-сервер - это первый компьютер с которым будут соединяться зависимые машины при PXE-загрузке. Основной целью DHCP-сервера является назначение IP-адресов. DHCP-сервер может назначить адреса, основанные на MAC-адресах сети на основе ethernet. Как только зависимый компьютер получит IP-адрес, DHCP-сервер сообщит этому компьютеру где можно получить его первоначальную файловую систему и ядро.

Перед тем как начать

Перед тем как Вы начнете, проверьте что работает несколько вещей. Во-первых, проверьте соединение с сетью:

root #ifconfig eth0 multicast

root #ifconfig -a

Вам также необходимо убедиться, что работает устройство eth0. Оно должно выглядеть следующим образом:

Важно, чтобы оно выводило MULTICAST. Если это не так, Вы должны собрать ядро заново, чтобы включить поддержку multicast.

Установка DHCP-сервера

Если Ваша сеть еще не имеет установленного DHCP-сервера, Вам придется его установить:

root #emerge --ask dhcp

Если DHCP-сервер уже присутствует в сети, Вам потребуется отредактировать файл конфигурации для корректной загрузки компьютера по сети с помощью PXE.

Конфигурация DHCP-сервера

Вам надо отредактировать только один конфигурационный файл перед запуском DHCP-сервера: /etc/dhcp/dhcpd.conf . Скопируйте и отредактируйте предусмотренный файл-образец:

root #cp /etc/dhcp/dhcpd.conf.sample /etc/dhcp/dhcpd.conf

root #nano -w /etc/dhcp/dhcpd.conf

Основная схема этого файла задана в виде отступов и выглядит следующим образом:

Раздел shared-network - необязательный и должен использоваться для назначаемых Вами IP-адресов, которые принадлежат к одной и той же топологии сети. По крайней мере, должен быть объявлен один раздел subnet, а необязательный раздел group позволяет группировать параметры между элементами. Хороший пример файла dhcpd.conf выглядит так:

С IP-адреса после next-server будет запрошен указанный filename. Этот IP-адрес должен быть IP-адресом tftp-сервера, обычно тем же самым, что и IP-адрес основной машины. filename является путем относительно каталога /diskless (вследствие того, что параметры, относящиеся к tftp-серверу будут рассмотрены позже). Внутри раздела host, параметр hardware ethernet указывает MAC-адрес, а fixed-address назначает фиксированный IP адрес для этого отдельного MAC-адреса. Существует достаточно хорошая man-страница по dhcpd.conf с параметрами, которые не рассмотрены в этом HOWTO. Вы можете прочитать ее, введя:

user $man dhcpd.conf

Запуск DHCP-сервера

Перед тем как Вы запустите сценарий инициализации dhcp, отредактируйте файл /etc/conf.d/dhcp, так, чтобы он выглядел следующим образом:

Переменная IFACE - это устройство, на котором необходимо запустить DHCP-сервер, в нашем случае это eth0. Добавление большего количества аргументов к переменной IFACE может быть полезно в сложной топологии сети с большим количеством Ethernet-адаптеров. Чтобы запустить dhcp-сервер, введите:

root #/etc/init.d/dhcp start

Чтобы добавить dhcp-сервер к сценариям иницализации, введите:

root #rc-update add dhcp default

Устранение неполадок, связанных с DHCP-сервером

Чтобы проверить загружается ли узел сети, посмотрите сообщения в /var/log/messages . Если узел загружается успешно, файл messages должен содержать внизу несколько строчек, выглядящих как то:

Если Вы получаете следущее сообщение, это возможно означает, что с файлом конфигурации что-то не то, но в то же время DHCP-сервер передает данные верно.

Every time you change the configuration file you must restart the DHCP server. To restart the server type:

root #/etc/init.d/dhcpd restart

Configuring the TFTP server and PXE Linux Bootloader and/or Etherboot

About the TFTP server

TFTP stands for Trivial File Transfer Protocol. The TFTP server is going to supply the slaves with a kernel and an initial filesystem. All of the slave kernels and filesystems will be stored on the TFTP server, so it's probably a good idea to make the master the TFTP server.

Installing the TFTP server

A highly recommended tftp server is available as the tftp-hpa package. This tftp server happens to be written by the author of SYSLINUX and it works very well with pxelinux. To install simply type:

root #emerge --ask tftp-hpa

Configuring the TFTP server

Edit /etc/conf.d/in.tftpd . You need to specify the tftproot directory with INTFTPD_PATH and any command line options with INTFTPD_OPTS . It should look something like this:

The -l option indicates that this server listens in stand alone mode so you don't have to run inetd. The -v indicates that log/error messages should be verbose. The -s /diskless specifies the root of your tftp server.

Starting the the TFTP Server

To start the tftp server type:

root #/etc/init.d/in.tftpd start

This should start the tftp server with the options you specified in the /etc/conf.d/in.tftpd . If you want this server to be automatically started at boot type:

root #rc-update add in.tftpd default

About PXELINUX

This section is not required if you are only using Etherboot. PXELINUX is the network bootloader equivalent to LILO or GRUB and will be served via TFTP. It is essentially a tiny set of instructions that tells the client where to locate its kernel and initial filesystem and allows for various kernel options.

Before you get started

You will need to get the pxelinux.0 file which comes in the SYSLINUX package by H. Peter Anvin. You can install this package by typing:

root #emerge --ask syslinux

Setting up PXELINUX

Заметка
This isn't needed for Etherboot

Before you start your tftp server you need to setup pxelinux. First copy the pxelinux binary into your /diskless directory:

root #cp /usr/share/syslinux/pxelinux.0 /diskless

root #mkdir /diskless/pxelinux.cfg

root #touch /diskless/pxelinux.cfg/default

This will create a default bootloader configuration file. The binary pxelinux.0 will look in the pxelinux.cfg directory for a file whose name is the client's IP address in hexadecimal. If it does not find that file it will remove the rightmost digit from the file name and try again until it runs out of digits. Versions 2.05 and later of syslinux first perform a search for a file named after the MAC address. If no file is found, it starts the previously mentioned discovery routine. If none is found, the default file is used.

Заметка
These are all in lowercase.

Let's start with the default file:

The DEFAULT tag directs pxelinux to the kernel bzImage that we compiled earlier. The APPEND tag appends kernel initialisation options. Since we compiled the slave kernel with NFS_ROOT_SUPPORT , we will specify the nfsroot here. The first IP is the master's IP and the second IP is the directory that was created in /diskless to store the slave's initial filesystem.

About Etherboot

Заметка
This isn't required if you are using PXE boot.

Etherboot boots network boot images from a TFTP server. As the PXE this is equivalent to LILO or GRUB. The mknbi utility enables you to create different images using different options.

Before you get started

You will need to get the mknbi (utility for making tagged kernel images useful for netbooting) package to create your Etherboot images. This tool will create a preconfigured kernel image from your original kernel. This contains the boot options as shown further down.

root #emerge --ask mknbi

Setting up Etherboot

In this section we will create a simple etherboot image. As the dhcp server gives out the clients root-path in the "option root-path" dhcp.conf, we do not have to include this here. More details can be found in the mknbi manual.

user $man mknbi

Making the boot images. This will create a ELF bootable image capable of passing dhcp and the rootpath to the kernel. Also forcing the kernel to browse the network for a dhcp server.

root #mkelf-linux -ip=dhcp /diskless/bzImage > /diskless/vmlinuz

Заметка
For the arch specific images you have to type bzImage_arch and vmlinuz_arch .

Troubleshooting the network boot process

There are a few things you can do to debug the network boot process. Primarily you can use a tool called tcpdump . To install tcpdump type:

root #emerge --ask tcpdump

Now you can listen to various network traffic and make sure your client/server interactions are functioning. If something isn't working there are a few things you might want to check. First make sure that the client/server is physically connected properly and that the networking cables are not damaged. If your client/server is not receiving requests on a particular port make sure that there is no firewall interference. To listen to interaction between two computers type:

root #tcpdump host client_ip and server_ip

You can also use tcpdump to listen on particular port such as the tftp port by typing:

root #tcpdump port 69

A common error you might receive is: "PXE-E32: TFTP open time-out". This is probably due to firewall issues. If you are using TCPwrappers , you might want to check /etc/hosts.allow and etc/hosts.deny and make sure that they are configured properly. The client should be allowed to connect to the server.

Configuring the NFS server

About the NFS server

NFS stands for Network File System. The NFS server will be used to serve directories to the slave. This part can be somewhat personalized later, but right now all we want is a preliminary slave node to boot diskless.

About Portmapper

Various client/server services do not listen on a particular port, but instead rely on RPCs (Remote Procedure Calls). When the service is initialised it listens on a random port and then registers this port with the Portmapper utility. NFS relies on RPCs and thus requires Portmapper to be running before it is started.

Before you start

The NFS Server needs kernel level support so if you don't have this you should recompile your master's kernel. To double check your master's kernel configuration type:

root #grep NFS /usr/src/linux/.config_master

You should see output that looks something like this if your kernel has been properly configured:

Installing the NFS server

The NFS package that can be acquired through portage by typing:

root #emerge --ask nfs-utils

This package will emerge a portmapping utility, nfs server, and nfs client utilities and will automatically handle initialisation dependencies.

Configuring the NFS server

There are three major configuration files you will have to edit:

The /etc/exports file specifies how, to who and what to export through NFS. The slave's fstab will be altered so that it can mount the NFS filesystems that the master is exporting.

A typical /etc/exports for the master should look something like this:

The first field indicates the directory to be exported and the next field indicates to who and how. This field can be divided in two parts: who should be allowed to mount that particular directory, and what the mounting client can do to the filesystem: ro for read only, rw for read/write; no_root_squash and no_all_squash are important for diskless clients that are writing to the disk, so that they don't get "squashed" when making I/O requests. The slave's fstab file, /diskless/192.168.1.21/etc/fstab , should look like this:

In this example, master is just the hostname of the master but it could easily be the IP of the master. The first field indicates the directory to be mounted and the second field indicates where. The third field describes the filesystem and should be NFS for any NFS mounted directory. The fourth field indicates various options that will be used in the mounting process (see mount(1) for info on mount options). Some people have had difficulties with soft mount points so we made them all hard, but you should look into various /etc/fstab options to make your cluster more efficient.

The last file you should edit is /etc/conf.d/nfs which describes a few options for nfs when it is initialised and looks like this:

You should change RPCNFSDCOUNT to the number of diskless nodes on the network.

Starting the NFS server

You should start the nfs server with its init script located in /etc/init.d by typing:

root #/etc/init.d/nfs start

If you want to this script to start when the system boots simply type:

root #rc-update add nfs default

Completing the slave filesystem

Copy the missing files

We will now make the slave's file system in sync with the master's and provide the necessary binaries while still preserving slave specific files.

root #rsync -avz /bin /diskless/192.168.1.21

root #rsync -avz /sbin /diskless/192.168.1.21

root #rsync -avz /lib /diskless/192.168.1.21

Заметка
The reason for rsync -avz instead of cp is to maintain symlinks and permissions.

Configure diskless networking

In order to prevent the networking initscript from killing the connection to your NFS server, you will need to add an option to /etc/conf.d/net on your diskless client's filesystem.

Заметка
For more information, please read /usr/share/doc/openrc-*/net.example.bz2 .

Initialisation scripts

You need as many init scripts under /diskless/192.168.1.21/etc/runlevels as you need services on your diskless nodes. It all depends on what you want your slaves to do.

Предупреждение
Do not use the rc-update program to add or remove scripts from the slave runlevels when logged on your master. This would change your master runlevels. You need to create the links manually or log into your slave nodes using ssh or connect a screen and keyboard to your slave.

Now is a good time to boot your slave and cross your fingers. It works? Congratulations, you are now the proud owner of (a) diskless node(s) :)

Acknowledgements

We would like to thank the following authors and editors for their contributions to this guide:

• Michael Andrews
• Kristian Jerpetjoen
• Sven Vermeulen
• Xavier Neys