\section{Реплицируемое блочное устройство DRBD}


Здесь детально рассматривается процедура
подготовки двух систем для синхронизации одного
из своих дисковых разделов с помощью DRBD.

Может применяться для организации отказоустойчивых систем
хранения данных и отказоустойчивых кластерных систем.

\subsection{Что такое DRBD?}
\textbf{DRBD} (англ. \textit{Distributed Replicated Block Device}, распределённое реплицируемое блочное устройство) --- это блочное устройство, 
предназначенное для построения отказоустойчивых кластерных систем на операционной системе Linux. DRBD занимается полным отражением (mirroring) по сети всех операций с блочным устройством. Можно считать, что DRBD это сетевой RAID-1.

DRBD берёт данные, записывает их на локальный диск и пересылает на другой хост.
На другом хосте они тоже записываются на диск.

Помимо DRBD в кластере должно быть ещё два важных компонента:
\begin{enumerate}
\item  Служба кластера (Cluster membership service), (в качестве которого чаще всего выступает \textit{heartbeat};
\item  Приложение, работающее поверх распределённого блочного устройства.
\end{enumerate}

Примеры приложений:
\begin{itemize}
\item  Файловая система c fsck;
\item  Журналируемая файловая система;
\item  СУБД;
\item  домен Xen.
\end{itemize}

\subsection{Как работает DRBD?}
Каждое DRBD-устройство (а DRBD-устройств одновременно может быть много)
находится в одном из двух состояний:
\begin{itemize}
\item  primary — главном (первичном);
\item  secondary — резервном (вторичном).
\end{itemize}
На узле, на котором DRBD-устройство находится в основном состоянии,
операционная система или процессы могут работать
с DRBD-устройством (оно доступно через файл-устройства \texttt{/dev/drbdX}).

Каждое обращение на запись к DRBD-устройству
отправляется локальном к нижележащему устройству
и на узел, на котором находится реплика устройства.
Резервное устройство, получившее запрос, выполняет запись.

Чтение выполняется всегда только локально.

\begin{center} \resizebox{10cm}{!}{\includegraphics{/var/lib/mediawiki/images/d/da/Drbd.png}}\\ \textit{}\end{center}

\begin{verbatim}

\end{verbatim}
Если основной узел падает, heartbeat  переключает запасной узел в
состояние ведущего и запускает приложения на нём
(если используется нежурналируемая файловая система,
кроме всего прочего ещё выполнится fsck).

Когда сбойный узел поднимается, DRBD-устройство на нём находится в состоянии
второстепенного (secondary), и оно начинается синхронизироваться с основным устройством.
Конечно же, это происходит в фоне, без нарушения работы системы.

Синхронизируются только те части устройства,
которые подверглись изменению.
DRBD старается выполнять ресинхронизацию максимально эффективным способом.
Начиная с DRBD-0.7 существует возможность
создания так называемых \textit{активных множеств} (active set)
определённого размера.
Что позволяет выполнять ресинхронизацию на 1—3 минуты, независимо от размера устройства (сегодня до 4TB) даже после падения активного узла.

\subsubsection{Какое отношение DRBD имеет к HA-кластерам?}
Сегодня HA-кластеры (отказоуйстойчивые кластеры) используют в своей работе внешние хранилища, которые подключаюся сразу к нескольким узлам.
Обычно это делается с помощью шин SCSI или Fibre Channel (но не обязательно).

DRBD позволяет делать похожие вещи, только оно не использует никакого специального оборудования, а работает поверх обычных IP-сетей.

\subsubsection{DRBD и кластерные файловые системы}
Как уже говорилось, обычно
DRBD-устройство работает на одном из узлов в режиме главного (primary role),
а на других — в режиме второстепенного или резервного (secondary role).
Запись идёт на устройство, которое находится в режиме главного,
а на остальные просто выполняется репликация.
Такой режим применим для классических отказоустойчивых кластеров,
его следует использовать, если на DRBD-устройстве непосредственно
находятся традиционные, не кластерные файловые системы (ext3, XFS, JFS и т.д.).

Начиная с DRBD-8.0.08 можно заставить работать оба узла в режиме primary.
Это даёт возможность монтировать кластерную ФС сразу на двух узлах
одновременно. Примеры таких кластерных файловых систем: \textit{GFS}, \textit{OCFS2}.

Кроме того, эта возможность DRBD позволяет выполнять живую миграцию
доменов Xen, которые используют эти устройства.
В этом случае использование кластерных систем в домене Xen
не является обязательным, можно обойтись традиционными системами,
такими как \textit{ext3}, \textit{XFS}, \textit{JFS}.

\subsection{DRBD: подготовка модуля ядра Linux}
Процедуры подготовки DRBD
для различных дистрибутивов Linux описаны здесь \htmladdnormallinkfoot{Howto Build and Install DRBD}{http://www.linux-ha.org/DRBD/HowTo/Install} (англ.).

В Debian GNU/Linux подготовка выполняется очень просто:

1) Найти пакет с модулем ядра:
\begin{verbatim}
    %# apt-cache search drbd
    drbd0.7-module-source - RAID 1 over tcp/ip for Linux module source
    drbd0.7-utils - RAID 1 over tcp/ip for Linux utilities
    drbd8-module-source - RAID 1 over tcp/ip for Linux module source
    drbd8-utils - RAID 1 over tcp/ip for Linux utilities
    drbdlinks - Manages symlinks into a shared DRBD partition
\end{verbatim}

2) Установить этот пакет:
\begin{verbatim}
    %# apt-get install drbd8-module-source
\end{verbatim}

3) Собрать и загрузить модуль ядра:
\begin{verbatim}
    %# module-assistant auto-install drbd8
\end{verbatim}

\subsection{Настройка DRBD}
Если инсталляция выполняется из архива исходных текстов,
нужно прочитать \texttt{README}, \texttt{INSTALL}
и \htmladdnormallinkfoot{DRBD/HowTo/Install}{http://www.linux-ha.org/DRBD/HowTo/Install}.
Нужно также ознакомится с файлами \texttt{upgrade\(\ast{}\).txt}
в каталоге \texttt{src/} drbd или непосредственно в репозитории проекта.

В дистрибутив входит хорошо прокомментированный конфигурационный файл-пример.
В архиве исходных текстов он находится в \texttt{./scripts/drbd.conf};
в пакетах может быть в одном из каталогов:
\texttt{/usr/\{shared/,\}doc/packages/drbd}.

Нужно отредактировать этот файл в соответствии с вашими требованиями,
а потом скопировать его на оба узла. Затем убедиться, что meta-disk\rq{}и
находятся в правильных местах.
Если вы настраиваете синхронизацию нескольких ресурсов,
убедитесь, что в файле \texttt{/etc/drbd.conf}
указаны разные порты (или разные IP) для этих ресурсов.

Пример фрагмента конфигурационного файла:
\begin{verbatim}
resource dns {
    protocol C;
    net {
        allow-two-primaries;
        after-sb-0pri discard-least-changes;
        after-sb-1pri call-pri-lost-after-sb;
        after-sb-2pri call-pri-lost-after-sb;
    }
    syncer {
        rate 5M;
    }
    on dom0
    {
        device /dev/drbd1;
        disk /dev/XEN/dns;
        address 192.168.1.190:7792;
        meta-disk /dev/XEN/meta[1];
    }
    on dom0m
    {
        device /dev/drbd1;
        disk /dev/XEN/dns;
        address 192.168.1.191:7792;
        meta-disk /dev/XEN/meta[1];
    }
}
\end{verbatim}


Нужно обратить особое внимание на местоположение метадиска.
Если DRBD не найдёт метаданных там, где он их ождиает, он создаст новые.
Если вы укажите на неверное место, будут переписаны несколько килобайтов
или даже несколько мегабайтов возможно полезных данных!
Если использовать внутренний метадиск (\texttt{meta-disk=internal}),
нужно обязательно уменьшить файловую систему раздела (если она там есть).

В настоящий момент метаданные DRBD забирают 128M,
независимо от настоящего размера физических данных.
В связи с этим маскимальный размер одного хранилища DRBD
не может превышать ~4TB.

Скопируйте \texttt{drbd.conf} в \texttt{/etc/drbd.conf}
на обоих узлах.
После этого на обоих узлах выполните команду:
\begin{verbatim}
   %# drbdadm up all
\end{verbatim}
Узлы должны подняться и перейти в состояние \textit{Secondary} и \textit{Inconsistent}.

Последнее связано с тем, что хранилища на нижнем уровне не синхронизированы между собой, 
и DRBD не знает откуда куда выполнять синхронизацию.
Источник и, соответственно, направлени синхронизации нужно указать явным образом указать.
Если данных нет, не имеет значения в какую сторону синхронизировать.
Если есть файловая система, которая должна быть скопирована,
указание неправильного направления приведёт к тому, что файловая система будет утеряна.

Выберите, какой из узлов будет \textit{primary} (если есть данные, то это должен
быть узел, на котором они уже есть).
После этого выполните:
\begin{verbatim}
  %# drbdsetup /dev/drbd1 primary -o
\end{verbatim}
или (для более старых версий)
\begin{verbatim}
   %# drbdadm -- --do-what-I-say primary all
\end{verbatim}
Команда установит одно из устройств /dev/drbd1 в основной режим (если быть точным, 
то это будет устройство на той машине, где вызывалась команда).
После этого должна выполниться полная синхронизация нижележащих устройств.

Устройство готово к использованию. Если у вас ещё нет файловой системы на нём,
можно её создать прямо сейчас.

Теперь:
\begin{itemize}
\item  Смонтируйте DRBD-устройство на том узле, который находится в состоянии \textit{primary};
\item  Отредактируйте какие-нибудь файлы;
\item  Размонтируйте DRBD;
\item  Переведите этот узел \textit{secondary}, а второй — \textit{primary};
\item  Смонитруйте DRBD на новом узле;
\item  Посмотрите изменения в файлах, которые вы сделали -- они должны были отразиться на втором узле.
\end{itemize}

Устройство настроено и готово к использованию.

\subsection{Пример настройки}
В этом примере используются устройства \texttt{/dev/drbdX}.
Раньше использовались \texttt{/dev/nbX}.
Исторически так сложилось что DRBD хищнечиски захватил
мажорный номер NBD (43) и узлы устройств.
Сейчас официально DRBD может использовать свой номер (147).
В связи с этим начиная с версии 0.7.1
по умолчанию используются свои номера устройств и названия файлов устройств.

Если система ничего не знает о \texttt{/dev/drbdX},
нужно создать их командой наподобие такой:
\begin{verbatim}
  %# for i in $(seq 0 15) ; do mknod /dev/drbd$i b 147 $i ; done
\end{verbatim}
Подробнее можно почитать в файлах \texttt{upgrade\(\ast{}\).txt},
упоминавшихся выше.

\begin{verbatim}
    # administration ips of the nodes:
    left=10.0.0.1
    right=10.0.0.2

    vi drbd.conf
    # double check.
    scp drbd.conf $left:/etc/drbd.conf
    scp drbd.conf $right:/etc/drbd.conf

    cmd='modprobe drbd; drbdadm up all; dmesg | tail; cat /proc/drbd'
    ssh root@$left -- "$cmd"
    ssh root@$right -- "$cmd"
\end{verbatim}

Фрагмент из dmesg (или syslog) должен выглядеть так
(в примере хранилище размером 5М).
\begin{verbatim}
    drbd: initialised. Version: 0.7.0 svn $Rev: 1442 $ (api:74/proto:74)
    drbd: registered as block device major 147

    nb: to have it register as 43 (NBD) you can say
    modprobe drbd use_nbd_major

    drbd0: Creating state block
    drbd0: resync bitmap: bits=1250 words=40
    drbd0: size = 5000 KB
    drbd0: Assuming that all blocks are out of sync (aka FullSync)
    drbd0: 5000 KB now marked out-of-sync by on disk bit-map.
    drbd0: Handshake successful: DRBD Network Protocol version 74
    drbd0: Connection established.
    drbd0: I am inconsistent, but there is no sync? BOTH nodes inconsistent!
    drbd0: Secondary/Unknown --> Secondary/Secondary
\end{verbatim}

Файл /proc/drbd должен выглядеть так:
\begin{verbatim}
    %# cat /proc/drbd
    version: 0.7.0 svn $Rev: 1442 $ (api:74/proto:74)

    0: cs:Connected st:Secondary/Secondary ld:Inconsistent
        ns:0 nr:0 dw:0 dr:0 al:0 bm:1 lo:0 pe:0 ua:0 ap:0
\end{verbatim}

Пусть \texttt{\$left} будет \textit{primary}:
\begin{verbatim}
    %# ssh root@$left -- "drbdadm primary all"
    ioctl(,SET_STATE,) failed: Input/output error
    Local replica is inconsistent (--do-what-I-say ?)
    Command line was '/sbin/drbdsetup /dev/drbd0 primary'
    drbdsetup exited with code 21
\end{verbatim}

Замечание: Это приведёт к перезагрузке системы (!)

В действительности drbdadm просто выполняет команду \dq{}incon-degr-cmd\dq{}.
Поскольку в примере был \dq{}halt -f\dq{},
вы сами попросили о перезапуске.
Возможно, лучше указать что-то менее жётское.
Это можно сделать, указав в файле \texttt{drbd.conf}:

\begin{verbatim}
incon-degr-cmd "echo 'DRBD: primary requested but inconsistent!' \
  | wall; sleep 300000";
\end{verbatim}

Ещё одна хорошая команда:

\begin{verbatim}
killall -9 heartbeat ipfail ccm
\end{verbatim}

Продолжаем.

\begin{verbatim}
# ok, this was expected.
# so double check that $left is the correct node.
# then force it:
ssh root@$left -- "drbdadm -- --do-what-I-say primary all"
# which will succeed silently.

## Bryce Porter suggests that:
## At this point, you need to connect the resource(s)
# ssh root@$left -- "drbdadm -- connect all"
#
## well, they should have been connected all along, see /proc/drbd excerpt above,
## so if this was neccessary, something "unexpected" happend already...
##     -- lge

ssh $left -- 'dmesg | tail ; cat /proc/drbd'
# output is:
drbd0: Resync started as SyncSource (need to sync 5000 KB [1250 bits set]).

version: 0.7.0 svn $Rev: 1442 $ (api:74/proto:74)

 0: cs:SyncSource st:Primary/Secondary ld:Consistent
    ns:9276 nr:0 dw:0 dr:9404 al:0 bm:2 lo:0 pe:915 ua:32 ap:0
        [=========>..........] sync'ed: 50.0% (4380/5000)K
        finish: 0:00:05 speed: 620 (620) K/sec

# or, to give an example from a larger device:
 0: cs:SyncSource st:Primary/Secondary ld:Consistent
    ns:12940824 nr:0 dw:87492 dr:13690591 al:109 bm:1668 lo:1000 pe:1876 ua:1000 ap:0
        [========>...........] sync'ed: 44.4% (15858/28487)M
        finish: 0:09:20 speed: 28,933 (25,160) K/sec

# whereas on the other node:
ssh $right -- 'dmesg | tail ; cat /proc/drbd'
drbd0: Resync started as SyncTarget (need to sync 5000 KB [1250 bits set]).

version: 0.7.0 svn $Rev: 1442 $ (api:74/proto:74)

 0: cs:SyncTarget st:Secondary/Primary ld:Inconsistent
    ns:0 nr:15000 dw:15000 dr:0 al:0 bm:6 lo:0 pe:0 ua:0 ap:0
        [=========>..........] sync'ed: 50.0% (5000/5000)K
        finish: 0:00:12 speed: 5 (5) K/sec

# or, to give an example from a larger device:
 0: cs:SyncTarget st:Secondary/Primary ld:Inconsistent
    ns:0 nr:27311780 dw:27311780 dr:0 al:0 bm:3447 lo:134 pe:493 ua:134 ap:0
        [==================>.] sync'ed: 93.7% (1818/28487)M
        finish: 0:01:07 speed: 27,482 (25,008) K/sec
\end{verbatim}

Убедимся, что всё работает:

\begin{verbatim}
# if you have no file system yet, create one
# ssh root@$left -- 'mkreiserfs /dev/drbd0'

ssh root@$left -- \
 'mkdir -p /mnt/ha0; mount /dev/drbd0 /mnt/ha0 && touch /mnt/ha0/been_there'

# 'switch over'
ssh root@$left -- \
 'umount /mnt/ha0 && drbdadm secondary all'
# even during sync!
ssh root@$right -- \
 'drbdadm primary all'
ssh root@$right -- \
 'mkdir -p /mnt/ha0; mount /dev/drbd0 /mnt/ha0 && ls -l /mnt/ha0/been_there'
\end{verbatim}

Обратите внимание, что хотя ошибки и не будет, но лучше так не делать:
\textit{SyncTarget} можно сделать \textit{primary}, но в случае проблем с сетью будет паника из-за отсутствия доступа к правильным данным.
Поэтому лучше так не делать никогда.

\subsection{Дополнительная информация}
\begin{itemize}
\item \htmladdnormallinkfoot{DRBD}{http://xgu.ru/wiki/DRBD} (рус.)
\item \htmladdnormallinkfoot{DRBD}{http://www.drbd.org/} (англ.) — домашняя страница проекта DRBD
\item \htmladdnormallinkfoot{DRBD FAQ}{http://www.linux-ha.org/DRBD/FAQ} (англ.)
\item \htmladdnormallinkfoot{Howto Build and Install DRBD}{http://www.linux-ha.org/DRBD/HowTo/Install} (англ.) — процедура подготовки DRBD, в частности модуля ядра Linux
\item \htmladdnormallinkfoot{Data Redundancy with DRBD}{http://www.drbd.org/drbd-article.html} (англ.) — статья о DRBD 0.6
\item \htmladdnormallinkfoot{DRBD How To in the IBB Wiki}{https://services.ibb.gatech.edu/wiki/index.php/Howto:Software:DRBD} (англ.) — специфичное для RedHat (Fedora, RHEL, CentOS и других RedHat-based) описание процедуры поднятия DRBD
\item \htmladdnormallinkfoot{Xen with DRBD, GNBD and OCFS2 HOWTO}{http://xenamo.sourceforge.net/index.html} (англ.) 
\item \htmladdnormallinkfoot{CLVM Project Page}{http://sources.redhat.com/cluster/clvm/} (англ.) - кластерный LVM
\item \htmladdnormallinkfoot{(openvz-wiki) HA cluster with DRBD and Heartbeat}{http://wiki.openvz.org/HA\_cluster\_with\_DRBD\_and\_Heartbeat} HA cluster with DRBD and Heartbeat (англ.) 
\item \htmladdnormallinkfoot{DRBD, Xen und Heartbeat}{http://www.pro-linux.de/work/virtual-ha/virtual-ha5.html} (нем.)
\item http://te.to/~ts1/xen\_cluster.html (англ.)

\subsubsection{Обсуждения}
\item \htmladdnormallinkfoot{Sensible maximum number of drbd devices}{http://www.gossamer-threads.com/lists/drbd/users/10007} (англ.) - вопросы использования Xen и DRBD
\item \htmladdnormallinkfoot{(DRBD-user) DRBD 8.0, how to manage a split-brain on Master-Master}{http://lists.linbit.com/pipermail/drbd-user/2005-September/003779.html} (англ.) 
\item \htmladdnormallinkfoot{(Xen-devel) Debian, Xen and DRBD: Enabling true server redundancy}{http://lists.xensource.com/archives/html/xen-devel/2005-06/msg00544.html} (англ.) 
\end{itemize}

