xg-scale: 4730a0d07d88 xen/drbd.tex

xg-scale

view xen/drbd.tex @ 0:4730a0d07d88

Исходники курса после первого прочтения.
Правки (которых должно быть много),
ещё пока не вносились.

author	Igor Chubin <igor@chub.in>
date	Tue Jul 01 16:16:44 2008 +0300 (2008-07-01)
parents
children

line source

1 \section{Построение отказоустойчивого кластера виртуальных машин Xen + DRBD}

3 \subsection{Идея}

4 Компоненты:

5 \begin{itemize}

6 \item \textbf{Xen} — монитор виртуальных машин (VMM, Virtual Machine Monitor) или гипервизор (hypervisor) с поддержкой паравиртуализации (para-virtualization) для процессоров x86 архитектуры, распространяющийся с открытым исходным кодом (opensource). Xen может организовать совместное безопасное исполнение нескольких виртуальных машин на одной физической системе с производительностью близкой к непосредственной (native).

7 \item \textbf{LVM} (Logical Volume Manager) — менеджер логических томов операционной системы Linux. LVM предоставляет собой дополнительный уровень абстракции между физическими/логическими дисками и файловой системой.

8 \item \textbf{DRBD} (Distributed Replicated Block Deice) — блочное устройство, предназначенное для построения отказоустойчивых кластерных систем на операционной системе Linux. DRBD занимается полным отражением (mirroring) по сети всех операций с блочным устройством. Можно считать, что DRBD это сетевой RAID-1.

9 \end{itemize}

11 Терминология:

12 \begin{itemize}

13 \item узел — физический сервер, на котором исполняются виртуальные машины;

14 \item DRBD-устройство — дисковый раздел или логический том LVM, синхронизируемый с помощью DRBD;

15 \item домен — работающая виртуальная машина Xen;

16 \item кластер — два узла, которые имеют общие DRBD-устройства, поверх которых выполняются общие домены Xen.

17 \end{itemize}

19 Идея заключается в том, чтобы в качестве дисковых устройств для виртуальных машин Xen,

20 использовать DRBD-устройства. DRBD устройства в свою очередь размещаются поверх LVM томов машин входящих в кластер.

22 DRBD отвечает за полную синхронизацию операций с дисковыми системами, выполняющимися доменами Xen.

24 С точки зрения внешнего наблюдателя не имеет значения, на каком из узлов кластера

25 в настоящий момент выполняется виртуальная машина.

27 При плановом выведении узла из эксплуатации,

28 машины, работающие на нём, мигрируют на второй узел кластера.

29 Это совершенно незаметно с точки зрения внешнего наблюдателя.

31 При внезапной остановке одного из узлов машины,

32 работавшие на нём, запускаются на втором узле.

33 С точки зрения внешнего наблюдателя, работавшего с виртуальной машиной,

34 которая исполнялась на внезапно выключившемся узле, это выглядит

35 как перезагрузка машины.

37 Виртуальные машины могут быть произвольно распределены по узлам кластера.

39 \begin{center} \resizebox{10cm}{!}{\includegraphics{/var/lib/mediawiki/images/4/4b/Xen-drbd.png}}\\ \textit{}\end{center}

41 \subsection{Инсталляция и управление кластером}

42 \subsubsection{Подготовка узлов}

44 Подготовка узлов может выполняться вручную или с помощью

45 вспомогательных средств, таких, например, как скрипт \textit{xen-drbd-install}.

46 Скрипт \textit{xen-drdb-install} предназначен для облегчения

47 рутинных операций, выполняющихся при инсталляции

48 нового кластера виртуализации с повышенной отказоустойчивостью,

49 построенного на основе Xen и DRBD.

51 В результате работы \textit{xen-drbd-install}

52 создаётся сценарий командного интерпретатора,

53 который выполняет такие действия:

54 \begin{enumerate}

55 \item Подготовка LVM томов;

56 \item Настройка DRBD устройств;

57 \item Наполнение файловых систем доменов.

58 \end{enumerate}

60 Полученный сценарий может быть доработан вручную,

61 а может использоваться непосредственном в том

62 виде, как его сгенерирует \textit{xen-drbd-install}.

64 \subsubsection{Управление узлами}

66 Скрипт \textit{xen-drbd}

67 обеспечивает взаимное соответсвие

68 состояния DRBD-устройств и доменов Xen, использующих их.

69 Он следит за тем, чтобы при выполнении таких

70 операций как запуск и миграция доменов,

71 используемые DRBD-устройства

72 переключались основное (primary) или резервное (secondary) состояние

73 в зависимости от точки запуска или направления миграции.

75 Он также следит за тем, чтобы один и тот же домен

76 нельзя было запустить на разных узлах кластера

77 несколько раз.

79 Кроме этого, \textit{xen-drbd} контролирует процесс запуска и останова узлов:

80 он инициирует миграцию доменов с одного узла на другой в случае

81 останова первого; и обратную миграцию при запуске узла.

83 \subsection{Взаимный контроль узлов с помощью heartbeat}

84 Кластер функционален уже — без настройки и использования heartbeat —

85 однако функциональность его частична:

86 при выходе из строя одного из узлов кластера

87 доступными останутся только те домены, которые

88 исполнялись на нём в момент выхода из строя второго узла.

89 Оставшиеся домены можно будет поднять, но только вручную.

90 Нужно же, чтобы каждый из узлов имел возможность определить,

91 что его напарник пропал, и запустить все недостающие домены.

92 При этом особенно важно избежать случая, когда каждый узел

93 ошибочно решит, что его напарник выключился, в то время как

94 оба они будут работать, но по какой-то причине перестанут видеть друг друга.

95 В этом случае может наступить опасная ситуация, касающаяся взаимной противоречивости данных на DRBD-устройствах, и названная \textit{split-brain}.

97 \subsection{Резервирование коммутаторов и сетевых адаптеров}

98 \subsubsection{Использование аггрегированных каналов}

99 Сетевые адаптеры узлов могут быть зарезервированы

100 путём аггрегирования каналов,

101 соединяющих узел с коммутатором.

102

103 В каждом сервере должно быть по два сетевых адаптера,

104 каждый из которых подключается к коммутатору.

105 Они работают как единое целое, то есть два канала

106 выглядят как один аггрегированный.

107

108 При пропадении одного из соединений (это может быть связано

109 с неполадками адаптера, соединительного кабеля или порта коммутатора)

110 система продолжает работу на оставшемся.

111 В системном журнале появляется сообщение о

112 возникшей проблеме.

113

114 Для работы аггрегированного канала необходима поддержка

115 со стороны коммутатора:

116 \begin{itemize}

117 \item он должен поддерживать аггрегированные каналы;

118 \item он должен быть настроен соответствующим образом.

119 \end{itemize}

120

121 \subsubsection{Использование виртуального моста и STP}

122 Построить аггрегированный канал на два независимых коммутатора

123 нельзя (за некоторыми проприетарными исключениями).

124

125 Можно отказаться от использования аггрегированного канала

126 и с некоторой потерей функциональности перейти на использование

127 протокола STP и виртуального моста.

128 Это позволит сделать резервирование коммутатора, однако

129 у такого решения есть недостаток:

130 в отдельно взятый момент времени будет работать один из каналов.

131

132 Подключение одного узла выглядит так:

133 \begin{verbatim}

134 +---------------------------+

135 |HOST peth0 |

136 | +--+ | +--------------+

137 | +------+ +-+------| switch1 |

138 | | +--+ | +---+----------+

139 |veth0+---------+----+ | |

140 | ---+ linux bridge | | |

141 | +---------+----+ | |

142 | | +--+ | +---+----------+

143 | +------+ +-+------+ switch2 |

144 | +--+ | +--------------+

145 | peth1 |

146 +---------------------------+

147 \end{verbatim}

148

149 Соединения с коммутаторами происходят не напрямую

150 а через виртуальных мост (linux bridge) внутри хоста.

151 Этот мост поддерживает протокол STP

152 и в этом контексте может рассматриваться как обычный

153 коммутатор, который не может выйти из строя (точнее,

154 может, но только вместе с хостом, внутри которого он работает).

155

156 Соединенние двух коммутаторов и двух узлов выглядит так

157 (соединения heartbeat может и не быть, в этом случае

158 в качестве heartbeat-канала будут использоваться

159 основные соединения):

160 \begin{verbatim}

161 +---------------------------+

162 |HOST1 peth0 |

163 | +--+ | +--------------+

164 | +------+ +-+------| switch1 |

165 | | +--+ | ++--+----------+

166 |veth0+---------+----+ | +---+ |

167 | ---+ linux bridge | | | |

168 | +---------+----+ | | |

169 | | +--+ | | +---+----------+

170 | +------+ +-+---|--+ switch2 |

171 | +--+ | | +---+----------+

172 | peth1 | | |

173 +-------+-------------------+ | |

174 | | |

175 |heartbeat | |

176 +-------+-------------------+ | |

177 |HOST2 peth0 | | |

178 | +--+ | | |

179 | +------+ +-+---+ |

180 | | +--+ | |

181 |veth0+---------+----+ | |

182 | ---+ linux bridge | | |

183 | +---------+----+ | |

184 | | +--+ | |

185 | +------+ +-+----------+

186 | +--+ |

187 | peth1 |

188 +---------------------------+

189 \end{verbatim}

190

191 \subsubsection{Сравнение использования аггрегированных каналов и виртуального моста}

192 Минусы:

193

194 \begin{enumerate}

195 \item Каналы не объединияются, а используются попеременно.

196 \item Переключение с одного канала на другой происходит достаточно долго. При настройках коммутатора по умолчанию процесс переключения может занять до минуты. Это связано с работой STP. В RSTP было бы быстрее, но RSTP Linux Bridge пока не поддерживает.

197 \end{enumerate}

198

199 Плюсы:

200

201 \begin{enumerate}

202 \item От коммутаторов ничего не требуется кроме поддержки STP;

203 \item Можно подключаться к двум независимым коммутаторам;

204 \item Не требуется никакая дополнительная настройка коммутаторов.

205 \end{enumerate}

206

207 \subsection{Отдельные вопросы эксплуатации xen-drbd}

208 \subsubsection{Создание новых устройств DRBD}

209 При синхронизации множества отдельных томов с помощью DRBD

210 нужно обратить внимание на следующее:

211 \begin{itemize}

212 \item Количество синхронизируемых устройств DRBD ограничено (<=255);

213 \item Для синхронизации отдельных устройств DRBD используются отдельные TCP-порты. При добавлении нового DRBD-устройства обратите внимание на то, что бы порт, который вы назначаете ему для синхронизации, уже не был занят.

214 \item Используйте внешние метадиски, поскольку в случае когда метадиск является внутренним, поведение DRBD при изменении размера логического тома может оказаться неожиданным.

215 \end{itemize}

216

217 \paragraph{Множество DRBD-устройств}

218 Количество синхронизируемых устройств DRBD ограничено.

219 Максимальное количество используемых одновременно DRBD-устройств

220 задаётся в качестве параметра \texttt{minor\_count} модуля ядра \textbf{drbd}

221 при его загрузке. Этот параметр не может превышать 255.

222

223 \begin{verbatim}

224 $ sudo modinfo drbd

225 filename: /lib/modules/2.6.18-3-xen-686/kernel/drivers/block/drbd.ko

226 author: Philipp Reisner <phil@linbit.com>, Lars Ellenberg <lars@linbit.com>