xg-scale

annotate aoe.tex @ 4:253d66dd74bb

Добавлено подробное описание управления памятью домена и выделением устройств домену
author Igor Chubin <igor@chub.in>
date Sun Jul 06 23:27:46 2008 +0300 (2008-07-06)
parents
children
rev   line source
igor@0 1 \section{ATA over Ethernet}
igor@0 2
igor@0 3 Описываемая технология построения хранилищ даёт возможность строить дисковые массивы
igor@0 4 для архивов, резервных копий или традиционного использования
igor@0 5 на базе обычных дисков ATA, которые дешевле даже чем лента.
igor@0 6 Эта технология может оказаться особенно интересной для тех,
igor@0 7 кто использует виртуализированные системы на базе Xen.
igor@0 8
igor@0 9 Технология является альтернативой для iSCSI, но с более узким
igor@0 10 спектром задач, где она может использоваться. Подробнее об этом ниже,
igor@0 11 в разделе \textit{\dq{}Преимущества и недостатки AoE\dq{}}.
igor@0 12
igor@0 13 \subsection{Введение}
igor@0 14 Данные некоторых видов огромны просто в силу своей природы.
igor@0 15 Видео, например, как правило занимает большой объём диска.
igor@0 16 В связи с широким распространением видеонаблюдения
igor@0 17 потребность в хранении видео-данных становится ещё более актуальной.
igor@0 18
igor@0 19 Резервное копирование и избыточность данных
igor@0 20 имеет существенное значение для любого дела,
igor@0 21 в котором используются компьютеры.
igor@0 22 Похоже, не важно, какой объём хранилища -- всегда хочется иметь больше.
igor@0 23 Даже почта может вырасти за пределы контейнера, в котором она лежит.
igor@0 24 Это хорошо известно провайдерам Интернет-услуг.
igor@0 25
igor@0 26 Хранилище неограниченного размера вполне имеет право на существование,
igor@0 27 если сделать так, чтобы диски можно было вынести за предел корпуса
igor@0 28 и отвязать хранилище от компьютера, которые его использует.
igor@0 29 Принцип развязки связанных компонент с целью достижения большей гибкости
igor@0 30 хорошо показал себя во множестве различных областей,
igor@0 31 не только при построении хранилищ.
igor@0 32 Модульный код обладает гибкостью, которая позволяет
igor@0 33 применять его в непредвиденных ситуациях или
igor@0 34 стерео-система, сделанная из компонентов,
igor@0 35 может использоваться в различных интересных конфигурациях,
igor@0 36 а не только как аудио-комбайн.
igor@0 37
igor@0 38 Наиболее известный пример хранилищ, работающих из коробки это, наверное, SAN (storage area network).
igor@0 39 Когда SAN\rq{}ы только появились вокруг них был большой шум и переполох.
igor@0 40 Сложно было выяснить, что же это в действительности такое.
igor@0 41 А когда в итоге это всё-таки получилось, выяснилось что это нечто
igor@0 42 сложное, проприетарное и дорогое.
igor@0 43
igor@0 44 Однако, поддерживая SAN\rq{}ы Linux-сообщество сделало несколько полезных изменений в ядре.
igor@0 45 Сегодня в ядрах Linux есть возможности, которых ещё несколько лет назад очень не хватало.
igor@0 46 Они могут использоваться как гигантские блочные устройства, выходящие далеко
igor@0 47 за старые пределы в два терабайта (именно терабайта! подробности, например, в \url{http://lkml.org/lkml/2002/5/9/217} и \url{http://kerneltrap.org/node/186}). Они поддерживают намного больше
igor@0 48 одновременно подключённых дисков. Также появились богатые возможности управления томами.
igor@0 49 В дополнение ко всему прочему, файловые системы могут теперь расширяться до огромных размеров,
igor@0 50 даже когда они смонтированы и используются.
igor@0 51
igor@0 52 Здесь рассматриваются новые пути использования эти возможности ядра:
igor@0 53 диски выносятся из компьютера старые пределы ёмкости преодолеваются.
igor@0 54 Можно воспринимать ATA over Ethernet как способ заменить IDE-кабель
igor@0 55 сетью Ethernet. Когда хранилище и компьютер развязаны и между ними стоит такая гибкая вещь
igor@0 56 как Ethernet, возможности ограничены только воображением и желанием изучать новые вещи.
igor@0 57
igor@0 58 \subsection{Что такое AoE}
igor@0 59 ATA over Ethernet (AoE) — это сетевой протокол, зарегистрированный IEEE как Ethernet-протокол
igor@0 60 номер 0x88a2. AoE это низкоуровневый протокол, намного более простой чем TCP/IP или даже просто IP.
igor@0 61 TCP/IP и IP нужны обязательно, если требуется организовать (надёжную) передачу данных через Интернет,
igor@0 62 но на компьютер в этом случае ложится намного большая нагрузка, для того чтобы
igor@0 63 обеспечить ту сложность, которая присуща этим протоколам.
igor@0 64
igor@0 65 Особенно хорошо это известно пользователям iSCSI.
igor@0 66 iSCSI позволяет перенаправить ввод/вывод поверх TCP/IP,
igor@0 67 что в свою очередь даёт возможность заменить дорогое оборудование Fibre Channel на значительно
igor@0 68 более дешёвое Ethernet и IP.
igor@0 69 Зачастую iSCSI используется совместно с устройствами для разгрузки TCP (TCP offload engines, TOE).
igor@0 70 Эти устройства довольно дорогие, но они снимают часть нагрузки TCP/IP
igor@0 71 с центрального процессора машин, использующих iSCSI.
igor@0 72
igor@0 73 Интересно, что в большинстве своём iSCSI не используется поверх собственно сети Интернет.
igor@0 74 Чаще всего пакеты просто передаются на машину, стоящую в соседней серверной стойке,
igor@0 75 и в этом случае вся мощь TCP/IP оказывается просто избыточной.
igor@0 76
igor@0 77 Резонный вопрос, почему бы вместо того что разгружать TCP/IP вообще от него не избавиться?
igor@0 78 Протокол AoE именно это и делает.
igor@0 79 И вместо того чтобы полагаться на TCP/IP, он полагается на возможности современных коммутаторов,
igor@0 80 у которых не бывает коллизий, есть возможность управления потоком и
igor@0 81 постоянно растёт производительность.
igor@0 82 В локальной сети сохраняется последовательность пакетов
igor@0 83 и для каждого пакеты сетевым оборудованием вычисляется контрольная сумма.
igor@0 84
igor@0 85 В каждом AoE пакете находится команда для ATA-диска или ответ от ATA-диска.
igor@0 86 Драйвер AoE в ядре Linux выполняется AoE и делает диск доступным как обычное
igor@0 87 блочное устройство, такое, например, как \texttt{/dev/etherd/e0.0} -- точно также
igor@0 88 как IDE-драйвер делает диск, подключённый к концу IDE-кабеля, доступным как \texttt{/dev/hda}.
igor@0 89 Драйвер, если нужно, ретранслирует пакеты, так что AoE-устройство выглядит для остального ядра как обычный диск.
igor@0 90
igor@0 91 В дополнение к ATA командам, у AoE есть простая возможность идентификации
igor@0 92 доступных устройств с помощью конфигурационных опросных пакетов (query config packets).
igor@0 93 Это всё: ATA команды и конфигурационных опросные пакеты.
igor@0 94
igor@0 95 Возникает вопрос:
igor@0 96 если все диски находятся в сети, тогда как я могу ограничить доступ к дискам?
igor@0 97 Как можно быть уверенным что, даже если машину А взломали, что диски машины B в безопасности?
igor@0 98
igor@0 99 Ответ в том, что AoE немаршрутизируемый протокол. Можно легко определить какой компьютер
igor@0 100 будет видеть какие диски путём конфигурирования Ethernet-сети.
igor@0 101 Поскольку AoE-устройствам не нужны IP-адреса, создать изолированные
igor@0 102 Ethernet-сети несложно.
igor@0 103 Большинство современных коммутаторов имеют возможность организации
igor@0 104 VLAN\rq{}ов, что позволяет легко разделить коммутатор на несколько широковещательных доменов.
igor@0 105
igor@0 106 Протокол AoE настолько легковесный, что его может использовать даже самое недорогое железо
igor@0 107 (существует как минимум один производитель оборудования, поддерживаеющего ATA over Ethernet — Coraid).
igor@0 108 Описание спецификаций AoE помещается на 8 страниц. Простота протокола выглядит контрастно
igor@0 109 по отношению к iSCSI, который описывается на сотнях страниц,
igor@0 110 включая спецификации по шифрованию, маршрутизации, контролю доступа
igor@0 111 и множеству других вопросов.
igor@0 112
igor@0 113 Простые примитивы могут быть очень мощными.
igor@0 114
igor@0 115 \subsection{Стэн-архиватор}
igor@0 116 Эта история основана на реальных событиях, случившихся с гражданином
igor@0 117 одного другого государства.
igor@0 118
igor@0 119 Стэн — вымышленный админ, работающий на государственной службе.
igor@0 120 В соответствии с новым государственным законом той страны все официальные
igor@0 121 документы должны архивироваться. Любой гражданин государства
igor@0 122 может потребовать показать любой документ в любое время.
igor@0 123 Из-за этого Стэну понадобилось огромное хранилище, которое может расти
igor@0 124 без всяких ограничений. Производительность хранилища может не быть
igor@0 125 больше производительности локального диска. Любые данные из хранилища
igor@0 126 должны доставаться легко и мгновенно.
igor@0 127
igor@0 128 Стэн уверенно чувствует себя в системном администрировании Linux и Ethernet сетях,
igor@0 129 и из-за этого он решает попробовать для своей задачи ATA over Ethernet.
igor@0 130 Он покупает кое-какое оборудование, потратив на это меньше \$6.5K:
igor@0 131 \begin{itemize}
igor@0 132 \item Одна двухпортовая гигабитная Ethernet-карта, вместо старой 100-мегабитной карты.
igor@0 133 \item Один 26-портовый коммутатор с двумя гигабитными портами.
igor@0 134 \item Одну полку Coraid EtherDrive и десять блэйдов EtherDrive.
igor@0 135 \item Десять 400GB ATA жестких дисков.
igor@0 136 \end{itemize}
igor@0 137
igor@0 138 Оборудование может быть объединеное в программный RAID-10 — чередование поверх зеркалированных пар.
igor@0 139 Хотя этак конфигурация не даёт столько ёмкости как конфигурация RAID 5,
igor@0 140 она максимизирует отказоустойчивость, надёжность, снижает нагрузку
igor@0 141 на процессор и время реинициализации диска при замене.
igor@0 142
igor@0 143 Имеет смысл поверх AoE-дисков использовать
igor@0 144 LVM и файловые системы с возможностью online-расширения, такие например,
igor@0 145 как ext3, XFS или JFS.
igor@0 146 Это даст возможность в дальнейшем, при необходимости купить новую заполненную
igor@0 147 полку, создать ещё один RAID 10, превратить его в физический том,
igor@0 148 и использовать этот том для расширения
igor@0 149 объёма логических томов с файловыми системами.
igor@0 150
igor@0 151 Для старых систем нужно скомпилировать драйвер
igor@0 152 AoE с AOE\_PARTITIONS=1 (в частности, sarge не поддерживал большие минорные номера),
igor@0 153 поэтому он выключает поддержку разделов, для того чтобы использовать побольше дисков.
igor@0 154
igor@0 155 \begin{verbatim}
igor@0 156 %# # Настройка хоста для работы с AOE
igor@0 157
igor@0 158 %# # Сборка и инсталляция драйвера aoe
igor@0 159 %# tar xvfz aoe-2.6-5.tar.gz
igor@0 160 %# cd aoe-2.6-5
igor@0 161 %# make AOE_PARTITIONS=1 install
igor@0 162
igor@0 163 %# # Настройка сети
igor@0 164 %# # Для AoE IP-адрес не нужен
igor@0 165 %# ifconfig eth1 up
igor@0 166
igor@0 167 %# # Чтобы быть уверенным что интерфейс успел подняться, нужно подождать какое-то время
igor@0 168 %# # И после этого загрузить драйвер aoe
igor@0 169 %# sleep 5
igor@0 170 %# modprobe aoe
igor@0 171
igor@0 172 %# # Теперь можно посмотреть какие AoE-устройства есть в сети
igor@0 173 %# aoe-stat
igor@0 174 \end{verbatim}
igor@0 175
igor@0 176 \subsection{Минорные номера устройств}
igor@0 177 Программы, которые хотят использовать устройство, как правило, обращаются к нему
igor@0 178 через специальный файл, соответствующий ему. Типичный пример -- файл \texttt{/dev/hda}.
igor@0 179 Команда \texttt{ls -l} покажет для этого устройства, \texttt{/dev/hda}, номера 3 и 0.
igor@0 180 Мажорный номер 3 и минорный номер 0. А у устройства \texttt{/dev/hda1} минорный номер 1,
igor@0 181 в то время как мажорный номер тоже 3.
igor@0 182
igor@0 183 До ядра 2.6 минорный номер был 8битный, ограничивая возможное количество номеров от 0 до 255.
igor@0 184 Ни у кого и не было столько устройств, поэтому ограничение не имело существенного значения.
igor@0 185 Теперь, когда диски могут быть отвязаны от серверов, ограничение стало важным --
igor@0 186 в настоящее время ядро 2.6 использует до 20 бит для минорного номера устройства.
igor@0 187
igor@0 188 Иметь 1048576 разных значений для минорного номера это большая помощь для систем, в которых
igor@0 189 много устройств, но не всякое программное обеспечение может с этим разобраться.
igor@0 190 Если glibc или другая программа всё ещё думает, что минорные номера 8-битные,
igor@0 191 будет проблематично заставить её использовать номера превышающие 255.
igor@0 192
igor@0 193 Для облегчения перехода, драйвер AoE может быть скомипилирован
igor@0 194 без поддержки разделов.
igor@0 195 Это позволит вместо 16 номеров на диск использовать только один.
igor@0 196 Так что, даже на системах, которые до сих пор не поддерживают большие
igor@0 197 минорные номера как ядро 2.6, можно использовать до 256 AoE дисков.
igor@0 198
igor@0 199 Команды для создания файловой системы и логических томов показаны на листинге 2.
igor@0 200 Стэн решил назвать группу ben и логический том franklin.
igor@0 201 После этого нужно сделать небольшие изменения в конфигурации LVM2.
igor@0 202 Во-первых, нужно добавить строку с типом = [\dq{}aoe\dq{}, 16],
igor@0 203 так чтобы LVM распознал AoE-диски. Во-вторых, нужно указать md\_component\_detection = 1,
igor@0 204 чтобы диски внутри RAID 10 игнорировались, как только весь RAID 10
igor@0 205 стал физическим томом.
igor@0 206
igor@0 207 \begin{verbatim}
igor@0 208 %# # ускорить инициализацию массива
igor@0 209 %# for f in `find /proc | grep speed`; do echo 100000 > $f done
igor@0 210
igor@0 211 %# создать массив (mdadm will manage hot spares)
igor@0 212 %# mdadm -C /dev/md1 -l 1 -n 2 /dev/etherd/e0.0 /dev/etherd/e0.1
igor@0 213 %# mdadm -C /dev/md2 -l 1 -n 2 /dev/etherd/e0.2 /dev/etherd/e0.3
igor@0 214 %# mdadm -C /dev/md3 -l 1 -n 2 /dev/etherd/e0.4 /dev/etherd/e0.5
igor@0 215 %# mdadm -C /dev/md4 -l 1 -n 2 -x 2 \
igor@0 216 /dev/etherd/e0.6 /dev/etherd/e0.7 \
igor@0 217 /dev/etherd/e0.8 /dev/etherd/e0.9
igor@0 218 %# sleep 1
igor@0 219
igor@0 220 %# распределение по зеркалам
igor@0 221 %# mdadm -C /dev/md0 -l 0 -n 4 \
igor@0 222 /dev/md1 /dev/md2 /dev/md3 /dev/md4
igor@0 223
igor@0 224 %# # превращаем RAID10 в физический том, и добавляем его в группу
igor@0 225 %# pvcreate /dev/md0
igor@0 226 %# vgcreate TURBO /dev/md0
igor@0 227
igor@0 228 %# # смотрим количество экстентов
igor@0 229 %# vgdisplay TURBO | grep -i 'free.*PE'
igor@0 230
igor@0 231 %## создаём том, занимающий всё свободное пространство
igor@0 232 %# lvcreate --extents 88349 --name vol1 TURBO
igor@0 233 %# modprobe jfs
igor@0 234 %# mkfs -t jfs /dev/TURBO/vol1
igor@0 235 %# mkdir /vol1
igor@0 236 %# mount /dev/TURBO/vol1 /vol1
igor@0 237 \end{verbatim}
igor@0 238
igor@0 239 На системе Debian Sarge с двумя процессорами
igor@0 240 Athlon MP, 1 GB памяти, сетевой картой Intel PRO/1000MT и 40GB дисками
igor@0 241 и коммутатором Netgear FS526T
igor@0 242 с RAID 10 работающим поверх 8 блэйдов EtherDrive в полке Coraid
igor@0 243 была зафиксирована произодвительность 23.58MB/s на чтение
igor@0 244 и 17.45MB/s на запись.
igor@0 245 Измерения делались
igor@0 246 путём копирования 1GB файла в /dev/null после сброса кэша.
igor@0 247 Во время копирования включена также команда sync.
igor@0 248
igor@0 249 RAID 10 в данном случае состоит из четырёх stripe\rq{}ов,
igor@0 250 каждый из которых это пара зеркалированных дисков.
igor@0 251 Вообще, можно вычислить производительность
igor@0 252 набора блэйдов EtherDrive исходя только из количества stripe\rq{}ов в нём.
igor@0 253 Для RAID 10 stripe\rq{}ов будет в два раза меньше чем дисков,
igor@0 254 поскольку каждый диск зеркалируется на другой диск.
igor@0 255 Для RAID 5 один диск выделяется под чётность, оставляя остальные диски для stripe\rq{}ов.
igor@0 256
igor@0 257 Ожидаемая пропускная способность чтения равна количеству stripe\rq{}ов умножить на 6MB/s.
igor@0 258 Это означает, что если Стэн изначальное купил бы две полки
igor@0 259 и собрал бы из них 18-блэйдный RAID 10 вместо своего 8-блэйдного, он мог ожидать
igor@0 260 прироста производительности более чем в два раза.
igor@0 261 Стэну не нужна такая большая производительность и он хочет начать с маленькой файловой системы,
igor@0 262 размером 1.6TB.
igor@0 263
igor@0 264 Ниже показано как можно расширить файловую систему.
igor@0 265
igor@0 266 На листинге не показан файл \#mdadm-aoe.conf\# и стартовые/стоповые скрипты.
igor@0 267 Конфигурационный файл mdadm указывает процессу mdadm, работающему в режиме монитора,
igor@0 268 как выполнять горячую замену, чтобы можно было заменить сбойный диск в зеркале.
igor@0 269 Подробности о группах резервирования (spare groups) можно прочитать на man-странице
igor@0 270 по mdadm.
igor@0 271
igor@0 272 Увеличить файловую систему без размонтирования, установить массив RAID 10, добавить его в группу томов и затем увеличить файловую систему:
igor@0 273
igor@0 274 \begin{verbatim}
igor@0 275 %# # когда для второй полки сделан RAID10, добавляем его в группу томов
igor@0 276 %# vgextend TURBO /dev/md5
igor@0 277 %# vgdisplay TURBO | grep -i 'free.*PE'
igor@0 278
igor@0 279 %# # увеличиваем логический том и файловую систему
igor@0 280 %# lvextend --extents +88349 /dev/TURBO/vol1
igor@0 281 %# mount -o remount,resize /vol1
igor@0 282 \end{verbatim}
igor@0 283
igor@0 284 Стартовый и стоповый скрипты легко создать.
igor@0 285 Стартовый скрипт просто собирает зеркалированные пары RAID 1,
igor@0 286 собирает все RAID 0 и запускает процесс мониторинга mdadm.
igor@0 287 Стоповый скрипт останавливает монитор mdadm,
igor@0 288 останавливает RAID 0 и, в последнюю очередь,
igor@0 289 останавливает RAID 1.
igor@0 290
igor@0 291 \subsection{Совместный доступ к блочным хранилищам}
igor@0 292 Теперь, после того как мы увидели конкретный пример ATA over Ethernet в действии,
igor@0 293 может возникнуть вопрос: \dq{}А что произойдёт, если другой хост попытается получить
igor@0 294 доступ к данным, когда с ними уже работает какой-то хост в сети?\dq{}
igor@0 295 Сможет ли этот второй хост подмонтировать файловую систему JFS и получить доступ
igor@0 296 к тем же данным? Короткий ответ такой: \dq{}Да, но это не безопасно!\dq{}.
igor@0 297 JFS, как и ext3, как и многие другие файловые системы спроектированы
igor@0 298 для использования на отдельном хосте. И для таких файловых систем
igor@0 299 одновременный доступ с нескольких хостов приведёт к повреждениям.
igor@0 300 Причина -- в кэш-буфере, который унифицирован с кэшем страниц в ядре 2.6.
igor@0 301
igor@0 302 Linux кэширует данные файловых систем в оперативной памяти
igor@0 303 везде, где это только возможно, дабы избежать использования
igor@0 304 медленного блочного устройства и добиться хорошего прироста производительности.
igor@0 305 Вы могли видеть результат наглядно,
igor@0 306 когда, например, запускали \textbf{find} дважды
igor@0 307 поверх одного и того же каталога.
igor@0 308
igor@0 309 Некоторые файловые системы спроектированы так, что они могут использоваться одновременно
igor@0 310 несколькими хостами — такие файловые системы называют \textit{кластерными}.
igor@0 311 Они имеют механизмы для проверки, синхронизирован ли кэш на всех
igor@0 312 машинах с нижележащей файловой системой.
igor@0 313 Отличный пример такой системы с открытым кодом это GFS.
igor@0 314 GFS использует кластерное программное обеспечение
igor@0 315 для того чтобы отследить, кто из группы хостов
igor@0 316 работает с файловой системой.
igor@0 317 Для того чтобы убедиться,
igor@0 318 что разные хосты договариваются друг с другом
igor@0 319 при совместном доступе к файловой системе,
igor@0 320 в GFS используются блокировки.
igor@0 321
igor@0 322 Когда используются кластерные файловые системы, такие как GFS,
igor@0 323 становится возможным совместный доступ множества хостов
igor@0 324 к одному и тому же блочному устройству по сети.
igor@0 325 Не нужно ничего типа NFS-сервера, поскольку
igor@0 326 каждый хост работает с хранилищем непосредственно.
igor@0 327
igor@0 328 Но есть одна загвоздка.
igor@0 329 Чем больше дисков вы используете, тем выше шансы,
igor@0 330 что один из дисков засбоит.
igor@0 331 В этой ситуации обычно используется RAID,
igor@0 332 который добавляет избыточность.
igor@0 333 К сожалению, программный RAID Linux
igor@0 334 пока что не умеет работать с кластерными файловыми системами.
igor@0 335 Это означает, что каждый хост
igor@0 336 в сети не сможет запускать mdadm.
igor@0 337
igor@0 338 Кластерное программное обеспечение для Linux развивается
igor@0 339 с большой скоростью. Есть надежда что рано или поздно RAID будет поддерживать кластерные файловые системы.
igor@0 340 До этого момента мало вариантов использования AoE в кластерных системах.
igor@0 341 Основная идея — централизовать функциональность RAID.
igor@0 342 Можно купить один или два Coraid RAIDblade
igor@0 343 и сделать чтобы кластерные узлы использовали их.
igor@0 344 RAIDblade\rq{}ы будут управлять EtherDrive\rq{}ами,
igor@0 345 которые должны подключаться за них.
igor@0 346 Или тоже самое можно сделать на обычной Linux-системе,
igor@0 347 которая подключит массивы, сделает на них RAID
igor@0 348 и с помощью ATA over Ethernet экспортирует его как готовое устройство.
igor@0 349 Это может сделать, например, программа [vblade].
igor@0 350
igor@0 351 \subsection{Резервное копирование}
igor@0 352 Поскольку AoE выводит недорогие диски в Ethernet-сеть, многие админы
igor@0 353 могут заинтересоваться в использовании AoE для создания резервных копий.
igor@0 354 Часто в стратегиях резервного копирования используются двухуровневые хранилища,
igor@0 355 которые не такие быстрые как on-line хранилища, но и не такие медленные для доступа как лента.
igor@0 356 ATA over Ethernet даёт возможность легко использовать дешёвые ATA-диски как хранилище второго уровня.
igor@0 357
igor@0 358 Но вообще говоря, с такими дешёвыми жёсткими дисками и стабильным программным RAID,
igor@0 359 почему бы не использовать диски как носитель для хранения резервных копий?
igor@0 360 В такой системе резервного копирования, в отличие от ленточной,
igor@0 361 есть возможность непосредственного доступа к заархивированным файлам.
igor@0 362
igor@0 363 В нескольких программах резервного копирования при создании резервных копий
igor@0 364 используются преимущества возможностей файловых систем.
igor@0 365 Например, используя жёсткие ссылки они могут делать полные бэкапы
igor@0 366 с эффективностью инкрементальных. Подробности
igor@0 367 здесь ([rsync Backups http://www.mikerubel.org/computers/rsync\_snapshots])
igor@0 368 и здесь ([Backup PC http://backuppc.sourceforge.net/]).
igor@0 369
igor@0 370 \subsection{Заключение}
igor@0 371 Размещение недорогих дисков в локальной сети это одна из тех идей,
igor@0 372 которая заставляет подумать \dq{}Почему это интересно раньше никто не сделал?\dq{}.
igor@0 373 С помощью простого сетевого протокола можно развязать хранилища
igor@0 374 и сервера, не используя при этом дорогого аппаратного обеспечения
igor@0 375 и сложной сетевой инфраструктуры. В простой Ethernet сети нет необходимости
igor@0 376 в сложном, развитом но требовательном к ресурсам стеке протоколов TCP/IP.
igor@0 377
igor@0 378 Если вы используете хранилища в локальной сети, и если настройки
igor@0 379 доступа к хранилищу путём конфигурирование сети Ethernet достаточно,
igor@0 380 тогда ATA over Ethernet подойдёт вас лучше всего.
igor@0 381 Если вас интересуют такие вещи как шифрование, возможность маршрутизации
igor@0 382 и контроль доступа, посмотрите iSCSI.
igor@0 383
igor@0 384 С AoE появляется простое альтернативное решение для организации хранилищ на Linux,
igor@0 385 которой ранее явно не хватало. С простотой появляются и возможности.
igor@0 386 AoE может использоваться как строительный блок в любом решении для хранения.
igor@0 387 Дальше уже ваша фантазия.
igor@0 388
igor@0 389 \subsection{Преимущества и недостатки AoE}
igor@0 390 Преимущества и недостатки AoE в сравнении с iSCSI.
igor@0 391
igor@0 392 Преимущества:
igor@0 393 \begin{itemize}
igor@0 394 \item Низкая стоимость
igor@0 395 \item Высокая производительность
igor@0 396 \item Простота
igor@0 397 \end{itemize}
igor@0 398
igor@0 399 Недостатки:
igor@0 400 \begin{itemize}
igor@0 401 \item Низкая масштабируемость, возможность использования только в пределах одной Ethernet-сети
igor@0 402 \item Отсутствие механизмов обеспечения безопасности
igor@0 403 \item Отсутствие механизмов контроля ошибок передачи данных, за исключением тех, что есть у самой сети Ethernet (см, например \url{http://lists.xensource.com/archives/html/xen-devel/2005-05/msg00832.html})
igor@0 404 \end{itemize}
igor@0 405
igor@0 406 \subsection{Дополнительная информация}
igor@0 407 \begin{itemize}
igor@0 408 \item \htmladdnormallinkfoot{ATA over Ethernet}{http://xgu.ru/wiki/aoe} (рус.)
igor@0 409 \item \htmladdnormallinkfoot{ATA over Ethernet}{http://en.wikipedia.org/wiki/ATA\_over\_Ethernet}(англ.) в Wikipedia
igor@0 410 \item \htmladdnormallinkfoot{ATA Over Ethernet: Putting Hard Drives on the LAN}{http://www.linuxjournal.com/article/8149} — статья в Linux Journal
igor@0 411 \item \htmladdnormallinkfoot{Resources for "ATA Over Ethernet: Putting Hard Drives on the LAN"}{http://www.linuxjournal.com/article/8201} (англ.)
igor@0 412 \item \htmladdnormallinkfoot{Resources for "ATA Over Ethernet: Putting Hard Drives on the LAN"}{http://www.linuxjournal.com/article/8201} (англ.) — дополнительные ссылки в Linux Journal
igor@0 413 \item \htmladdnormallinkfoot{The ATA over Ethernet (AoE) Protocol}{http://www.linux-mag.com/index.php?option=com\_content\&task=view\&id=2069\&Itemid=2307} (англ.) — статья на Linux Magazine (требуется регистрация)
igor@0 414 \item \htmladdnormallinkfoot{Using AoE in FreeBSD}{http://www.coraid.com/support/freebsd/usingaoe.html} — Поддержка AoE в FreeBSD
igor@0 415 \item \htmladdnormallinkfoot{Протоколы сетей хранения данных. Часть I — ATA over Ethernet}{http://www.samag.ru/cgi-bin/go.pl?q=articles;n=09.2005;a=15} — статья в журнале Системный администратор
igor@0 416 \item \htmladdnormallinkfoot{The Coraid Linux NAS HOWTO}{http://www.coraid.com/support/cln/CLN-HOWTO.html} (англ.) — HOWTO по разворачиванию NAS на базе ATA over Ethernet
igor@0 417 \item \htmladdnormallinkfoot{(Xen-users) HOWTO: AOE in domU and boot from it.}{http://lists.xensource.com/archives/html/xen-users/2006-07/msg00595.html} (англ.
igor@0 418 \item \htmladdnormallinkfoot{Access over Ethernet Insecurities in AoE SLIDES}{http://www.slideshare.net/amiable\_indian/access-over-ethernet-insecurites-in-aoe/} (англ.)
igor@0 419 \item \htmladdnormallinkfoot{"iSCSI killer" Native in Linux}{http://hardware.slashdot.org/article.pl?sid=06/07/31/1143230} (англ.) — обсуждение AoE на Slashdot
igor@0 420 \item \htmladdnormallinkfoot{OpenNews: ATA over Ethernet в Linux}{http://www.opennet.ru/openforum/vsluhforumID3/36130.html} — обсуждение статьи на OpenNet
igor@0 421 \item \htmladdnormallinkfoot{OpenNews: Построение SAN для Xen на основе DRBD, LVM и GNBD" }{http://www.opennet.ru/openforum/vsluhforumID3/36804.html} — другое обсуждение на OpenNet, где затрагиваются вопросы сравнения AoE и iSCSI
igor@0 422 \end{itemize}
igor@0 423
igor@0 424