xg-scale

annotate xen/io.tex @ 6:4a790b55d005

Обновлен раздел по Windows XP. Исправлен стиль, добавлены некоторые уточнения по конфигурационному файлу
author Igor Chubin <igor@chub.in>
date Wed Jul 09 08:50:18 2008 +0300 (2008-07-09)
parents 4730a0d07d88
children
rev   line source
igor@0 1 \section{Приоритезация ввода/вывода в Xen}
igor@0 2
igor@0 3 \subsection{Приоритеты для использования Disk I/O}
igor@0 4 \subsubsection{ionice}
igor@5 5 С выходом CFQ v3 в Linux 2.6.13 появилась возможность выставлять приоритеты использования дисковой подсистемы для процессов, чего раньше так не хватало. Подобно утилите \textbf{nice}, предназначенной для назначения приоритетов использования процессора, появилась утилита \textbf{ionice}, назначает для процессов приоритеты ввода/вывода.
igor@0 6
igor@0 7 Синтаксис команды прост:
igor@0 8
igor@0 9 \begin{verbatim}
igor@0 10 ionice -c класс -n приоритет -p PID
igor@0 11 \end{verbatim}
igor@0 12
igor@0 13 Класс:
igor@0 14
igor@0 15 \begin{itemize}
igor@5 16 \item 3 (Idle) — Получает приоритет на использование жесткого диска только когда другие программы ничего не пишут. Приоритеты не используются.
igor@5 17 \item 2 (Best Effort) — Класс по умолчанию. Доступные приоритеты [0-7].
igor@5 18 \item 1 (Real Time) — Даёт преимущественный доступ к диску процессу, несмотря на другие процессы. Доступные приоритеты [0-7].
igor@0 19 \end{itemize}
igor@0 20
igor@5 21 Подробнее: man ionice
igor@5 22
igor@5 23 \subsubsection{Приоритеты ввода/вывода гостевых доменов Xen}
igor@5 24 После запуска гостевых систем по \textbf{ps} \texttt{aux} можно видеть в квадратных скобках появившиеся драйвера блочных устройств xvd, после которых указан
igor@0 25 ID гостевого домена. Приоритеты для этих процессов можно устанавливать
igor@5 26 с помощью \textbf{ionice}, точно также как и для всех остальных.
igor@5 27
igor@5 28 \begin{verbatim}
igor@5 29 $ ps aux | grep xvd
igor@5 30 root 616 0.0 0.0 0 0 ? S< 16:05 0:00 [xvd 1 07:00]
igor@5 31 igor 773 0.0 0.0 3892 764 pts/0 R+ 16:08 0:00 grep xvd
igor@5 32 \end{verbatim}
igor@5 33
igor@5 34 Изменение приоритета ввода/вывода нужно выполнять для процесса 616.
igor@5 35
igor@5 36 Аналогичным образом можно выполнять и приоритезацию
igor@5 37 ввода/вывода для HVM-доменов,
igor@5 38 только для этого нужно применять
igor@5 39 \textbf{ionice} к процессам \textbf{qemu-dm},
igor@5 40 работающим в домене 0.
igor@5 41
igor@5 42 \begin{verbatim}
igor@5 43 $ ps aux | grep qemu-dm
igor@5 44 root 645 8.3 0.1 27272 2400 ? Sl 16:05 0:09 /usr/lib/xen-3.2-1/bin/qemu-dm -d 2 -domain-name winxp-hdd ...
igor@5 45 igor 769 0.0 0.0 3888 764 pts/0 R+ 16:07 0:00 grep qemu-dm
igor@5 46 \end{verbatim}
igor@0 47
igor@0 48 \subsubsection{Эксперименты}
igor@5 49 Проведём 2 эксперимента для операций чтения и записи.
igor@0 50
igor@0 51 Выставим одной гостевой системе класс \textit{Real Time}, а второй — \textit{Idle}.
igor@0 52
igor@0 53 Запустим одновременно \textit{dd} на обеих системах для записи небольшого файла. Конечно слово «одновременно» здесь весьма условно.
igor@0 54 Для повышения точности лучше провести несколько измерений.
igor@0 55
igor@0 56 \begin{verbatim}
igor@0 57 %# dd if=/dev/zero of=/root/file.txt bs=1024 count=10240000
igor@0 58 \end{verbatim}
igor@0 59
igor@0 60 В результате средняя скорость в первой гостевой системе -- 40Mb/sec, во второй -- 20Mb/sec.
igor@0 61
igor@0 62 Другим экспериментом является операция тестирования скорости чтения диска с помощью \textit{hdparm}:
igor@0 63
igor@0 64 \begin{verbatim}
igor@0 65 %# hdparm -t /dev/xvda
igor@0 66 \end{verbatim}
igor@0 67
igor@0 68 В результате в первом гостевом домене скорость — 25Mb/sec, во втором — 2Mb/sec.
igor@0 69
igor@0 70 \subsubsection{Заключение}
igor@0 71 Недостатком данного решения является отсутствие соответствующих опций в конфигурационном файле гостевых доменов Xen,
igor@5 72 что означает, что при каждом старте домена необходимо устанавливать его приоритет заново.
igor@0 73
igor@0 74 Следует обратить внимание, что данная возможность доступна только для CFQ.
igor@0 75
igor@0 76 Проверьте, какой способ приоритезации используется:
igor@0 77
igor@0 78 \begin{verbatim}
igor@0 79 cat /sys/block/ИМЯ_ДИСКА/queue/scheduler
igor@0 80 \end{verbatim}
igor@0 81
igor@5 82 Название активного планировщика должно быть в квадратных скобках.
igor@0 83 Например:
igor@0 84
igor@0 85 \begin{verbatim}
igor@0 86 $ cat /sys/block/sda/queue/scheduler
igor@0 87 noop anticipatory deadline [cfq]
igor@0 88 \end{verbatim}
igor@0 89
igor@5 90
igor@5 91 \subsection{Приоритезация ввода/вывода с помощью dm-band}
igor@5 92
igor@5 93 \textbf{dm-band} — драйвер операционной системы Linux, позволяющий управлять скоростью работы с блочными устройствами. Предназначен для использования в виртуализированной среде и с группами процессов (cgroups). В настоящее время dm-band работает как драйвер device-mapper.
igor@5 94
igor@5 95 \subsubsection{Что такое dm-band}
igor@5 96 \textbf{dm-band} — это контроллер, регулирующий полосу пропускания при выполнении операций ввода/вывода с блочным устройством,
igor@5 97 реализованный как драйвер device-mapper.
igor@5 98 Несколько работ, использующих одно физическое устройство,
igor@5 99 должны делить между собой его полосу пропускания.
igor@5 100 \textbf{dm-band} выделяет каждой работе полосу пропускания в соответствии
igor@5 101 с её весом, который может задаваться административно.
igor@5 102
igor@5 103 В настоящее время работой (job) может быть группа процессов с одинаковым
igor@5 104 идентификатором pid, pgrp или uid.
igor@5 105 В будущем планируется сделать поддержку cgroup.
igor@5 106 Работой также может быть виртуальная машина Xen или KVM.
igor@5 107
igor@5 108 \begin{verbatim}
igor@5 109 # dmsetup message band1 0 weight 40
igor@5 110 # dmsetup message band2 0 weight 10
igor@5 111 \end{verbatim}
igor@5 112
igor@5 113 \subsubsection{Как работает dm-band}
igor@5 114 У каждого band-устройства есть как минимум одна его группа,
igor@5 115 которая по умолчанию так и называется — default group.
igor@5 116
igor@5 117 Band-групп у устройства может быть и несколько.
igor@5 118 У каждой band-группы есть (1) вес и (2) закреплённая за ней работа.
igor@5 119 \textbf{dm-band} выделяет маркеры группе пропорционально её весу.
igor@5 120
igor@5 121 Если у группы есть в запасе маркеры, запрос ввода/вывода, сделанный
igor@5 122 её работой, передаётся ниже.
igor@5 123 Если же маркеров у группы не осталось, обращение блокируется.
igor@5 124 Когда группа делает запрос ввода/вывода, она тратит один маркер.
igor@5 125 Когда маркеры заканчиваются у всех групп,
igor@5 126 работающих с данным устройством, \textbf{dm-band} пополняет их запас.
igor@5 127
igor@5 128 При таком подходе работа, закреплённая за band-группой с большим весом,
igor@5 129 гарантированно получит возможность сделать большее количество
igor@5 130 запросов ввода/вывода.
igor@5 131
igor@5 132 Полоса пропускания (bandwidth) в \textbf{dm-band} определяется
igor@5 133 как отношение времени обработки маркеров данного устройства
igor@5 134 к времени обработки маркеров всех устройств.
igor@5 135 Время обработки маркера определяется длительностью цикла
igor@5 136 ввода/вывода, включающим время поиска (seek latency), задержку
igor@5 137 на обработку прерывания (interrupt latency) и прочее.
igor@5 138
igor@5 139 \subsubsection{Как его использовать}
igor@5 140 Ниже показано как управлять полосой пропускания при доступе
igor@5 141 к дискам. В примере используется один диск с двумя разделами.
igor@5 142
igor@5 143 Более подробная информация представлена в
igor@5 144 документации на ядро Linux, в файле \texttt{Document/device-mapper/band.txt}.
igor@5 145
igor@5 146 \paragraph{Создание и привязка band-устройств}
igor@5 147 Нужно создать два band-устройства \texttt{band1} и \texttt{band2} и привязать их к разделам
igor@5 148 \texttt{/dev/sda1} и \texttt{/dev/sda2} соответственно:
igor@5 149 \begin{verbatim}
igor@5 150 # dmsetup remove band1
igor@5 151 # dmsetup remove band2
igor@5 152 \end{verbatim}
igor@5 153
igor@5 154 Если команды выполнятся успешно,
igor@5 155 будут созданы новые файлы устройств \texttt{/dev/mapper/band1} и \texttt{/dev/mapper/band2}.
igor@5 156
igor@5 157 \paragraph{Управление полосой пропускания}
igor@5 158 Назначим \texttt{band1} и \texttt{band2} веса 40 и 10 соответственно:
igor@5 159
igor@5 160 \begin{verbatim}
igor@5 161 # dmsetup message band1 0 weight 40
igor@5 162 # dmsetup message band2 0 weight 10
igor@5 163 \end{verbatim}
igor@5 164
igor@5 165 После этих команд \texttt{band1} сможет использовать 80\% — 40/(40+10)\(\ast{}\)100 —
igor@5 166 полосы пропускания к физическому диску \texttt{/debv/sda},
igor@5 167 а \texttt{band2} — оставшиеся 20\%.
igor@5 168
igor@5 169 \paragraph{Дополнительные возможности}
igor@5 170 В этом примере будут созданы две дополнительные band-группы для \texttt{band1}.
igor@5 171 В первую группу входят все процессы с user-id 1000,
igor@5 172 а во вторую — процессы с user-id 2000.
igor@5 173 Их веса соответственно 30 и 20.
igor@5 174
igor@5 175 Сначала тип band-групп \texttt{band1} устанавливается равным \texttt{user}.
igor@5 176 Затем группы с user-id 1000 и 2000 присоединяются к \texttt{band1}.
igor@5 177 И последнее, назначаются веса для групп с user-id 1000 и 2000.
igor@5 178
igor@5 179 \begin{verbatim}
igor@5 180 # dmsetup message band1 0 type user
igor@5 181 # dmsetup message band1 0 attach 1000
igor@5 182 # dmsetup message band1 0 attach 2000
igor@5 183 # dmsetup message band1 0 weight 1000:30
igor@5 184 # dmsetup message band1 0 weight 2000:20
igor@5 185 \end{verbatim}
igor@5 186
igor@5 187 Теперь процессы в группе с user-id 1000
igor@5 188 могут использовать 30\% — 30/(30+20+40+10)\(\ast{}\)100 —
igor@5 189 доступной физической полосы пропускания диска.
igor@5 190
igor@5 191 \begin{verbatim}
igor@5 192 Band Device Band Group Weight
igor@5 193 band1 user id 1000 30
igor@5 194 band1 user id 2000 20
igor@5 195 band1 default group(the other users) 40
igor@5 196 band2 default group 10
igor@5 197 \end{verbatim}
igor@5 198
igor@5 199 \paragraph{Удаление band-устройств}
igor@5 200 Удалить band-устройства, которые больше не используются,
igor@5 201 можно так:
igor@5 202
igor@5 203 \begin{verbatim}
igor@5 204 # dmsetup remove band1
igor@5 205 # dmsetup remove band2
igor@5 206 \end{verbatim}
igor@5 207
igor@5 208 \subsubsection{Планы на будущее}
igor@5 209 Что можно было бы сделать в будущих версиях:
igor@5 210 \begin{itemize}
igor@5 211 \item Добавить поддержку Cgroup;
igor@5 212 \item Управлять скоростью записи и чтения по отдельности;
igor@5 213 \item Добавить поддержку WRITE\_BARRIER;
igor@5 214 \item Оптимизировать;
igor@5 215 \item Добавить дополнительные инструменты для настройки (или хватит одного \textbf{dmsetup}?);
igor@5 216 \item Создать новые политики планировщика BIOs (или достаточно уже существующей, весовой?).
igor@5 217 \end{itemize}
igor@5 218
igor@5 219 \subsubsection{Замеры}
igor@5 220 Ниже представлены результаты замеров, которые выполнил разработчик \textbf{dm-band}, Ryo Tsuruta.
igor@5 221 Они подтверждают то, что \textbf{dm-band} работает так, как и ожидалось.
igor@5 222 В ходе экспериментов создаётся несколько band-групп на нескольких физических разделах
igor@5 223 и выполняется интенсивный ввод/вывод на эти устройства.
igor@5 224
igor@5 225 \paragraph{Железо для испытаний}
igor@5 226
igor@5 227 \begin{verbatim}
igor@5 228 DELL Dimention E521:
igor@5 229
igor@5 230 Linux kappa.local.valinux.co.jp 2.6.23.14 #1 SMP
igor@5 231 Thu Jan 24 17:24:59 JST 2008 i686 athlon i386 GNU/Linux
igor@5 232 Detected 2004.217 MHz processor.
igor@5 233 CPU0: AMD Athlon(tm) 64 X2 Dual Core Processor 3800+ stepping 02
igor@5 234 Memory: 966240k/981888k available (2102k kernel code, 14932k reserved,
igor@5 235 890k data, 216k init, 64384k highmem)
igor@5 236 scsi 2:0:0:0: Direct-Access ATA ST3250620AS 3.AA PQ: 0 ANSI: 5
igor@5 237 sd 2:0:0:0: [sdb] 488397168 512-byte hardware sectors (250059 MB)
igor@5 238 sd 2:0:0:0: [sdb] Write Protect is off
igor@5 239 sd 2:0:0:0: [sdb] Mode Sense: 00 3a 00 00
igor@5 240 sd 2:0:0:0: [sdb] Write cache: enabled, read cache: enabled,
igor@5 241 doesn't support DPO or FUA
igor@5 242 sdb: sdb1 sdb2 < sdb5 sdb6 sdb7 sdb8 sdb9 sdb10 sdb11 sdb12 sdb13 sdb14
igor@5 243 sdb15 >
igor@5 244 \end{verbatim}
igor@5 245
igor@5 246 \paragraph{Результаты тестирования управления полосой пропускания для разделов}
igor@5 247 Конфигурация для эксперимента \#1:
igor@5 248 \begin{itemize}
igor@5 249 \item Создать три раздела \texttt{sdb5}, \texttt{sdb6} и \texttt{sdb7}.
igor@5 250 \item Назначить веса 40, 20 и 10 соответственно для \texttt{sdb5}, \texttt{sdb6} и \texttt{sdb7}.
igor@5 251 \item Запустить 128 процессов, выполняющих одновременно случайные операции прямого чтения и прямой записи блоков размером 4KB
igor@5 252 \item Подсчитать количество выполненных операций в течение 60 секунд.
igor@5 253 \end{itemize}
igor@5 254
igor@5 255 \begin{verbatim}
igor@5 256 результат эксперимента #1
igor@5 257 ---------------------------------------------------------------------------
igor@5 258 | device | sdb5 | sdb6 | sdb7 |
igor@5 259 | weight | 40 (57.0%) | 20 (29.0%) | 10 (14.0%) |
igor@5 260 |-----------------+-------------------+-------------------+-----------------|
igor@5 261 | I/Os (r/w) | 6640( 3272/ 3368)| 3434( 1719/ 1715)| 1689( 857/ 832)|
igor@5 262 | sectors (r/w) | 53120(26176/26944)| 27472(13752/13720)| 13512(6856/6656)|
igor@5 263 | ratio to total | 56.4% | 29.2% | 14.4% |
igor@5 264 ---------------------------------------------------------------------------
igor@5 265 \end{verbatim}
igor@5 266
igor@5 267 Конфигурация для эксперимента \#2:
igor@5 268 \begin{itemize}
igor@5 269 \item в точности такая же как для эксперимента \#1, за исключением того, что не запускаются процессы, работающие с \texttt{sdb6}
igor@5 270 \end{itemize}
igor@5 271
igor@5 272 \begin{verbatim}
igor@5 273 результаты эксперимента #2
igor@5 274 ---------------------------------------------------------------------------
igor@5 275 | device | sdb5 | sdb6 | sdb7 |
igor@5 276 | weight | 40 (57.0%) | 20 (29.0%) | 10 (14.0%) |
igor@5 277 |-----------------+-------------------+-------------------+-----------------|
igor@5 278 | I/Os (r/w) | 9566(4815/ 4751)| 0( 0/ 0)| 2370(1198/1172)|
igor@5 279 | sectors (r/w) | 76528(38520/38008)| 0( 0/ 0)| 18960(9584/9376)|
igor@5 280 | ratio to total | 76.8% | 0.0% | 23.2% |
igor@5 281 ---------------------------------------------------------------------------
igor@5 282 \end{verbatim}
igor@5 283
igor@5 284 \paragraph{Результаты тестирования управления полосой пропускания для band-групп}
igor@5 285 Конфигурация для эксперимента \#3:
igor@5 286 \begin{itemize}
igor@5 287 \item Создать два раздела \texttt{sdb5} и \texttt{sdb6}
igor@5 288 \item Создать две дополнительные band-группы на \texttt{sdb5}, первая для \texttt{user1} и вторая для \texttt{user2}.
igor@5 289 \item Назначить веса 40, 20, 10 и 10 для band-групп \texttt{user1}, \texttt{user2}, default-групп разделов \texttt{sdb5} и \texttt{sdb6} соответственно
igor@5 290 \item Запустить 128 процессов, выполняющих одновременно случайные операции прямого чтения и прямой записи блоков размером 4KB
igor@5 291 \item Подсчитать количество выполненных операций в течение 60 секунд.
igor@5 292 \end{itemize}
igor@5 293
igor@5 294 \begin{verbatim}
igor@5 295 результаты эксперимента #3
igor@5 296 ---------------------------------------------------------------------------
igor@5 297 |dev| sdb5 | sdb6 |
igor@5 298 |---+------------------------------------------------------+----------------|
igor@5 299 |usr| user1 | user2 | other users | all users |
igor@5 300 |wgt| 40 (50.0%) | 20 (25.0%) | 10 (12.5%) | 10 (12.5%) |
igor@5 301 |---+------------------+------------------+----------------+----------------|
igor@5 302 |I/O| 5951( 2940/ 3011)| 3068( 1574/ 1494)| 1663( 828/ 835)| 1663( 810/ 853)|
igor@5 303 |sec|47608(23520/24088)|24544(12592/11952)|13304(6624/6680)|13304(6480/6824)|
igor@5 304 | % | 48.2% | 24.9% | 13.5% | 13.5% |
igor@5 305 ---------------------------------------------------------------------------
igor@5 306 \end{verbatim}
igor@5 307
igor@5 308 Конфигурация для эксперимента \#4:
igor@5 309 \begin{itemize}
igor@5 310 \item в точности такая же как для эксперимента \#3, за исключением того, что не запускаются процессы, работающие с band-группой \texttt{user2}
igor@5 311 \end{itemize}
igor@5 312
igor@5 313 \begin{verbatim}
igor@5 314 результаты эксперимента #4
igor@5 315 ---------------------------------------------------------------------------
igor@5 316 |dev| sdb5 | sdb6 |
igor@5 317 |---+------------------------------------------------------+----------------|
igor@5 318 |usr| user1 | user2 | other users | all users |
igor@5 319 |wgt| 40 (50.0%) | 20 (25.0%) | 10 (12.5%) | 10 (12.5%) |
igor@5 320 |---+------------------+------------------+----------------+----------------|
igor@5 321 |I/O| 8002( 3963/ 4039)| 0( 0/ 0)| 2056(1021/1035)| 2008( 998/1010)|
igor@5 322 |sec|64016(31704/32312)| 0( 0/ 0)|16448(8168/8280)|16064(7984/8080)|
igor@5 323 | % | 66.3% | 0.0% | 17.0% | 16.6% |
igor@5 324 ---------------------------------------------------------------------------
igor@5 325 \end{verbatim}
igor@5 326
igor@5 327 \paragraph{Выводы}
igor@5 328 \textbf{dm-band} работает хорошо при выполнении случайных операций чтение/запись.
igor@5 329 В будущем планируется провести тестирование на
igor@5 330 реальных приложениях, таких как СУБД и файловые серверы.
igor@5 331
igor@5 332 \subsubsection{Почему нельзя было просто доработать CFQ?}
igor@5 333 В Linux есть механизмы для приоритезации дискового ввода/вывода.
igor@5 334 Почему нельзя было использовать их?
igor@5 335
igor@5 336 Ниже перевод письма одного из соавторов dm-band Хироказу Такаши (Hirokazu Takashi)
igor@5 337 в список рассылки Xen-devel\url{http://lists.xensource.com/archives/html/xen-devel/2008-01/msg00852.html},
igor@5 338 в котором он отвечает на этот вопрос.
igor@5 339
igor@5 340 \begin{verbatim}
igor@5 341 From: Hirokazu Takahashi <taka@valinux.co.jp>
igor@5 342
igor@5 343 Доработать стандартный планировщик ввода/вывода, который есть в ядре,
igor@5 344 это самый простой подход. Действительно, планировщик CFQ
igor@5 345 можно было бы научить управлять полосой пропускания путём
igor@5 346 относительного небольшой модификации кода.
igor@5 347 Оба подхода (использовать device-mapper и модифицировать CFQ)
igor@5 348 имеют свои плюсы и минусы.
igor@5 349
igor@5 350 В настоящее время мы выбрали вариант с device-mapper по следующим причинам:
igor@5 351 * он может работать с любым планировщиком. Некоторые хотят использовать планировщик NOOP
igor@5 352 для работы с high-end хранилищами;
igor@5 353 * его должны использовать только те, кому нужно управление пропускной способностью I/O;
igor@5 354 * он независим от других планировщиков и его легко поддерживать;
igor@5 355 * не усложняется сопровождение CFQ.
igor@5 356
igor@5 357 У сегодняшней реализации планировщика CFQ есть некоторые ограничения,
igor@5 358 которые мешают использовать его для управления полосой пропускания так,
igor@5 359 как хотелось бы. У планировщика есть только 7 уровней приоритета,
igor@5 360 что означает, что у него есть только 7 классов ввода/вывода.
igor@5 361 Если назначить один и тот же приоритет A нескольким виртуальным машинам,
igor@5 362 эти машины должны будут поровну делить полосу ввода/вывода,
igor@5 363 выделенную классу A. Если при этом есть машина, работающая с приоритетом B,
igor@5 364 более низким чем A, и она такая одна, может так получится, что у неё будет
igor@5 365 большая полоса пропускания чем у машин класса A.
igor@5 366
igor@5 367 Вообще, я думаю, что нужно чтобы в CFQ был планировщик с двумя уровнями.
igor@5 368 Один уровень используется для выбора лучшей группы cgroup или работы (job),
igor@5 369 а второй — для выбора класса с наивысшим приоритетом ввода/вывода.
igor@5 370
igor@5 371 Второй минус подхода с использованием существующего планировщика в том,
igor@5 372 что у него приоритеты ввода/вывода глобальны,
igor@5 373 и они распространяются на все диски, к которым осуществляется доступ.
igor@5 374 Нельзя сделать так, чтобы у задачи были разные приоритеты при доступе к разным дискам.
igor@5 375
igor@5 376 У подхода с использованием device-mapper тоже есть свои минусы.
igor@5 377 Сложно получить информацию о возможностях и конфигурации нижележащих устройств,
igor@5 378 такую, например, как информацию о разделах и LUN. И возможно, потребуется разрабатывать
igor@5 379 дополнительные инструменты для настойки.
igor@5 380 \end{verbatim}
igor@5 381
igor@0 382 \subsection{Дополнительная информация}
igor@0 383 \begin{itemize}
igor@5 384 \item \htmladdnormallinkfoot{Приоритезация ввода/вывода в Xen с помощью планировщика CFQ}{http://xgu.ru/wiki/xen/io} (рус.)
igor@5 385 \item \htmladdnormallinkfoot{Приоритезация ввода/вывода с помощью dm-band}{http://xgu.ru/wiki/dm-band} (рус.)
igor@0 386 \end{itemize}