xg-scale
view xen/resources.tex @ 4:253d66dd74bb
Добавлено подробное описание управления памятью домена и выделением устройств домену
| author | Igor Chubin <igor@chub.in> |
|---|---|
| date | Sun Jul 06 23:27:46 2008 +0300 (2008-07-06) |
| parents | 4730a0d07d88 |
| children | 4a790b55d005 |
line source
1 \section{Распределение ресурсов между доменами Xen}
3 \subsection{Процессор}
4 Виртуальные процессоры (VCPU) виртуальных машин автоматически распределяются
5 планировщиком между доступными физическими процессорами.
6 Назначать соответствие виртуального процесса реальному вручную не нужно.
7 Однако, при возникновении такой необходимости,
8 можно указать на каком процессоре будет выполняться виртуальный процессор.
9 Это делается с помощью команды \textbf{xm vcpu-pin}.
11 Каждый домен характеризуется двумя числами — \textit{весом} (weight) и \textit{лимитом} (cap).
13 Домен с весом 512 получает на том же хосте в два раза больше
14 процессорного времени чем домен с весом 256.
15 Вес может изменяться в диапазоне от 1 до 65535,
16 и он равен по умолчанию 256.
18 Значение лимита (cap) может использоваться для того чтобы указать максимальную величину
19 процессорного времени, который может получить домен, даже в случае, если хост-система
20 простаивает. Значение выражается в процентах: 100 это 1 физический процессор, 50 это половина процессора, 400 — 4 процессора и т.д.
21 Значение по умолчанию равно 0, что означает, что верхнее ограничение отсутствует.
23 Значения лимита и веса можно просматривать и модифицировать с помощью команд:
25 \begin{itemize}
26 \item \textbf{xm sched-credit -d domain} — показать значение вес (weight) и верх (cap) для домена;
27 \item \textbf{xm sched-credit -d domain -w weight} — установить вес равным \textbf{weight};
28 \item \textbf{xm sched-credit -d domain -c cap} — установить верх равным \textbf{cap}.
29 \end{itemize}
31 Для того чтобы эти значения сохранялись и после перезапуска домена,
32 их нужно указать в конфигурационном файле
33 с помощью параметров:
34 \begin{itemize}
35 \item \texttt{cpu\_cap} — верх (по умолчанию 0)
36 \item \texttt{cpu\_weight} — вес (по умолчанию 256)
37 \end{itemize}
39 \subsection{Оперативная память}
40 Объём памяти, выделяемой домену 0, задаётся как параметр \textbf{dom0\_mem} гипервизора Xen.
41 В этом случае подразумевается, что объём памяти
42 указан в килобайтах.
44 Пример секции конфигурационного файла \texttt{menu.lst} загрузчика GRUB:
46 \begin{verbatim}
47 title Xen 3.2-1-i386 / Debian GNU/Linux, kernel 2.6.18-4-xen
48 root (hd0,0)
49 kernel /boot/xen-3.2-1-i386.gz dom0_mem=1200000
50 module /boot/vmlinuz-2.6.18-4-xen-686 root=/dev/sda1 ro console=tty0
51 module /boot/initrd.img-2.6.18-4-xen-686
52 savedefault
53 \end{verbatim}
55 В этом примере домен 0 при старте будет в объёме оперативной
56 памяти до 1.2G.
58 По умолчанию (то есть, если параметр \texttt{dom0\_mem} не указан),
59 домен 0 сначала получает весь доступный объём оперативной памяти,
60 а потом, по мере необходимости, при старте других доменов, его начинают снижать.
61 Это делает специально предназначенный для такой работы balloon-драйвер.
63 Снижение будет производиться до величины \texttt{dom0-min-mem},
64 заданной в конфигурационном файле \texttt{/etc/xen/xend-config.sxp}.
65 Здесь величина памяти указывается в мегабайтах.
66 Если в качестве значения указан 0,
67 уменьшение памяти домена 0 выполняться не будет.
69 Пример настройки:
71 \begin{verbatim}
72 (dom0-min-mem 0)
73 \end{verbatim}
75 Объём памяти, выделяемой остальным доменам (то есть, виртуальным машинам),
76 задаётся в их конфигурационных файлах с помощью параметра \texttt{memory}.
77 Параметр может быть указан с суффиксом B, K, M или G, что означает байты, килобайты, мегабайты или гигабайты соответственно.
78 По умолчанию подразумевается, что в конфигурационном файле домена объём памяти указан в мегабайтах.
80 Впоследствии этот размер можно изменить прямо для работающего
81 домена при помощи команды:
83 \begin{verbatim}
84 xm mem-set <domain-id> <mem>
85 \end{verbatim}
87 Подняться выше заданного в конфигурационном файле значения без дополнительных
88 хитростей не получится.
89 Самая простая хитрость — задавать при старте домена большое значение памяти,
90 потом его сразу же снижать, а потом повышать по мере необходимости.
92 Более правильный способ — использовать параметр конфигурационного файла домена \texttt{maxmem},
93 и передавать ядру гостевой системы (при условии что это Linux) параметр \texttt{mem}:
95 \begin{verbatim}
96 $ grep mem /etc/xen/dhcp
97 memory = 128
98 maxmem = 512
99 extra = "mem=512M"
100 \end{verbatim}
102 Система при старте получает 128 MB ОЗУ,
103 но она сможет корректно отработать увеличение
104 памяти до 512 MB.
106 \begin{verbatim}
107 $ sudo xm create dhcp
108 Using config file "/etc/xen/dhcp".
109 Started domain dhcp
111 $ sudo xm list
112 Name ID Mem VCPUs State Time(s)
113 Domain-0 0 1171 1 r----- 5274.5
114 dhcp 8 128 1 -b---- 2.8
115 \end{verbatim}
117 Гостевая операционная система видит 128MB:
119 \begin{verbatim}
120 $ sudo xm console dhcp
121 Debian GNU/Linux lenny/sid dhcp tty1
123 dhcp login: root
124 Password:
126 dhcp:~# free
127 total used free shared buffers cached
128 Mem: 131220 33132 98088 0 1524 12204
129 -/+ buffers/cache: 19404 111816
130 Swap: 0 0 0
131 \end{verbatim}
133 Увеличиваем объём доступной домену оперативной памяти:
135 \begin{verbatim}
136 %$ sudo xm mem-set dhcp 256
137 %$ sudo xm list
138 Name ID Mem VCPUs State Time(s)
139 Domain-0 0 1171 1 r----- 5329.8
140 dhcp 8 256 1 -b---- 2.9
141 \end{verbatim}
143 Гостевая операционная система теперь видит 256MB:
145 \begin{verbatim}
146 $ sudo xm console dhcp
148 dhcp:~#
149 dhcp:~#
150 dhcp:~# free
151 total used free shared buffers cached
152 Mem: 262144 33336 228808 0 1620 12228
153 -/+ buffers/cache: 19488 242656
154 Swap: 0 0 0
155 \end{verbatim}
157 В настоящий момент изменение памяти на лету \textit{НЕ} поддерживает
158 ядро Linux, работающее через \textit{pv-ops}.
159 Это означает, в частности, что паравиртуальные ядра 2.6.24 и 2.6.25
160 не смогут увидеть изменение памяти в домене.
162 \subsection{Распределение устройств}
163 В режиме нормальной работы Xen-инсталляции все устройства (дисковая подсистема, сетевые адаптеры и проч.)
164 видны напрямую только домену 0.
165 Гостевые домены могут пользоваться этими устройствами,
166 но не напрямую, а только опосредованно,
167 при помощи механизмов, предоставляемых доменом 0.
169 В некоторых случаях, однако, бывает необходимо чтобы гостевой
170 домен увидел устройство сам, без посредников.
171 Такое, в частности, возможно, когда гостевая система
172 должна использовать специфический драйвер для доступа
173 к специальным функциям устройства, недоступным через паравиртуальный
174 интерфейс.
176 Для проброса PCI-устройств необходимо чтобы:
177 \begin{itemize}
178 \item в ядре привилегированного домена (домена 0) присутствовала поддержка PCI backend;
179 \item в ядрах, которые будут запускаться в пользовательских доменах и которые собираются использовать PCI-устройства, присутствовала поддержка PCI frontend.
180 \end{itemize}
181 В XenLinux PCI backend включается в конфигурационной секции Xen,
182 а PCI frontend включается в зависимой от архитектуры секции \dq{}Bus Options\dq{}.
183 Можно вкомпилировать вместе в одно ядро поддержку backend\rq{}а и поддержку frontend\rq{}а. Они друг другу не мешают.
184 Обычно в ядрах, которые входят в состав распространённых дистрибутивов,
185 поддержка есть по умолчанию.
187 PCI-устройство, которое передаётся непривилегированному домену,
188 должно быть скрыто от backend-домена (обычно домена 0) —
189 не должно так получиться, что домен 0 загрузит случайно драйвер устройства,
190 и тот начнём работать с этим устройством.
192 Для этого нужно указать PCI backend, какое устройство он должен скрыть.
193 Он привязывает себя как драйвер к устройству
194 и тем самым гарантирует, что никакие другие драйверы устройств к нему не привяжутся.
195 То есть, в действительности, устройства не скрываются от домена 0, просто они никак им не используются.
197 Информация о том, какое устройство должно скрываться,
198 передаётся как параметр ядра \texttt{pciback.hide}
199 в его командной строке, задающейся через загрузчик.
200 PCI-устройства идентифицируются шестнадцатеричными числами слот/функция (slot/function),
201 в Linux эти номера можно определить с помощью программы \textbf{lspci}.
202 Их можно указывать с информацией о номере домена или без неё:
204 \begin{verbatim}
205 (bus:slot.func) например (02:1d.3)
206 (domain:bus:slot.func) например (0000:02:1d.3)
207 \end{verbatim}
209 Пример параметров ядра Linux, скрывающих два PCI-устройства:
211 \begin{verbatim}
212 root=/dev/sda4 ro console=tty0 pciback.hide=(02:01.f)(0000:04:1d.0)
213 \end{verbatim}
215 Устройство можно отобрать у драйвера и скрыть его
216 и без перезагрузки:
218 \begin{verbatim}
219 # echo -n 0000:05:02.0 > /sys/bus/pci/drivers/3c905/unbind
220 # echo -n 0000:05:02.0 > /sys/bus/pci/drivers/pciback/new_slot
221 # echo -n 0000:05:02.0 > /sys/bus/pci/drivers/pciback/bind
222 \end{verbatim}
224 Сначала устройство отвязывается от драйвера,
225 который его держит.
226 Затем оно привязывается к PCI backend.
228 Просмотреть к какому устройству привязан какой драйвер
229 можно командой:
231 \begin{verbatim}
232 %# ls -l /sys/bus/pci/devices/*/driver
233 \end{verbatim}
235 После того как устройство освобождено от домена 0,
236 его можно передавать внутрь гостевого домена.
237 Для того чтобы передать устройство внутрь домена,
238 в его конфигурационном файле нужно указать строку:
240 \begin{verbatim}
241 pci=['05:02.0']
242 \end{verbatim}
244 Когда гостевой домен будет запущен,
245 проверить видит ли он проброшенное внутрь устройство,
246 можно командой:
248 \begin{verbatim}
249 %# lspci
250 \end{verbatim}
252 \subsection{Дополнительная информация}
253 \begin{itemize}
254 \item \htmladdnormallinkfoot{Распределение ресурсов между доменами Xen}{http://xgu.ru/wiki/xen/resources} (рус.)
255 \end{itemize}