Lustre

Материал из Xgu.ru

Перейти к: навигация, поиск


Lustre — распределённая файловая система, широко использующаяся в больших кластерных системах. Разрабатывается компанией Sun (теперь компанией Oracle) и многими энтузиастами. Распространяется по лицензии GPLv2. Название построено объединением слов Linux и cluster.

В списке самых мощных суперкомпьютеров TOP-500[1] половина из первых пятидесяти использует файловую систему Lustre[2].

В качестве локальной файловой системы, поверх которой работает Lustre, может использоваться ldiskfs (работает поверх ext3/ext4) или ZFS[3].

Существует клиент Lustre для Windows, хотя в нём реализованы пока не все возможности, которые есть у Linux-клиента[4].

Одним из интересных аспектов применения Lustre является (или может стать) — использование Lustre совместно с Hadoop (вместо HDFS)[5]. В сравнении с HDFS Lustre имеет несколько преимуществ: реальная параллельная файловая система; встроенный протокол Lustre быстрее HTTP; lustre может использоваться как стандартная файловая система и ряд других.

[править] Дополнительная информация

[править] Примечания

  1. http://top500.org
  2. Sun's Lustre File System Powers Top Supercomputers (англ.), новость от 18 ноября 2008
  3. Architecture ZFS for Lustre (англ.) — Подробнее об использовании ZFS в сочетании с Lustre
  4. http://wiki.lustre.org/index.php/Windows_Native_Client
  5. http://wiki.lustre.org/index.php/Running_Hadoop_with_Lustre
Xentaur
Дисковая подсистема
Linux | FreeBSD

Диски и разделы
Файлы устройств: Блочное устройство | Символьное устройство | Raw-устройство | loop-устройство
Диски: IDE | SATA (SATA hotplug) | SCSI | USB
RAID-массивы: Аппаратный RAID | Linux RAID | FreeBSD RAID
Дисковые разделы: Раздел | MBR | fdisk | parted | disklabel | GPT

Управление томами
Логический том | Физический том | Группа томов | Снимок | Клон
device-mapper | dm-ioband | dm-crypt | dm-userspace | multipath
Системы управления томами: LVM | CLVM | EVMS | Btrfs* | ZFS* | AdvFS* | Zumastor

Сетевые хранилища и репликация
Отказоустойчивость: DRBD | Xen + DRBD | ggate + gmirror | HAST
Сетевые хранилища: AoE | iSCSI | FCoE | GNBD

Файловые системы
Монтирование | Проверка целостности | Дефрагментация | Суперблок | inode | Журнал | Кэш | VFS | UUID | FUSE
Локальные: ext3 | ext3cow | ext4 | JFS | Reiser4 | XFS | ZFS | Btrfs | AdvFS | ISO | aufs
Сетевые: NFS | CIFS | AFS | POHMELFS
Кластерные: GFS | OCFS2 | CXFS | VMFS | GPFS
Распределенные: Lustre | PVFS | Ceph | Coda

* Btrfs, ZFS и AdvFS — это файловые системы с возможностями управления томами
Источник — «http://xgu.ru/wiki/Lustre»
На других языках