Lustre

Материал из Xgu.ru

Lustre — распределённая файловая система, широко использующаяся в больших кластерных системах. Разрабатывается компанией Sun (теперь компанией Oracle) и многими энтузиастами. Распространяется по лицензии GPLv2. Название построено объединением слов Linux и cluster.

В списке самых мощных суперкомпьютеров TOP-500^[1] половина из первых пятидесяти использует файловую систему Lustre^[2].

В качестве локальной файловой системы, поверх которой работает Lustre, может использоваться ldiskfs (работает поверх ext3/ext4) или ZFS^[3].

Существует клиент Lustre для Windows, хотя в нём реализованы пока не все возможности, которые есть у Linux-клиента^[4].

Одним из интересных аспектов применения Lustre является (или может стать) — использование Lustre совместно с Hadoop (вместо HDFS)^[5]. В сравнении с HDFS Lustre имеет несколько преимуществ: реальная параллельная файловая система; встроенный протокол Lustre быстрее HTTP; lustre может использоваться как стандартная файловая система и ряд других.

[править] Дополнительная информация

• lustre.org (англ.) — домашний сайт проекта
• Lustre Configuration Example (англ.) — Пример настройки Lustre

[править] Примечания

1. ↑ http://top500.org
2. ↑ Sun's Lustre File System Powers Top Supercomputers (англ.), новость от 18 ноября 2008
3. ↑ Architecture ZFS for Lustre (англ.) — Подробнее об использовании ZFS в сочетании с Lustre
4. ↑ http://wiki.lustre.org/index.php/Windows_Native_Client
5. ↑ http://wiki.lustre.org/index.php/Running_Hadoop_with_Lustre

Дисковая подсистема Linux | FreeBSD Диски и разделы Файлы устройств: Блочное устройство | Символьное устройство | Raw-устройство | loop-устройство Диски: IDE | SATA (SATA hotplug) | SCSI | USB RAID-массивы: Аппаратный RAID | Linux RAID | FreeBSD RAID Дисковые разделы: Раздел | MBR | fdisk | parted | disklabel | GPT Управление томами Логический том | Физический том | Группа томов | Снимок | Клон device-mapper | dm-ioband | dm-crypt | dm-userspace | multipath Системы управления томами: LVM | CLVM | EVMS | Btrfs* | ZFS* | AdvFS* | Zumastor Сетевые хранилища и репликация Отказоустойчивость: DRBD | Xen + DRBD | ggate + gmirror | HAST Сетевые хранилища: AoE | iSCSI | FCoE | GNBD Файловые системы Монтирование | Проверка целостности | Дефрагментация | Суперблок | inode | Журнал | Кэш | VFS | UUID | FUSE Локальные: ext3 | ext3cow | ext4 | JFS | Reiser4 | XFS | ZFS | Btrfs | AdvFS | ISO | aufs Сетевые: NFS | CIFS | AFS | POHMELFS Кластерные: GFS | OCFS2 | CXFS | VMFS | GPFS Распределенные: Lustre | PVFS | Ceph | Coda * Btrfs, ZFS и AdvFS — это файловые системы с возможностями управления томами e