1. JuiceFS против Alluxio

Alluxio（/əˈlʌksio/）большойданныеимашинное обучениеэкологическая системасерединаизданные посещения слоев. Первый для научно-исследовательского проекта «Тахион»,Это в Калифорнийском университете в Беркли. AMPLab как создатель 2013 Год создания докторской диссертации. Аллюксио В 2014 Открытый исходный код.

В следующей таблице показаны основные функциональные различия между Alluxio и JuiceFS.

1. Формат хранения

JuiceFS серединаодиндокументизФормат храненияСодержит трислойсорт：chunk、slice и блокировать. Файл будет разбит на куски и сжат и зашифрован (необязательно) из хранилища в хранилище. объектовсередина。

Alluxio хранит файлы как «объекты» в UFS. Файлы не разбиваются на блоки, как JuiceFS.

2. Детализация кэша

JuiceFS изРазмер блока по умолчаниюдля 4 МБ по сравнению с Alluxio из 64 МБ, меньшая степень детализации. Блоки меньшего размера лучше подходят для случайного чтения (например, Parquet и ORC) рабочая нагрузка, то есть управление кэшем будет более эффективным.

3. Совместимость с Hadoop

JuiceFS Полностью совместим HDFS。не толькосовместимый Hadoop 2.x и Hadoop 3.x, также совместим с Hadoop Экологическая система состоит из различных компонентов.

4.Kubernetes CSI Driver

JuiceFS предоставил Kubernetes CSI Driver прийти на помощь в Kubernetes середина Удобныйиспользовать JuiceFS。Alluxio такжепредоставил Kubernetes CSI Driver,Но этот проект поддерживается недостаточно активно.,Также не получил Alluxio от официального одобрения.

5. Полностью совместим с POSIX.

JuiceFS Полная совместимость с POSIX.。отЦзиндунизодин pjdfstest показывать Alluxio неуспешный POSIX Тестирование совместимости, например. Alluxio Символические ссылки, усечение, выделение, добавление, xattr, mkfifo, mknod не поддерживаются. и время. Кроме pjdfstest JuiceFS охватывает как Восток, так и Запад. возвращатьсяпредоставил Закрыть и открыть（close-to-open）последовательность、Атомарные операции с метаданными、mmap、fallocate перфорация, xattr, BSD замок(стая)и POSIX Блокировка записи (fcntl).

6. Атомарные операции с метаданными

Alluxio Работа серединаizЮаньданных состоит из двух этапов: первый шаг — изменить Alluxio master из статуса, второй шаг — UFS Отправить запрос. Видно, что операция элемента не является атомарной, и если во время выполнения операции происходит какой-либо сбой, ее статус непредсказуем. Аллюксио полагаться UFS Для достижения метаопераций, таких как переименование файлов, будут копироваться операции удаления.

благодарный Транзакция Redis,JuiceFS — большинство атомарных операций являются атомарными.,Например, переименовывать файлы, Удалить файлы、Переименуйте каталог. Вам не придется беспокоиться о производительности последовательности.

7. Последовательность

Alluxio по мере необходимости от UFS Данные элемента загружены и он не запускается UFS из информации. По умолчанию Аллюксио ожидать UFS Все модификации производятся путем Alluxio руководить. Если напрямую UFS Изменения необходимо вносить вручную или периодически в Alluxio и UFS синхронизация между Юаньданные。как「Атомарные операции с метаданными」часть того, что сказано,Двухэтапная метаобработка может привести к несоответствиям.

JuiceFS поставлять Юаньданныеиданныеизмощныйпоследовательность。JuiceFS изданные сервис является единственным достоверным источником (единственный source of правда), нет UFS иззеркало. Юаньданные Сервис неполагатьсяхранилище объектовполучить Юаньданные。хранилище объектов просто считается никоимто ограничением в блок-хранилище. Сок ФС ихранилище Между объектами нет противоречий.

8. Сжатие данных

JuiceFS поддерживатьиспользовать LZ4 или Zstandard Сжать все ваши изданные. Аллюксио Нет такой функции.

9. Шифрование данных

JuiceFS Поддерживает шифрование при передаче (шифрование in транзит) и шифрование в состоянии покоя (шифрование at rest）。Alluxio Версия сообщества не имеет этой функции.,ноКорпоративная версияиметь。

10. Нулевая эксплуатация и техническое обслуживание.

Alluxio из Архитектуру можно разделить на 3 Компоненты: мастер, рабочий. и клиент. Типичный кластер состоит из одного мастер-узла (master), несколько резервных главных узлов (резервный master), главный узел задания (job главный), несколько резервных главных узлов заданий (резервный job мастер), несколько worker и job worker состав. Вам необходимо самостоятельно эксплуатировать и обслуживать эти узлы.

JuiceFS использовать Redis или ВОЗДругая системаделатьдлямеханизм метаданные. Вы можете легко использовать хостинг у поставщика услуг общедоступного облака для JuiceFS измеханизм метаданных, без каких-либо затрат на эксплуатацию и обслуживание.

2. JuiceFS против CephFS

1. Общие моменты

Оба очень надежны,Высокая производительность благодаря эластичной распределенной файловой системе,И все они имеют хорошие совместимые свойства POSIX.,Вы можете опробовать ее в различных файловых системахиспользовать сцены.

2. Различия

2.1 Архитектура системы

Оба имеют разделение данных и данных по архитектуре, но существуют большие различия в реализации компонентов.

CephFS

Это полноценная и независимая система, предназначенная для развертывания частного облака; все данные будут сохранены; Ceph Самостоятельный репозиторийбассейн（RADOS Бассейн).

• Юаньданные
  • Служба Вхождения (MDS): статус «никто» и теоретически масштабируемая по горизонтали. В настоящее время существует зрелый активный и резервный механизм.,Однако развертывание с несколькими хозяевами по-прежнему сопряжено с рисками для производительности и стабильности. В производственных средах обычно имеется один главный сервер и несколько резервных копий или статическая изоляция с несколькими главными устройствами;
  • Настойчивость: Независимость RADOS хранилищебассейн,в целомиспользовать SSD или более высокая производительность в аппаратных хранилищах
• данные: один или несколько RADOS хранилищебассейн,поддерживатьпроходить Layout Укажите различные конфигурации, например размер чанка (по умолчанию). 4 MiB), режим резервирования (множественные копии, EC) и т. д.
• клиент：поддерживать Ядроклиент（kcephfs）,Клиент пользовательского режима（ceph-fuse）и база В libcephfs Понимать C++、Python ждать SDK Недавно сообщество также; Windows клиент（ceph-dokan）。в то же времяэкологиясерединатакжеиметьи Samba стыковкаиз VFS object ии NFS-Ganesha стыковкаиз FSAL Модули доступны к рассмотрению.

JuiceFS

JuiceFS В основном реализуем один libjfs библиотека FUSE Клиентская программа, Java SDK ждать,поддерживатьстыковка Различныймеханизм метаданныхихранилище объектов, подходящих для развертывания в средах публичного облака, частного облака и гибридного облака.

• Юаньданные：поддерживать Различныйужеиметьиз реализация библиотеки данных ,включать:
  • Redis и фильмы фильмы несовместимы Redis Протокол из варианта (требуется одобрение дела);
  • SQL Версия: MySQL, PostgreSQL, SQLite ждать；
  • распределенный K/V хранилище：ужеподдерживать TiKV,планподдерживать Apple FoundationDB；
  • Собственный движок: JuiceFS в общедоступном управляемом облаке;
• данные：поддерживать Превосходить 30 Заводчикиметь В облакеизхранилище объектов,Также доступен и MinIO,Ceph RADOS,Ceph RGW ждатьстыковка；
• клиент：поддерживать Unix Монтирование в пользовательском режиме, Windows устанавливать,Полностью совместим HDFS Семантика из Java SDK,Python SDK и встроенный Шлюз S3。

2.2 Функциональные особенности

Примечание 1. Разбивка файлов на фрагменты

Хотя оба они делят большие файлы на фрагменты, существуют существенные различия в принципах их реализации. CephFS Файл будет нажат object_size（по умолчаниюдля 4 МБ) разделить, по одному на каждый фрагмент RADOS объект. и JuiceFS Затем сначала нажмите файл 64MiB Chunk разделить, каждый Chunk При написании он разбивается на несколько логик за один шаг в соответствии с реальной ситуацией. Кусочек, каждый Slice Разделить на значения по умолчанию при записи в хранилище объектов 4MiB из Block,Block с объектным хранилищем object Переписка один на один. Имея дело с перезаписью, CephFS Необходимо напрямую изменить соответствующий из объекты, процесс более сложен, особенно стратегия резервирования; EC или кто открывает Сжатие данных, часто необходимо прочитать часть object Содержимое изменяется в памяти, а затем записывается. Этот процесс приведет к значительному снижению производительности. и JuiceFS Обновить данные как новые при перезаписи objects написать и изменить Юаньданные Вот и все,Кроме того, значительно улучшена производительность;,Если в процессе возникает избыточность, сборка мусора будет завершена асинхронно.

Примечание 2. Сжатие данных.

Строго говоря, CephFS Само сжатие не предусмотрено данных, ее фактическая опора составляет RADOS слой BlueStore из-за сжатия. и JuiceFS тогда ты сможешь Block Загрузить в хранилище объектовдо Входить Иди один раз Сжатие данных,уменьшитьхранилище Объекты среды из емкостииспользования. Другими словами, если вы используете JuiceFS стыковка RADOS может сделать это в Block Входить RADOS до и после Входить Иди один разсжатие。кроме того,как вРазбиение файлов на фрагментысерединаупомянулиз,Обеспечивает гарантию производительности при перезаписи записей.,CephFS Обычно не включено BlueStore из Функция сжатия.

Примечание 3. Шифрование данных.

Ceph Messenger v2 поддерживать Сетевая передачаслойиз Шифрование данных,слой хранилища и сжатие аналогично,полагаться В OSD Предоставляет возможности шифрования при создании. Сок ФС Шифрование и дешифрование выполняются перед загрузкой объекта и после загрузки в хранилище. Стороны объектов полностью прозрачны.

3. JuiceFS против S3FS

S3FS это C++ Разрабатывать инструменты с открытым исходным кодом, которые могут S3 хранение объектов через FUSE Подключите его локально и выполняйте доступ для чтения и записи, как к локальному диску. Кроме Amazon S3, он не совместим с резервными копиями S3 API изхранилище объектов。

Что касается базовой функциональности, S3FS и JuiceFS Все может пройти FUSE хранить объект Bucket Смонтируйте его локально и используйте POSIX интерфейсиспользовать。Но в функциональных деталяхи Техническая реализация,два ВОЗиметьсутьиздругой。

1. Позиционирование продукта

S3FS это практичный инструмент, который можно удобно использовать объект Bucket устанавливатьместному,Читать и писать привычным способом,Для тех сценариев, которые не чувствительны к производительности и задержке сети и обычно используются.

JuiceFS дараспределенныйдокументсистема,Он имеет уникальный метод управления и ряд технических оптимизаций для обеспечения высокой производительности, надежности и безопасности.,В основном решают огромный спрос на хранение данных.

2. Архитектура системы

S3FS Никакой специальной оптимизации файла нет, он как локальное ихранилище. объекты из канала доступа, локальная точка монтирования для просмотра содержимого и хранилищ Объекты видятся в браузере согласованно, поэтому вы можете легко использовать локальную облачную хранилище. Но с другой стороны, именно из-за такой простой архитектуры S3FS Как извлечение файлов, так и чтение и запись требуются в хранилищах. объектов Прямое взаимодействие, задержка в сети окажут большее влияние на производительность и удобство работы пользователей.

Техническая архитектура JuiceFS,любойдокумент Всевстреча Сначала разделите его наданныезаблокировать снова Загрузить в хранилище объекты, соответствующие изданные будут храниться в независимой изданной библиотеке. Преимущество этого заключается в том, что извлечение файлов и изменение метаинформации имени файла могут выполняться напрямую с более высокой скоростью ответа и взаимодействием с библиотекой, избегая необходимости хранения данных. интерактивные объекты из-за влияния задержки в сети.

кроме того,Что касается обработки больших файлов,Хотя S3FS Вы можете загружать частями, чтобы решить проблему передачи больших файлов, но хранилище объектыизхарактеристика определяет, что добавление и перезапись файлов требует перезаписи всего объекта. Да, десятки или сотни GB даже TB Для больших файлов повторная загрузка неизбежно приведет к потере большого количества времени и ресурсов полосы пропускания.

JuiceFS Это позволяет избежать подобных проблем. Независимо от размера отдельного файла, он будет локально разбит на блоки данных в соответствии с определенными правилами перед загрузкой (по умолчанию). 4MiB）。对любойдокументизпереписатьи Добавление в конечном итоге приведет к созданию новыхизданныекусок,Вместо модификации сгенерированного изданного блока,Значительно сокращает трату времени и ресурсов полосы пропускания.

связанный JuiceFS из Подробное описание архитектуры см.документ。

3. Механизм кэширования

S3FS Кэширование диска поддерживается, но по умолчанию не включено. может пройти -o use_cache Укажите путь к кэшу для включения локального кэш. После включения кэша любое чтение или запись файла сначала записывает кэш, прежде чем выполнять операцию. S3FS проходить MD5 Чтобы обнаружить изменения данных, убедитесь в их правильности и сократите количество повторных загрузок файлов. автор В S3FS Все операции, связанные с из требуют и S3 взаимодействия, поэтому вопрос о включении кэша существенно влияет на работу приложения.

S3FS По умолчанию верхний предел размера пространства отсутствует, который больше для Виз. Buket Это может привести к тому, что кэш заполнит диск, что потребует предоставления -o ensure_diskfree Определите место, зарезервированное для диска. Кроме того, S3FS Нет механизма истечения срока действия и очистки кэша. Пользователям необходимо регулярно очищать кэш вручную. Как только пространство кэша заполнено, неиспользуемые файлы необходимо обрабатывать непосредственно в хранилище. Взаимодействие объектов, обработка крупномасштабных файлов окажет определенное влияние.

Что касается кеширования, JuiceFS и S3FS Совсем другое, прежде всего JuiceFS гарантируется Во-вторых, JuiceFS Определено по умолчанию 100GiB изDisk кэшиспользовать верхний предел. Пользователи могут свободно изменять это значение по мере необходимости, а значение по умолчанию гарантирует, что оставшееся дисковое пространство будет низким. 10% Больше нет места. Когда использование кэша достигает верхнего предела, JuiceFS использовал бы что-то вроде LRU Алгоритм из автоматически очищает строку Входить, чтобы гарантировать, что последующие операции чтения и записи всегда доступны.

связанный JuiceFS кэшиз Для получения дополнительной информации см.документ。

4. Функциональные особенности

5.Дополнительное объяснение

OSSFS、COSFS、OBSFS ожидание все геи S3FS Разработка производных, использование характеристик функций и S3FS В основном то же самое.

4. JuiceFS против S3QL

и JuiceFS Аналогично, S3QL Также продукт от хранилища Драйвер комбинации объектных библиотек из сетевой файловой системы с открытым исходным кодом, все изданные депозиты будут распределены по частям в хранилище Amazon. S3、Backblaze B2、OpenStack Swift ждатьмейнстримизхранилище объектовсередина,соответствующийиз Юаньданныевстречахранилищесуществоватьданные Библиотекасередина。

Уведомление

S3QL Уже 2022 Год 11 луна 9 Техническое обслуживание будет остановлено в указанную дату, см. Склад S3QL。

1. Общие моменты

• Вседапроходить FUSE Реализация модуля для стандартного POSIX Интерфейс файловой системы поддерживается, так что массивную облачную хранилище можно монтировать к локальному, так же, как и локальную хранилище.
• Может обеспечить стандартную функцию файловой системы: жесткая ссылка、символическая ссылка、расширенные атрибуты、документ Разрешения。
• Всеподдерживать Сжатие шифрования данных, но эти два алгоритма использования различны.
• Все поддерживают резервное копирование базы данных метаданных, S3QL Автоматическое резервное копирование SQLite данные Прибытиехранилище объектов。JuiceFS Автоматически экспортировать данные каждый час JSON Форматирование файлов и резервное копирование в хранилище объекты, В хорошо восстанавливаются в различных механизмах метаданныхмиграция между。

2. Различия

• S3QL Поддерживает только SQLite Библиотека данных, в то время как JuiceFS Кромеподдерживать SQLite кромевозвращатьсяподдерживать Redis、TiKV、MySQL、PostgreSQL и другие базы данных.
• S3QL не имеет распределенных возможностей.,Нетподдерживать多主机в то же времяустанавливать。JuiceFS Это типичная распределенная файловая система, в базе которой используются изданные библиотеки, поддерживающие многохостовое распределенное монтирование для чтения и записи.
• S3QL существоватьодинданныекусок Не обнаружено в течение нескольких секунддоступвремя это Загрузить в хранилище объекты. Файл закрыт или даже fsync После этого они по-прежнему гарантированно будут находиться только в памяти системы и могут быть потеряны в случае сбоя узла. Сок ФС Обеспечивает высокую надежность данныхиз,существоватьдокументкогда закрытовстречасинхронизируй это Загрузить в хранилище объектов。
• S3QL Обеспечить дедупликацию данные, те же данные, только хранилище может уменьшить хранилище объектов использования, но это также увеличит накладные расходы на производительность. Напротив, JuiceFS Подробнее Примечание Высокая производительность, для крупномасштабной Дедупликации данных Цена слишком высока и данная функция на данный момент недоступна.

3. Простота использования

В этой части в основном оценивается простота использования двух продуктов на Установитьииспользовать.

Установить

В процессе установки,насиспользовать Rocky Linux 8.4 Система работы (версия ядра 4.18.0-305.12.1.el8_4.x86_64）。

S3QL

S3QL использовать Python Требуется развитие, опора при установке python-devel 3.7 и выше версий. кроме того,возвращаться Необходимо выполнить как минимум следующееполагаться：fuse3-devel、gcc、pyfuse3、sqlite-devel、cryptography、defusedxml、apsw、dugong。кроме того,Необходимо специальное уведомление Python из-за проблемы с местоположением.

S3QL будет в системе Установить 12 бинарных программ,Каждая программа предлагает независимую функцию,Как показано ниже.

JuiceFS

JuiceFS клиентиспользовать Go Для разработки языка вы можете напрямую загрузить предварительно скомпилированный файл «Издва Входить». Сок ФС У клиента есть только одна бинарная программа juicefs,Просто скопируйте его в любой путь к исполняемому файлу.,например：/usr/local/bin。

использовать

S3QL и JuiceFS Всеиспользоватьданные Библиотека保存Юаньданные,S3QL Поддерживает только SQLite База данных, JuiceFS поддерживать Redis、TiKV、MySQL、MariaDB、PostgreSQL и SQLite и другие базы данных.

Здесь use создается локально, а из объектов хранилища MinIO и use — это два инструмента, которые создают файловую систему соответственно:

S3QL

S3QL использовать mkfs.s3ql Файловая система создания инструмента:

mkfs.s3ql --plain --backend-options no-ssl -L s3ql s3c://127.0.0.1:9000/s3ql/

устанавливатьдокументсистемаиспользовать mount.s3ql：

mount.s3ql --compress none --backend-options no-ssl s3c://127.0.0.1:9000/s3ql/ mnt-s3ql

S3QL Использование интерактивной командной строки из предоставленной хранилища требуется при создании и монтировании файлов системы. объектов API из Ключ доступа.

JuiceFS

JuiceFS использовать format Подкоманда для создания файловой системы:

juicefs format --storage minio \
    --bucket http://127.0.0.1:9000/myjfs \
    --access-key minioadmin \
    --secret-key minioadmin \
    sqlite3://myjfs.db \
    myjfs

устанавливатьдокументсистемаиспользовать mount Инструкция для ребенка:

sudo juicefs mount -d sqlite3://myjfs.db mnt-juicefs

JuiceFS Устанавливайте хранилище только при создании файловой системы объектов API Ключ доступа, соответствующая информация будет записана в механизме. метаданных, после монтированияиспользующегото вам необходимо повторно предоставить хранилище адрес объекта, ключевая информация об ожидании.

4. Сравнение и итоги

S3QL использоватьхранилище объектов + SQLite структура хранения,Разбивка данных на Блокхранилище позволяет не только повысить эффективность чтения и записи файлов, но и снизить затраты ресурсов при изменении файлов. забота из предоставления Снимок、Дедупликация данных, данные поддерживают расширенные функции ожидания, а также из Сжатие по умолчанию. данныхи Шифрование данных,позволять S3QL Для частных лиц очень удобно использовать более дешевые и более безопасные файлы в облаке.

JuiceFS поддерживатьхранилище объекты, HDFS, WebDAV, локальный диск для хранения данныхдвигатель,поддерживать Redis、TiKV、MySQL、MariaDB、PostgreSQL、SQLite ждать Популярностьизданныеделатьдля Юаньхранение данныхдвигатель。Кромепроходить FUSE поставлятьстандартныйиз POSIX Интерфейс файловой системы, отличный от JuiceFS Также доступен Java API, можно напрямую заменить HDFS для Hadoop Предлагаю хранилище. В то же время Также доступен Kubernetes CSI Driver,Можно сделать для Kubernetes изхранилищеслой, сделать хранилище данных постоянного хранения. JuiceFS предназначен для распределенного хранения данных на уровне предприятия, проектирования сцен из файловой системы.,Широко используется в машинном анализе больших данных. обучение、Совместное хранение контейнеров、Обмен данными и резервное копирование при различных сценариях.