CHDFS безопасный и удобный доступ к большим данным
CHDFS безопасный и удобный доступ к большим данным

1. Предыстория

Cloud HDFS (CHDFS) — это распределенная файловая система, предоставляемая Tencent Cloud, которая поддерживает стандартный протокол доступа HDFS, отличную производительность и иерархическое пространство имен.

CHDFS в основном решает проблему массового хранения и анализа данных в сценариях с большими данными. Он может помочь пользователям больших данных легко перенести локально созданную файловую систему HDFS в высокодоступную, масштабируемую и недорогую файловую систему без изменения существующей. Стоимость, надежность и безопасность на CHDFS. Таким образом, хранение и вычисления разделены, а вычислительные узлы можно динамически расширять и уменьшать.

Таким образом, основная группа пользователей CHDFS — это сотрудники, занимающиеся исследованиями и разработками системы больших данных. Чтобы удовлетворить привычки пользователей в традиционной среде Hadoop и удовлетворить требования пользователей к разрешениям, CHDFS обеспечивает безопасный и удобный доступ к большим данным посредством. следующие меры.

2. Контроль версий

Разделение хранилища и вычислений обеспечивает облачный хостинг хранилища, так что вычислительные узлы больше не полагаются на локальное хранилище, но это также увеличивает задержку хранения. Таким образом, разделение хранилища и вычислений больше подходит для доступа в одном компьютерном зале в одном и том же компьютерном зале. тот же регион. С самого начала разработки CHDFS предполагалось, что кластер больших данных пользователя работает в сети VPC Tencent Cloud (включая CVM и Blackstone).

Таким образом, для ограничения источников пользователям необходимо выполнить только следующие три шага:

1. Создайте новую группу разрешений и укажите VPC в группе разрешений (должен быть VPC под этой учетной записью).

2. Добавьте правила в группу разрешений, чтобы предоставить разрешения только на чтение или чтение и запись определенному сегменту подсети в сегменте сети VPC. Для нескольких правил в одной группе разрешений разрешения определяются на основе приоритета.

3. Привяжите группу разрешений к точке монтирования файловой системы. Файловую систему можно привязать к нескольким группам разрешений. Если соблюдены правила любой группы разрешений, будут получены соответствующие права доступа.

3. ПОСИКС Разрешения и суперпользователь

CHDFS совместим с правилами разрешений POSIX HDFS, которые аналогичны правилам файловой системы Linux. То есть каталоги и файлы на каждом уровне имеют разрешения «Пользователь», «Группа» и «Другие» (rwx). Все правила разрешений можно кратко описать следующим образом:

1. Пользователь выполняет командную строку Hadoop или запускает задание больших данных.

2. Когда задание выполняется, вам необходимо получить доступ к определенному пути CHDFS, то есть получить доступ к определенному пути CHDFS в качестве пользователя и группы исполняемого процесса.

3. CHDFS запускается из корневого каталога в соответствии с путем доступа и проверяет уровень за уровнем. Если имя пользователя совпадает с именем пользователя файла или каталога, у него есть разрешения пользователя для файла и каталога. Если имя группы пользователей совпадает, у него есть разрешения группы. В противном случае у него есть только другие разрешения.

4. Чтобы перейти на следующий уровень каталога, у вас должны быть разрешения X, для создания и удаления файлов в каталоге у вас должны быть разрешения W, а для вывода списка файлов в каталоге у вас должны быть разрешения R.

5. Для чтения файлов у вас должны быть разрешения R, а для изменения файлов — разрешения W.

Для обычных пользователей вышеуказанные правила разрешений используются для проверки, но в то же время CHDFS также поддерживает суперпользователей. Суперпользователи имеют все разрешения на работу с файловыми каталогами и подходят для администраторов конфигурации.

Переключатели разрешений POSIX и настройки суперпользователя можно редактировать при создании новой файловой системы или позже в свойствах файловой системы.

4. Получите доступ к системе разрешений Hadoop Ranger.

Будучи универсальной системой разрешений, Hadoop Ranger не только поддерживает управление и контроль разрешений на стороне хранилища, но также поддерживает управление и контроль разрешений компонентов, таких как YARN и Hive. Поэтому, чтобы сохранить привычки клиентов в использовании, мы предоставляем решение доступа CHDFS Ranger, которое позволяет клиентам использовать Ranger для управления разрешениями CHDFS. Архитектура доступа CHDFS к системе разрешений Ranger выглядит следующим образом.

После того, как мы зарегистрируем соответствующую информацию службы CHDFS в центре управления Ranger Admin и настроим службу CHDFS, мы сможем настроить соответствующую политику разрешений CHDFS, как показано ниже.

После включения подключаемого модуля CHDFS для аутентификации Ranger все запросы на доступ к CHDFS будут перенаправляться в службу COS Ranger для аутентификации. Служба COS Ranger будет выполнять проверки разрешений на основе политики, полученной от администратора Ranger. Инструкции по настройке доступа CHDFS к разрешениям Ranger см. в документации консоли CHDFS.

5. Резюме

CHDFS, облачное хранилище больших данных, с самого начала разрабатывалось с учетом особенностей использования пользователей HDFS. Предоставляя такие функции, как ограничение исходного VPC, сегмента IP-сети, аутентификацию POSIX, суперпользователя и т. д., он также поддерживает доступ к системе разрешений Hadoop Ranger. Обеспечивая удобство для клиентов, он также полностью гарантирует безопасность и гибкость.

о нас

На домашней странице сообщества Cloud + «Команда Tencent Cloud Storage» представлены последние новости команды Tencent Cloud Storage, информация о команде, таблица продуктов, техническая документация, видеоуроки и т. д. Приглашаем вас подписаться на или оставить сообщение, чтобы дать ценные предложения. .

точка「Прочитайте оригинальную статью」,узнать больше & точка「заглянуть」,Пусть больше людей откроют для себя удивительные вещи

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.