Сводка ресурсов DAOS высокопроизводительной распределенной системы хранения данных Intel IO500, включая сеть RDMA SPDK NVME TSE, планирование асинхронной очереди событий и т. д.
Общие ссылки DAOS
Стратегия развития DAOS в эпоху после Оптана: https://www.bilibili.com/video/BV1Qw411377s
План проекта DAOS: https://daosio.atlassian.net/wiki/spaces/DC/pages/4836661105/Roadmap
Технический документ DAOS: https://www.intel.co.jp/content/dam/www/central-libraries/us/en/documents/2023-04/daos-google-cloud-performant-hpc-white-paper-042023.pdf
Фонд ДАОС: https://foundation.daos.io
Проектная документация DAOS: https://daosio.atlassian.net/wiki/spaces/DC/pages/4806836263/Resources
Внутренний дизайн DAOS (модуль/принцип): https://github.com/daos-stack/daos/tree/master/src
Терминология ДАОС: https://docs.daos.io/v2.5/overview/terminology/
Документация по разработке DAOS: https://docs.daos.io/v2.5/dev/development/
Документация по разработке DAOS_добавление, удаление, изменение и запрос контейнера: https://docs.daos.io/v2.5/user/container/
Пользовательская документация: https://docs.daos.io/v2.5/user/workflow/
Публичные компоненты: https://github.com/daos-stack/daos/tree/master/src/common
Плот (реализация c_raft): https://github.com/willemt/raft, документ: raft.h,
Хранилище объектов версий (трансляция): https://blog.csdn.net/Hahafly1234/article/details/119298746
Высокопроизводительная сеть RDMA (низкая задержка): https://mp.weixin.qq.com/s/qPY4oNuhwaByFpK68g3yEA
CART (одиночная/пакетная передача RPC)+RDMA = Большие данные и экзафлопс HPC Открытый исходный код RPC Транспортный уровень: https://mp.weixin.qq.com/s/AAOIstxRV94b_RS7WrcBBw
Технические доклады Сяобина (серия: DAOS/RDMA/UCX/Mercury/Libfabric/распределенное хранилище и т.д.)
видео: https://cloud.tencent.com/developer/user/5060293/video
блог: https://cloud.tencent.com/developer/column/99669
тема | время | Связь | Примечание |
|---|---|---|---|
СяобинTechnical Talk 1-intel_daos введение в проектвысокая производительностьраспределенныйхранилищеRDMA_SPDK_NVME_HPCобъектхранилище Анализ исходного кода_cязык | 2023-09-02 00:22:15 | Распределенное асинхронное объектное хранилище (DAOS) это разновидность Открытого исходный кодообъектное хранилище, предназначенное для крупномасштабного распределенного энергонезависимого запоминающего устройства. (NVM) И дизайн. ДАОС Используйте возможности следующего поколения NVM такие технологии, как Intel © Optane ™ Persistent Memory и NVM express (NVMe), предоставляя при этом интерфейс хранения ключей на коммерческом оборудовании для обеспечения неблокируемости транзакций. I/O Расширенная защита данных с самовосстановлением, сквозной целостностью данных, детальным контролем данных и отказоустойчивостью для оптимизации производительности и затрат. ссылка: https://github.com/ssbandjl/daos | |
Сяобин Техническое обсуждение 2-daos пользовательского режима файловая система io путь dfuse_io полный путь io stack распределенныйхранилищеc язык | 2023-09-03 17:21:31 | Распределенное асинхронное объектное хранилище（DAOS,Distributed Asynchronous Object Хранилище) — Открытый исходный Расширяемая система хранения кода, разработанная с нуля для поддержки хранилищ SCMиNVMe в пользовательском пространстве. DAOS демонстрирует лидирующую производительность в тесте IO500 DAOS была разработана с нуля, чтобы использовать преимущества современного аппаратного обеспечения хранилища (SCM, NVMeиCXL). SSD). Его усовершенствованный низкоуровневый API-интерфейс «ключ-значение» позволяет ему достигать более высоких показателей ввода-вывода в секунду и масштабируемости, чем традиционные параллельные файловые системы на основе POSIX, результаты IO500 для DAOS. 2 Это также подтвердилось. Следует отметить, что хотя DAOS предоставляет уровень абстракции POSIX, его также можно напрямую интегрировать с пользовательским промежуточным программным обеспечением ввода-вывода (таким как MPI-IO, HDF и несколько инфраструктур искусственного интеллекта/аналитики), чтобы обеспечить большую функциональность, чем POSIX. Это исследование проводится только в DAOS. Использование DAOS поверх контейнеров POSIX. DFS API ссылка: https://logread.cn/post/daos/daos_dfuse_fs_io_path/ https://blog.csdn.net/ssbandjl/article/details/132651510 https://cloud.tencent.com/developer/article/2322705 | |
Сяобин Технический разговор о 3-распределенных хранилищах system-daos rdma communication framework_verbs_rpc_cart_mercury_libfabric_c Language | 2023-09-08 23:16:22 | Сяобин Технический разговор о 3-распределенных хранилищах system-daos и rdma communication framework_verbs_rpc_cart_mercury_libfabric_c Language CaRT (коллектив и RPC передача) с Меркурием CaRT используется для больших данных Уровень десяти миллиардов HPC из Открытый исходный код RPC транспортный уровень. Он поддерживает традиционные P2P RPC Коллективный RPC, который вызывается на наборе целевых серверов посредством масштабируемого распространения сообщений на основе дерева. РПК. Cart инкапсулирует Mercury и предоставляет приложениям контекст инициализации, интерфейсы каналов данных, такие как создание запросов, отправка запросов и обратные вызовы запросов. Типичные приложения верхнего уровня, такие как контроль пульса, управление ранжированием и т. д. Постоянная память и Nvme чтение и запись ввода-вывода, Нижний уровень инкапсулирует интерфейс чтения/записи SEND/получения RECV и READ через libfabric или ucx. ссылка: https://blog.csdn.net/ssbandjl/article/details/130448137 htthttps://blog.csdn.net/ssbandjl/article/details/130655867 https://github.com/ssbandjl/libfabric/blob/main/ofi_guide.md https://github.com/ssbandjl/mercury.git https://github.com/ssbandjl/daos/tree/master/src/cart | |
Технология Xiaobin Шантан4-распределенная система хранения данных-daosизасинхронное планирование платформа механизма задач TSE_task_schedule_engine_c языковое программирование | 2023-09-16 22:01:48 | Технология Xiaobin Шантан4-распределенная система хранения данных-daosизасинхронное планирование платформа механизма задач TSE_task_schedule_engine_c языковое программирование Механизм планирования задач: https://blog.csdn.net/ssbandjl/article/details/132178633 Событие и очередь событий, контекст EV/EQ/CartContext https://blog.csdn.net/ssbandjl/article/details/132385609 | |
Сяобин Технический доклад 5-распределенные хранилища system-daos, лежащая в основе связи, интерфейс rdma, руководство по библиотеке libfabric, данные графического процессора, данные dma_socket, принцип массовой передачи данных, rdma, одностороннее чтение и запись, программирование на языке C.mp4 | 2023-09-24 23:41:08 | Сяобин Технический разговор 5-распределенные хранилища system-daos, лежащая в основе связи, интерфейс rdma, руководство по библиотеке libfabric, данные графического процессора, dma_socket, принцип массовой передачи данных, rdma, одностороннее чтение и запись, программирование на языке C ai_intel_panda Dr. Panda https://logread.cn/post/ofa/libfabric_tutorial_rdma_gpu_intel_dma_video_panda/ https://blog.csdn.net/ssbandjl/article/details/133248887 | |
Сяобин Технический разговор о 6-распределенных хранилищах system-daos, лежащих в основе связи, интерфейс rdma, многоуровневый вызов, подробное объяснение libfabric_mercuryвысокая производительностьсетькоммуникация c языком программирования облачных вычислений хранилище.mp4 | 2023-10-13 21:24:52 | Сяобин Технический разговор о 6распределенных хранилищах системы DAOS Mercury(HG) Libfabric(OFI) RDMA Подробное объяснение вызова интерфейса иерархических глаголов c чтения языкового кода communication_rpc, DAOS Mercury(HG) Libfabric(OFI) RDMA Подробное объяснение вызова интерфейса иерархических глаголов , https://cloud.tencent.com/developer/article/2335208 htthttps://logread.cn/post/daos/daos_mercury_libfabric_rxm_rdma_verbs_rpc_bulk_api/ Часто используемое обучение Связь (обновляется в любое время): https://logread.cn/post/study/summary/ | |
Сяобин Технический разговор 7_Как движок распределенных хранилищ DAOS получает и обрабатывает клиентский RPC-запрос_c Language_rpc_cart_callback_mercury callback_rdma callback | 2023-10-21 23:51:23 | Сяобин Технический разговор 7_Как движок распределенных хранилищ DAOS получает и обрабатывает клиентский RPC-запрос_c Language_rpc_cart_callback_mercury callback_rdma callback Сводка ресурсов DAOS высокопроизводительной распределенной системы хранения данных Intel IO500, включая сеть RDMA SPDK NVME TSE, планирование асинхронной очереди событий и т. д. https://cloud.tencent.com/developer/article/2344030 Как механизм DAOS получает и обрабатывает клиентский RPC? https://cloud.tencent.com/developer/article/2348703 | |
СяобинTechnical Talk 8_UCX Unified Communications Framework_UCT Transport Layer Introduction_rdma_Zero Copy_rpc_высокая производительностьсеть_c язык_общая семантика связи_регистрация памяти_облачные вычисления_связь с графическим процессором и т. д. | 2023-11-04 22:41:48 | СяобинTechnical Talk 8_UCX Unified Communications Framework_UCT Transport Layer Introduction_rdma_Zero Copy_rpc_высокая производительностьсеть_c язык_общая семантика общения_регистрация памяти_облачные вычисления_связь с графическим процессором и т. д._блог Связь: https://cloud.tencent.com/developer/article/2349389 Конструкция УКТ: https://github.com/openucx/ucx/wiki/UCT-Design UCTдокумент: https://openucx.readthedocs.io/en/master/ucx_features.html | |
СяобинTechnical Talk 9_UCX унифицированная коммуникационная платформа_UCT транспортный уровень подробно_сервер и клиент_установление соединения основной процесс_rdma_zero copy_rpc_высокая производительностьсеть_c язык_общая семантика связи_регистрация памяти_облачные вычисления_связь с графическим процессором и т. д. | 2023-11-18 21:16:47 | UCX-UCT Транспортный уровень унифицированных коммуникаций 2: подробно: https://cloud.tencent.com/developer/article/2351953 UCX-UCT Транспортный уровень унифицированных коммуникаций 1 – Введение: https://cloud.tencent.com/developer/article/2349389 UCX-UCT Транспортный уровень 3-серверных и клиентских вызовов унифицированных коммуникаций. Подробное объяснение (и связанное с ним)_Интерпретация исходного кода: https://cloud.tencent.com/developer/article/2353126 | |
СяобинTechnical Talk 10_UCX унифицированная коммуникационная платформа_UCT транспортный уровень подробно_сервер и клиент_установление соединения основной процесс_rdma_zero copy_rpc_высокая производительностьсеть_c язык_общая семантика связи_регистрация памяти_облачные вычисления_связь с графическим процессором и т. д. | 2023-11-19 21:08:10 | СяобинTechnical Talk 10_UCX унифицированная коммуникационная платформа_UCT транспортный уровень подробно_сервер и клиент_установление соединения основной процесс_rdma_zero copy_rpc_высокая производительностьсеть_c язык_общая семантика связи_регистрация памяти_облачные вычисления_связь с графическим процессором и т. д. ссылка: UCX-UCT Транспортный уровень унифицированных коммуникаций 2: подробно: https://cloud.tencent.com/developer/article/2351953 UCX-UCT Транспортный уровень унифицированных коммуникаций 1 – Введение: https://cloud.tencent.com/developer/article/2349389 UCX-UCT Транспортный уровень 3-серверных и клиентских вызовов унифицированных коммуникаций. Подробное объяснение (и связанное с ним)_Интерпретация исходного кода: https://cloud.tencent.com/developer/article/2353126 |
Сяобин
блог: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
Учебное пособие по Jetpack Compose для начинающих, базовые элементы управления и макет
Код js веб-страницы, фон частицы, код спецэффектов
【новый! Суперподробное】Полное руководство по свойствам компонентов Figma.
🎉Обязательно к прочтению новичкам: полное руководство по написанию мини-программ WeChat с использованием программного обеспечения Cursor.
[Забавный проект Docker] VoceChat — еще одно приложение для мгновенного чата (IM)! Может быть встроен в любую веб-страницу!
Как реализовать переход по странице в HTML (html переходит на указанную страницу)
Как решить проблему зависания и низкой скорости при установке зависимостей с помощью npm. Существуют ли доступные источники npm, которые могут решить эту проблему?
Серия From Zero to Fun: Uni-App WeChat Payment Practice WeChat авторизует вход в систему и украшает страницу заказа, создает интерфейс заказа и инициирует запрос заказа
Серия uni-app: uni.navigateЧтобы передать скачок значения
Апплет WeChat настраивает верхнюю панель навигации и адаптируется к различным моделям.
JS-время конвертации
Обеспечьте бесперебойную работу ChromeDriver 125: советы по решению проблемы chromedriver.exe не найдены
Поле комментария, щелчок мышью, специальные эффекты, js-код
Объект массива перемещения объекта JS
Как открыть разрешение на позиционирование апплета WeChat_Как использовать WeChat для определения местонахождения друзей
Я даю вам два набора из 18 простых в использовании фонов холста Power BI, так что вам больше не придется возиться с цветами!
Получить текущее время в js_Как динамически отображать дату и время в js
Вам необходимо изучить сочетания клавиш vsCode для форматирования и организации кода, чтобы вам больше не приходилось настраивать формат вручную.
У ChatGPT большое обновление. Всего за 45 минут пресс-конференция показывает, что OpenAI сделал еще один шаг вперед.
Copilot облачной разработки — упрощение разработки
Микросборка xChatGPT с низким кодом, создание апплета чат-бота с искусственным интеллектом за пять шагов
CUDA Out of Memory: идеальное решение проблемы нехватки памяти CUDA
Анализ кластеризации отдельных ячеек, который должен освоить каждый&MarkerгенетическийВизуализация
vLLM: мощный инструмент для ускорения вывода ИИ
CodeGeeX: мощный инструмент генерации кода искусственного интеллекта, который можно использовать бесплатно в дополнение к второму пилоту.
Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%
Бесшовная интеграция, мгновенный интеллект [1]: платформа больших моделей Dify-LLM, интеграция без кодирования и встраивание в сторонние системы, более 42 тысяч звезд, чтобы стать свидетелями эксклюзивных интеллектуальных решений.
LM Studio для создания локальных больших моделей
Как определить количество слоев и нейронов скрытых слоев нейронной сети?
