Для новичков в глубоком обучении настройка среды глубокого обучения может стать большой проблемой, поэтому в этой статье в основном объясняется, что такое CUDA; Pytorch и зависимости между ними.

CUDA

CUDA (Compute Unified Device Architecture) — это платформа и модель программирования для параллельных вычислений, разработанная NVIDIA. CUDA предназначен для использования мощных вычислительных возможностей графических процессоров NVIDIA (графических процессоров) для ускорения различных научных вычислений, численного моделирования и задач глубокого обучения.

1. «Параллельные вычисления на графическом процессоре»： CUDA позволяет графическим процессорам выполнять параллельные вычислительные задачи, значительно повышая производительность вычислений. Графический процессор состоит из множества небольших процессорных блоков, каждый из которых способен выполнять несколько потоков, а это означает, что графический процессор может одновременно обрабатывать большое количество вычислительных задач.
2. «Модель программирования CUDA»： CUDA предоставляет модель программирования,Позволяет разработчикам писать код C/C++.,Воспользуйтесь преимуществами параллелизма графического процессора для выполнения задач. Разработчики могут писать код, называемый «ядрами».,Эти функции ядра выполняются параллельно на графическом процессоре. Модель программирования CUDA также предоставляет набор API (интерфейсов прикладного программирования) для управления памятью графического процессора, управления устройствами графического процессора и планирования выполнения функций ядра.
3. «Приложения для параллельных вычислений»： CUDAШироко используется в научных вычислениях в различных областях.и Высокопроизводительные вычислительные приложения,включать：
   • «Численное моделирование»：CUDAМожет использоваться для моделирования физических явлений.、погода Модель、Численное моделирование в таких областях, как механика жидкости.
   • «Глубокое обучение»：глубокое фреймворки обучения, такие как TensorFlow и PyTorch, поддерживают CUDA, который можно использовать для обучения и определения глубины нейронного вывода. сети, ускоряя такие задачи, как распознавание изображений и обработка естественного языка.
   • «Молекулярная динамика»：Используется для моделирования взаимодействия между молекулами.,Участвует в разработке лекарств и исследованиях в области материаловедения.
   • «Наука о Земле»：для моделирования землетрясений、Метеорология、Крупномасштабное численное моделирование в геофизике и других областях.
4. «Поддержка графического процессора NVIDIA»： CUDA работает только с NVIDIA графический процессор. Различные версии CUDA часто связаны с конкретными моделями NVIDIA. Совместимость с графическим процессором, поэтому убедитесь, что ваш графический процессор поддерживает выбранную версию CUDA.
5. «Инструменты и библиотеки CUDA»： NVIDIA предоставляет набор инструментов и библиотек для разработки CUDA, включая CUDA. Инструментарий, cuDNN (CUDA Deep Neural сетевая библиотека), cuBLAS (базовая библиотека линейной алгебры CUDA) и т. д. Эти инструменты и библиотеки упрощают процесс разработки и оптимизации приложений CUDA.

Cudnn

cuDNN (CUDA Deep Neural Network Library) — это библиотека ускорения глубокого обучения, разработанная NVIDIA. cuDNN предназначен для оптимизации процессов прямого и обратного распространения нейронных сетей, чтобы использовать преимущества параллельных вычислительных мощностей графических процессоров NVIDIA для ускорения обучения и вывода моделей глубокого обучения.

1. «Ускорение глубокого обучения»： cuDNNда специально разработан для глубоких обучающая миссия, призванная ускорить нейронную Обучение и рассуждения сети. Он предоставляет ряд высокооптимизированных алгоритмов и функций для выполнения нейронных Прямое распространение, обратное распространение и обновление веса сетевого слоя.
2. «Ускорение графического процессора»： cuDNN в полной мере использует преимущества NVIDIA Возможности параллельных вычислений графического процессора для эффективной работы на больших глубинах обучающая операция. Это позволяет тренировать глубокие нейронные сеть работает быстрее, особенно для больших наборов данных.
3. «Поддержка платформы глубокого обучения»： cuDNN широко используется в нескольких глубоких фреймворк обучения, включая TensorFlow, PyTorch, Caffe, MXNet и т. д. Эти платформы используют cuDNN для ускорения процесса обучения и вывода модели, что делает более глубокие обучение Исследования и разработки становятся более эффективными.
4. «Улучшение производительности»： cuDNN значительно улучшается за счет использования высокооптимизированного алгоритма свертки и объединения, автоматического расчета смешанной точности, управления памятью, поддержки нескольких графических процессоров и других технологий. обучение выполнению заданий. Эти оптимизации могут ускорить свертки сеть（CNN）、циклнейронная сеть (RNN), генеративно-состязательная сеть (GAN) и другие типы нейронных сетей. сеть。
5. «Совместимость версий»： Различные версии cuDNN с NVIDIA Глубокая архитектура графического процессора обучениев рамке Версия Совместима Поэтому, чтобы получить максимальную производительность, вам необходимо выбрать модель графического процессора, которая подходит именно вам. обучениерамка ВерсияизcuDNNВерсия。
6. «Бесплатно использовать»： cuDNN бесплатен, его можно загрузить и использовать на официальном сайте NVIDIA.

PyTorch

PyTorch — это платформа глубокого обучения с открытым исходным кодом, разработанная и поддерживаемая исследовательской группой Facebook по искусственному интеллекту. Это очень популярная среда глубокого обучения для построения и обучения моделей нейронных сетей.

1. «Динамический вычислительный график»： PyTorch Использование графика динамических расчетов (Dynamic Computational Граф) способ определения и выполнения нейронной сеть. Это означает, что вы можете писать нейронный код так же, как если бы вы писали обычный код Python. сеть,Сохраняя преимущества вычислительных графов,Сделайте построение и отладку модели более интуитивно понятным и гибким.
2. "гибкость"： PyTorch Предоставляет множество тензорных операций, а также различные инструменты и модули оптимизации, позволяющие легко создавать различные типы глубоких вычислений. обучение Модель,включатьсвертканейронная сеть（CNN）、циклнейронная сеть (RNN), генеративно-состязательная сеть (GAN) и т. д. Он также поддерживает пользовательские нейронные сетевой слой и функция потерь, которая позволяет создавать настраиваемые модели.
3. «Ускорение графического процессора»： PyTorch естественным образом поддерживает ускорение графического процессора. найти обучение и исполнение в ГПУ нейронная сеть,Производительность вычислений значительно улучшена. Тензорные операции графического процессора PyTorch очень похожи на тензорные операции ЦП.,Позволяет относительно легко переносить вычисления с ЦП на графический процессор.
4. «Динамическая отладка»： За счет использования динамических графиков расчета,PyTorch позволяет легко выполнять динамическую отладку в процессе сборки и обучения модели.,Проверяйте градиенты, просматривайте промежуточные переменные и многое другое. Это очень полезно для понимания и диагностики поведения Модели.
5. «Богатая экосистема»： PyTorch имеет большое сообщество пользователей и множество проектов, библиотек и инструментов с открытым исходным кодом, которые могут расширить его функциональность. К ним относятся инструменты развертывания моделей, библиотеки трансферного обучения, инструменты обработки естественного языка и инструменты компьютерного зрения, а также интеграция с другими глубокими программами. Интеграция системы обучения.
6. «Исследования и образование в области глубокого обучения»： PyTorchсуществоватьглубокое Обучение очень популярно в исследованиях и образовании, поскольку его легко освоить, легко использовать и оно предоставляет богатые учебные пособия и ресурсы документации. Он также используется многими университетами и исследовательскими институтами на глубине. обучающие курсы и исследовательские проекты.
7. «Кроссплатформенная поддержка»： PyTorch поддерживает несколько операционных систем, включая Linux, macOS и Windows, а также несколько интерфейсов языков программирования, таких как Python, C++ и т. д. Это делает его подходящим для различных сценариев применения.

Отношения между тремя

CUDA, cuDNN и PyTorch — это три разных, но связанных компонента, и между ними существуют некоторые зависимости, особенно при использовании PyTorch для разработки глубокого обучения.

1. 「CUDA（Compute Unified Device Architecture）」：
   • «CUDA — это платформа параллельных вычислений на графическом процессоре»：CUDA сделан из NVIDIA Разработанная платформа для параллельных вычислений и программирования Модель. Это позволяет разработчикам использовать NVIDIA GPU Мощная вычислительная мощность для ускорения различных научных расчетов и глубокого численного моделирования. обучение Задача。
   • «PyTorch полагается на CUDA»：PyTorch использовать CUDA ускоритьсянейронная Обучение и рассуждения сети. существовать PyTorch В Tensor может находиться в CPU или GPU Рассчитайте дальше. если ты хочешь быть в GPU обучениенейронная сети, вам нужно убедиться CUDA Установлен и настроен правильно.
   • «Совместимость версий»：разные версии PyTorch Может потребоваться определенная версия КУДА. Вам необходимо в зависимости от использования PyTorch версию, чтобы выбрать подходящую CUDA версию для обеспечения совместимости.
2. 「cuDNN（CUDA Deep Neural Network Library）」：
   • «cuDNN для ускорения глубокого обучения»：cuDNN да NVIDIA Разработан специально для глубоких библиотека ускорения обучения. Он обеспечивает высокооптимизированные извилины и другие нейронные сети глубины. Работа сетевого слоя для улучшения глубины обучение Модельизпроизводительность。
   • «PyTorch полагается на cuDNN»：PyTorch использовать cuDNN выступать глубоко обучение операциям, особенно да в нейронной свертке сеть（CNN）середина。cuDNN Обеспечивает высокопроизводительные операции свертки, так что PyTorch способен GPU Эффективно выполнять прямое и обратное распространение.
   • «Совместимость версий»：разные версии PyTorch Требуется определенная версия cuDNN. Вам нужно убедиться, что все cuDNN версия с PyTorch Версия совместима.
3. 「PyTorch」：
   • «PyTorch — это платформа глубокого обучения»：PyTorch даан с открытым исходным кодом глубоко рамки обучения для создания, обучения и развертывания нейронных сеть Модель. Он предоставляет тензорные операции, автоматический вывод, оптимизаторы, функции потерь и другие инструменты для глубокого анализа. задачи обучения более удобные.
   • «PyTorch полагается на CUDA и cuDNN»：PyTorch Можно найти в CPU или GPU Работает на больших глубинах, но для достижения наилучшей производительности, особенно на больших глубинах. учебные задачи, вы обычно будете PyTorch Настроен для присутствия GPU беги дальше. Это требует обеспечения CUDA и cuDNN Правильно установлен и настроен.

Драйвер видеокарты

1. 「CUDA Toolkit Содержит Драйвер видеокарты」：
   • CUDA Toolkit да по одному NVIDIA В комплект поставки входит комплект разработки, включающий CUDA Библиотеки программирования, компиляторы, инструменты и примеры кода. Более того, каждый CUDA Toolkit версии будут иметь конкретную версию NVIDIA Драйвер видеокарты。
   • Это означает, что если вы установите определенную версию CUDA Инструментарий, который будет включать в себя NVIDIA Драйвер видеокарты. Этот драйвер Версия для обеспечения CUDA и GPU Для нормальной работы его необходимо совместить с CUDA Toolkit Версии совпадают.
2. 「CUDA Toolkitи Драйвер видеокартыизсовместимость」：
   • разные версии CUDA Toolkit Нужно работать с конкретной версией Драйвер совместимость видеокарт для обеспечения GPU Работает нормально. если CUDA Toolkit и Драйвер видеокарты Несоответствие версии, что может вызвать такие проблемы, как CUDA Недоступно или ошибка выполнения.
   • Для лучшей производительностиисовместимость,тебе следует проверить NVIDIA официальная документация, чтобы узнать, какая версия CUDA Toolkit С какой версией Драйвер видеокарты совместимы. Обычно вы можете найти в NVIDIA Эту информацию можно найти на официальном сайте [1].

Версия Питорча

Между CUDA и PyTorch существует зависимость версий [2], поскольку PyTorch может использовать CUDA для ускорения обучения и вывода моделей глубокого обучения, и для правильной работы он должен быть совместим с конкретной версией CUDA. Ниже приведена связь между версиями CUDA и PyTorch:

1. «Совместимость версий CUDA и PyTorch»：
   • разные версии PyTorch Нужно работать с конкретной версией CUDA Совместимость, чтобы вы могли воспользоваться GPU вычислительная мощность. Это потому, что PyTorch использовать CUDA выступать глубоко обучениедействовать。
   • существоватьиспользовать PyTorch Прежде следует проверить PyTorch Официальная документация GitHub Документация в репозитории, чтобы узнать, что поддерживается текущей версией. CUDA Версия. Обычно PyTorch В документации будет четко указано поддерживаемое CUDA Диапазон версий.
2. "Пример"：
   • Например, если вы используете да PyTorch 1.8.0, в официальной документации может четко указываться поддержка CUDA 11.1,поэтому вам необходимо установить CUDA 11.1 илисовместимый Версияиз CUDA Драйв поставляется в комплекте PyTorch 1.8.0 Вместеиспользовать。

Подвести итог

Конечно, PyTorch, CUDA и Драйвер видеокарты и убедитесь, что они совместимы, вы можете выполнить следующие действия:

「Конечно Драйвер видеокарты Версия"：

• Выполнить в терминале nvidia-smi Заказ. Эта команда отобразит текущую систему NVIDIA Драйвер видеокарты Версия и сопутствующая информация.
• Прежде всего, вам необходимо установить на свой компьютер видеокарты NVIDIA Драйвер. Посмотреть его можно следующими способами:
• Обратите внимание на отображаемый номер версии драйвера NVIDIA. Например, номер версии может выглядеть примерно так: 465.19.01.

「Конечно CUDA Версия"：

• Обычно NVIDIA Драйвер видеокартыи CUDA версия установлена ​​вместе. Итак, вы можете сделать это, посмотрев CUDA из Версия Приходить Конечно。
• Выполнить в терминале Следующая команда для просмотра CUDA Версия: nvcc --version
• Обратите внимание на отображаемый номер версии CUDA. Например, номер версии может быть примерно таким: 11.1.

「Конечно PyTorch Версия"：

• использоватьниже Python код для просмотра PyTorch из Версия: import torch print(torch.__version__)
• Обратите внимание на отображаемый номер версии PyTorch. Например, номер версии может выглядеть примерно так: 1.8.1.

«Проверить совместимость»：

• Как только вы узнаете номер версии каждого компонента, вы можете проверить PyTorch официальная документация, чтобы узнать, какая версия PyTorch С какой версией CUDA и Драйвер видеокартысовместимый。в целом,PyTorch В документации будет четко указано поддерживаемое CUDA Диапазон версий.
• если твой PyTorch версия твой CUDA Версияи Драйвер видеокарты Версия Нетсовместимый,Возможно, вам придется обновить или понизить версию одного или нескольких компонентов.,чтобы убедиться, что они хорошо работают вместе.

❝Часто, когда мы работаем над реальными проектами,Начать сначала КонечноиздаPyTorchиз Версия,И, конечно же, версия CUDA,Затем проверьте, поддерживается ли драйвер вашей платформы согласно версии CUDA. ❞

Рекомендовано в прошлом

• Учебное пособие по биоинформатике: анализ ABBA-BABA с использованием полногеномных данных SNP
• Как применить Transformer к моделям временных рядов
• Советы по созданию параллельных операций GNU
• Большая языковая модель: SBERT — Предложение BERT