фон

Недавно мой преподаватель организовал работу по воспроизведению дипломной модели. Однако аппаратных условий было недостаточно, поэтому мне пришлось повсюду искать бесплатные ресурсы графических процессоров. В это время я проводил дни, покупая ресурсы графических процессоров у сотен компаний. случайно наткнулся на событие опыта облачного сервера Tencent GPU, можно сказать, что длительная засуха встречается с легким дождем. Как новичок с нулевым фундаментом, я теперь запишу для вас процесс создания собственной среды глубокого обучения с использованием облачного сервера графического процессора (на примере системы Windows).

1. Экологический отбор

1.1 Среда инициализации системы

• Модель: GN8.LARGE56
• ОС: Windows Server 2019 Data Center Edition, 64-разрядная китайская версия.
• CPU：Intel(R) Xeon(R) CPU E5-2680 v4 @2.40GHz 2.40GHz * 6vCPUs
• RAM：56GB
• GPU：Tesla P40 * 1

Что касается выбора системы, я выбрал Windows, с которой мне удобно работать. Выбирая систему Windows, я могу использовать сервер в качестве второго компьютера, которым легко управлять. Если вы знакомы с Linux, вы можете выбрать Ubuntu или Centos. В отличие от систем Windows, которые требуют настройки различных сред, необходимых для глубокого обучения, системы Linux могут напрямую выбирать различные настроенные бесплатные образы из рыночных образов и использовать их напрямую без каких-либо проблем. Заботы об установке исчезли.

1.2 Переустановите систему

Если вы хотите изменить систему, сервер также предоставляет возможность переустановки системы. Нажмите «Дополнительно» на панели операций в интерфейсе личного экземпляра, и появится опция переустановки системы, как показано на рисунке ниже.

Нажмите «Переустановить систему». Обратите внимание, что данные будут удалены после переустановки системы. Сохраните их. В интерфейсе конфигурации переустановки вы можете нажать на общедоступный образ или образ рынка, чтобы выбрать нужную конфигурацию. Некоторые образы рынка требуют оплаты, поэтому обратите внимание на разницу при выборе.

2. Соответствие версий между CUDA, cuDNN, Pytorch, TensorFlow и Python.

Перед установкой различных драйверов нам необходимо иметь общее представление о соответствии версий CUDA, cuDNN, Pytorch, TensorFlow и Python и выбрать подходящую версию адаптации в соответствии с нашей собственной конфигурацией, чтобы избежать проблем с несоответствием версий при последующем использовании.

2.1 Выбор версии драйвера CUDA

CUDA (Compute Unified Device Architecture) — вычислительная платформа, выпущенная производителем видеокарт NVIDIA. CUDA™ — это архитектура параллельных вычислений общего назначения, представленная NVIDIA, которая позволяет графическим процессорам решать сложные вычислительные задачи. Он включает в себя архитектуру набора команд CUDA (ISA) и механизм параллельных вычислений внутри графического процессора.

При выборе версии драйвера CUDA,Сначала нам нужно понять вычислительную мощность видеокарты.,Адрес запроса：https://developer.nvidia.com/zh-cn/cuda-gpus,По официальной информации,Tesla Вычислительная мощность видеокарты P40 составляет 6,1. Для более подробного ознакомления ознакомьтесь с документацией CUDA:

https://docs.nvidia.com/cuda/ampere-compatibility-guide/index.html#building-ampere-compatible-apps-using-cuda-10-0

В соответствии с соответствующей взаимосвязью между версией CUDA и вычислительной мощностью видеокарты, мы должны выбрать версию CUDA 8.0 или выше.

2.2 Выбор версии драйвера видеокарты

Определите версию CUDA, а затем выберите версию драйвера видеокарты. На следующем рисунке показана соответствующая связь между CUDA и драйвером. Дополнительные обновления и более подробную информацию можно найти в официальном описании: https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

2.3 Выбор версии cuDNN

NVIDIA cuDNN — это библиотека с графическим ускорением для глубоких нейронных сетей. Он подчеркивает производительность, простоту использования и низкую нагрузку на память. NVIDIA cuDNN можно интегрировать в платформы машинного обучения более высокого уровня, такие как Google Tensorflow и популярное программное обеспечение для кафе Калифорнийского университета в Беркли. Простая конструкция плагина позволяет разработчикам сосредоточиться на разработке и реализации моделей нейронных сетей, а не просто настраивать производительность, а также обеспечивает возможность высокопроизводительных современных параллельных вычислений на графических процессорах.

cuDNN — это библиотека ускорения глубокого обучения на графическом процессоре, основанная на CUDA. С ее помощью вычисления глубокого обучения могут выполняться на графическом процессоре. Если вы хотите запустить глубокую нейронную сеть на CUDA, вам необходимо установить cuDNN, чтобы графический процессор мог работать с глубокой нейронной сетью, а скорость работы была намного выше, чем у процессора.

На рисунке ниже показаны соответствующие отношения между некоторыми cuDNNВерсиями и CUDAВерсиями. Для получения более подробной информации обратитесь к официальной версии. сайт：https://developer.nvidia.com/rdp/cudnn-download

2.4 Отношения соответствия версий Pytorch и CUDA

Содержимое этой части обновляется в режиме реального времени. Чтобы получить последнюю соответствующую версию, запросите напрямую официальный запрос. сайт：https://pytorch.org/get-started/previous-versions Официальный представитель предоставил четкую информацию об установке. Здесь также следует отметить, что чем новее версии Pytorch и CUDA, тем лучше, поскольку в новых версиях часто возникают проблемы с совпадением, поэтому рекомендуется сначала просмотреть соответствующие отношения. в настоящее время удовлетворены, и выберите После выбора версии, которую хотите использовать, установите различные драйверы.

2.5 Сопоставление версий TensorFlow, Python, CUDA, cuDNN

Tensorflow немного сложнее, чем Pytorch, поскольку для него также требуется поддержка версий Python и компилятора. Соответствующая связь между версиями CPU и GPU и версиями Python, CUDA и cuDNN следующая.

Версия TensorFlow на основе версии процессора:TensorFlow-CPU

TensorFlow на базе GPUВерсия：TensorFlow-GPU

Для поддержки Графический процессор, пожалуйста, измените CUDA и cuDNN bin Каталог добавлен в $PATH:
export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/bin:$PATH"
export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/extras/CUPTI/libx64:$PATH"
export PATH="/c/tools/cuda/bin:$PATH"

Объединив приведенное выше содержимое и исходя из моих текущих привычек использования, я наконец решил установить CUDA10.2 + Python3.7 + Pytorch 1.8.1 + Tensorflow_gpu_2.2.0. Далее я расскажу о процессе установки.

3. Знакомство с процессом установки

3.1 Установка драйвера видеокарты

Перейти на официальный сайт NVIDIA：Official Drivers | NVIDIA Выберите версию драйвера видеокарты в CUDA. В раскрывающемся меню Toolkit,Мы видим все драйверы, поддерживаемые видеокартой. Версия,Здесь выбираем версию 10.2.

Нажмите «ПОИСК», чтобы войти в интерфейс загрузки драйвера, нажмите «Загрузить», а затем установите. Здесь мы загружаем и устанавливаем непосредственно через браузер облачного сервера. Вы также можете загрузить его локально, затем загрузить на облачный сервер через FTP-инструмент и затем установить его в соответствии с вашими личными потребностями.

3.2 Установка CUDA

3.2.1 Загрузка CUDA

Сначала зайдите на официальный сайтhttps://developer.nvidia.com/cuda-toolkit-archive ,Просто выберите версию, которую хотите скачать.,Здесь мы скачиваем версию 10.2.

Затем выберите соответствующую конфигурацию системы и нажмите «Загрузить», чтобы загрузить.

3.2.2 Установка CUDA

После завершения загрузки запустите ее, и появится следующее приглашение. Это приглашение временно сохранить адрес. Нет необходимости изменять его. Просто сохраните значение по умолчанию и нажмите «ОК».

Согласитесь и продолжайте.

Выберите здесь «Пользовательский».

Вы можете выбирать по своим личным потребностям. Я здесь не особо использую Nsight, поэтому не устанавливал.

Затем нажимайте «Далее», пока установка не завершится. Будьте осторожны, не изменяйте путь установки, просто используйте его по умолчанию.

3.2.3 Настройка переменных среды

Щелкните правой кнопкой мыши мой компьютер>>>свойство>>>Расширенные настройки системы>>>переменные среды,Выберите переменную Path в системных переменных.,Нажмите, чтобы изменить,Добавьте к нему следующие пути,Нажмите «ОК» после добавления.

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2 
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin 
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib\x64
C:\Program Files\NVIDIA Corporation\NVSMI

3.2.4 Проверьте, успешно ли установлены драйвер видеокарты и CUDA

существоватьcmdВойдите в окноnvidia-smi,Отображение следующего изображения показывает, что установка драйвера видеокарты прошла успешно (на рисунке ниже показан работающий графический процессор).,При работе на графическом процессоре,Введите эту команду в окне cmd, чтобы просмотреть использование графического процессора).

существоватьcmdВойдите в окноnvcc -V(VДолжно быть с большой буквы）,Отобразите следующее описание содержания изображения Установка Успех CUDA

3.3 Установка cuDNN

3.3.1 Загрузка cuDNN

Войти на официальный сайт：https://developer.nvidia.com/rdp/cudnn-download,Загрузите cuDNN, соответствующий версии.,Этот сайт требует регистрации/логина для загрузки,Просто следуйте подсказкам для регистрации.

НажмитеArchived cuDNN Releases,Посмотреть больше Версия,Выберите то, что вам нужно. Затем скачайте.

3.3.2 Установка cuDNN

Установка cuDNN относительно проста. Сначала разархивируйте загруженный сжатый пакет, и вы получите следующие три файла:

Измените файлы в трех вышеуказанных папках, скопировать на Установка соответственно. CUDAкорневой каталогC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2Загрузите соответствующую папку и все будет готово.cuDNNУстановить。

На этом этапе мы завершили установку драйвера видеокарты, CUDA и cuDNN. Далее мы устанавливаем Tensorflow_gpu и Pytorch, две часто используемые библиотеки глубокого обучения.

4. Установка Pytorch и Tensorflow

В соответствующем введении к версии выше,Мы выбрали три Python3.7 + Pytorch 1.8.1 + Tensorflow_gpu_2.2.0.,Каждый может в соответствии со своими потребностями,См. взаимосвязь сравнения версий.,Выберите тот, который подходит вам.

PytorchиTensorflowиз Установить Рекомендую пройтиAnacondaсоздаватьизвиртуальная среда。Anaconda（официальный сайт）То есть вы можете легко получить пакет и управлять им.,В то же время окружающей средой можно управлять единообразно. Anaconda включает более 180 научных пакетов и их зависимостей, включая Conda и Python.,Процесс установки прост,Может использоваться с высокой производительностьюPythonиRязык,Существует бесплатная поддержка сообщества.

4.1 Установка Анаконды

Введите первыйAnacondaОфициальный сайт：https://www.anaconda.com/distribution/,Прокрутите страницу вниз до конца,Выберите подходящую версию, нажмите, чтобы скачать,Если отображаемая на странице версия Python — это не то, что вам нужно,Может Нажмите На картинке нижеизarchive,Выберите прошлую версию.

Нажмитеarchive,Здесь мы выбираем скачать Anaconda3-2019.03-Windows-x86_64,он несетиздаPython 3.7, соответствует требованиям.

После завершения загрузки,Дважды щелкните, чтобы запустить,по очереди НажмитеNext>>I Agree>>Next。

Здесь рекомендуется изменить путь установки, поскольку папка ProgramData на диске C является скрытой. Для облегчения управления рекомендуется установить ее в другую папку.

Первый вариант — добавить путь установки Anaconda в переменную среды, а второй — использовать Python3.7 в качестве интерпретатора по умолчанию. Здесь я проверил оба, затем нажмите «Установить», чтобы начать установку, и дождитесь завершения установки. установка пройдет успешно.

4.2 Среда конфигурации

После завершения установки нажмите Windows, и появится папка Anaconda3. Откройте приглашение Anaconda и войдите в окно командной строки. В этом интерфейсе вы можете создать свою собственную виртуальную среду и установить различные пакеты зависимостей.

входитьconda create -n xxx_env python=3.7然后回车就开始создавать自己извиртуальная среда,Обратите внимание, что xxx_env — это имя среды.,Может быть установлен в соответствии с вашими предпочтениями,python=3.7 — это версия Python, которую можно модифицировать в соответствии с вашими потребностями.

Создание прошло успешно, как показано на рисунке ниже.

#Активировать команду
conda activate xxx_env 
#Выход из команды
conda deactivate

Войдите в созданную вами виртуальную среду и установите нужные пакеты по мере необходимости.

4.3 Установите Pytorch 1.8.1 + Tensorflow_gpu_2.2.0

ОткрытьpytorchОфициальный сайт：https://pytorch.org/get-started/previous-versions/,Используйте код установки, рекомендованный официальным сайтом.,УстановитьизCUDAВерсиядля10.2,Итак, я выбрал torch==1.8.1+cu102.,Вы можете выбрать conda или pipУстановить,Здесь я выбрал метод pip Установить.

# CUDA 10.2
pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

Рекомендуется использовать метод установки Tsinghuayuan, который может ускорить скорость загрузки. Как использовать:

pip install some-package -i https://pypi.tuna.tsinghua.edu.cn/simple

Таким образом, приведенная выше команда изменена на:

# CUDA 10.2
pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

Способ установки Tensorflow_gpu_2.2.0 аналогичен:

pip install tensorflow-gpu==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

Способ установки keras аналогичен:

pip install keras -i https://pypi.tuna.tsinghua.edu.cn/simple

Таким образом, мы установили несколько базовых библиотек глубокого обучения. Вы можете использовать описанный выше метод для установки необходимых вам пакетов. Вы можете использовать собственный блокнот Anaconda Jupyter, инструменты Spyder или установить PyCharm и другие инструменты, чтобы начать изучать код!