1. PaddlePadllle обучение с подкреплением и структура PARL

Название PARL происходит от PAddlepaddle Reinfocement Learning. Это система глубокого обучения с подкреплением, основанная на Baidu PaddlePaddle.

Эта структура обучения с подкреплением в основном имеет следующие характеристики:

• Гарантия воспроизводимости。Мы обеспечиваем качественный мейнстримобучение с Реализация алгоритма подкрепления строго воспроизводит соответствующие показатели бумаги.
• Массовая параллельная поддержка。Платформа может поддерживать до десятков тысячCPUпараллельные расчеты,И поддерживает многихGPUобучение с Обучение модели с подкреплением.
• Сильная возможность повторного использования。Пользователям не нужно самостоятельно переопределять алгоритм.,Путем повторного использования алгоритмов, предоставляемых фреймворком, классическийобучение с Алгоритм подкрепления применяется в конкретных сценариях.
• Хорошая масштабируемость。Когда пользователи хотят исследовать новые алгоритмы,Вы можете быстро реализовать свой собственный алгоритм обучения с подкреплением, унаследовав предоставленный нами базовый класс.

Baidu на этот раз запустил обучение с подкреплением7дневной тренировочный лагерьОбучение с подкреплением. 7-дневный проверочный лагерь. Чемпион мира проведет вас к практике с нуля. - Летающее весло ИИ StudioАвтор: БайдуNeurIPSКоманда лучших в мире чемпионов конференций преподает лично,

рамная конструкция

Цель PARL — создать агент, способный выполнять сложные задачи. Вот структуры, которые пользователи должны понимать на этапе создания агента:

Model

Модель используется для определения прямой сети, которая обычно представляет собой сеть политики или сеть функции ценности (функция значения), а входными данными является текущее состояние среды (состояние).

Algorithm

Алгоритм определяет конкретный алгоритм обновления прямой сети (Модели), то есть обновления Модели путем определения функции потерь. Алгоритм содержит как минимум одну модель.

Agent

Агент отвечает за взаимодействие между алгоритмом и средой. В процессе взаимодействия сгенерированные данные передаются алгоритму для обновления модели (Модель). Здесь также в целом определяется процесс предварительной обработки данных.

2. Установка версии процессора

2.1 Установка версии 2.x

первый Создайте виртуальную среду под анакондой：Можно ссылаться[1] Очень простое руководство по установке Anaconda, освойте его мгновенно!

Ссылка на установку летающего весла【Начало работы_Flying Paddle — платформа глубокого обучения с открытым исходным кодом, созданная на основе промышленной практики.】

pip install paddlepaddle==2.0.2 -i https://mirror.baidu.com/pypi/simple

conda install paddlepaddle==2.0.2 -c paddle

2.2 Если сообщается об ошибке:

TypeError: Descriptors cannot not be created directly. If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc >= 3.19.0. If you cannot immediately regenerate your protos, some other possible workarounds are:

1. Downgrade the protobuf package to 3.20.x or lower.
2. Set PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python (but this will use pure-Python parsing and will be much slower).

Решение: понизить версию protobuf

В текущей среде conda

pip uninstall protobuf

Затем просто установите его

pip install protobuf==3.19.0

Выполните, наконец!

import paddle

paddle.utils.run_check()

После завершения установки вы можете использовать python Входитьpythonустный переводчик,входитьimport paddle , затем введите paddle.utils.run_check()если появитсяPaddlePaddle is installed successfully!,Это означает, что вы успешно установили.

2.2 Удаление

Пожалуйста, используйте следующую команду для удаления PaddlePaddle:

Версия процессора PaddlePaddle:

 pip uninstall paddlepaddle

2.3 Установка версии 1.8

Сначала установите pip в анаконде

conda install pip

pip install paddlepaddle==1.8.5 -i https://mirror.baidu.com/pypi/simple

использоватьpython или python3 Войдите в интерпретатор Python и введите import. paddle.fluid , затем введитеpaddle.fluid.install_check.run_check()。

Здесь, если установка прошла успешно, отобразится: PaddlePaddle установлен успешно!

Напоследок хотелось бы добавить: Создайте новую среду. Не устанавливайте ее вместе с предыдущей средой, такой как tensorflow. Иногда могут возникать необъяснимые ошибки! осторожный!

3. Установка версии графического процессора

Создайте виртуальную среду под анакондой：Можно ссылаться[1] Очень простое руководство по установке Anaconda, освойте его мгновенно!

! ! ! Для установки cuda и cudnn см.：[1] tensorflow [cpu/gpu, cuda, cudnn] самая подробная установка, часто используемый источник зеркала Python, tensorflow во всей сети Глубокое обучение с подкреплением обучения_Ting, блог-CSDN blog_tensorflow глубокое обучение

Убедитесь, что Python и pip являются 64-битными, а архитектура процессора — x86_64 (или x64, Intel 64, AMD64). В настоящее время PaddlePaddle не поддерживает архитектуру Arm64. Первая строка ниже выводит «64bit», а вторая строка — «x86_64 (или x64, AMD64)»:

python -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

conda install paddlepaddle-gpu==2.0.2 cudatoolkit=10.2 -c paddle

После завершения установки вы можете использовать python или python3 Входитьpythonустный переводчик,входитьimport paddle , затем введите paddle.utils.run_check() если появитсяPaddlePaddle is installed successfully!,Это означает, что вы успешно установили.

Позвольте мне объяснить здесь, поскольку на моем компьютере установлены две версии CUDA, 11.2 и 10.2, я переключусь.

Сейчас использую версию 11.2. Предупреждение посередине можно игнорировать, если установка прошла успешно!

3.1 Обновление весла

pip install --upgrade paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple

Если на промежуточном этапе возникла проблема, вы можете обратиться к:

• cuda,cuddnУстановить：[1] tensorflow [cpu/gpu, cuda, cudnn] самая подробная установка, часто используемый источник зеркала Python, tensorflow во всей сети Глубокое обучение с подкреплением обучения_Ting, блог-CSDN blog_tensorflow глубокое обучение
• paddle-gpuУстановить：Научите вас шаг за шагом, как установить Paddlepaddle-GPU в win10_AI Блог Little Duck Academy - Блог CSDN

4. Примечания к курсу

Ссылка на курс【Летающее весло ИИ Studio - Сообщество обучения и обучения искусственному интеллекту】

Общие математические формулы [большие числа、генерация линии、Вероятность】｛Летающее весло ИИ Studio - Сообщество обучения и обучения искусственному интеллекту｝

【Pythonграмматика】Летающее весло ИИ Studio - Сообщество обучения и обучения искусственному интеллекту  Удобно для запроса.

4.1 Раздел 1. Базовая грамматика Python                                                                    

Прикрепленная ссылка【Быстрый старт с Python [1] -----Basic Syntax_Ting, блог-CSDN】                                                               

4.2 Раздел 2 Общие структуры данных в Python

Прикрепленная ссылка【Быстрый старт с Python [2] ---- Общие структуры данных_ Блог Ting - Блог CSDN】

4.3 Раздел 3 Цикл For Python, цикл while                                                         

Связь【Быстрый старт с Python【3】-----Для Цикл, Пока Loop_Ting, блог-CSDN-блог】                                                                                        

4.4 Раздел 4. Определение функций в Python

Связь【Быстрый старт с Python [4] -----Создание различных функций_Ting, блог-CSDN blog_Python создает несколько функций】  

4.5 Раздел 5. Объектно-ориентированное программирование на Python                                                 

Связь【Быстрый старт с Python [5] ---- Объектно-ориентированное программирование, классы Python_Ting, блог-CSDN-блог】                                                                                                        

4.6 Раздел 6 Объектно-ориентированное программирование на Python

Связь【Быстрый старт с Python【6】----Real Test_Ting, блог-CSDN】