Оптимизация производительности Gunicorn: повышение эффективности обслуживания веб-приложений Python

В веб-разработке на Python Gunicorn служит HTTP-сервером WSGI, часто выступая в качестве моста между веб-приложениями (такими как Django или Flask) и обратными прокси-серверами или балансировщиками нагрузки. Чтобы максимально эффективно использовать его производительность, в этой статье будут представлены некоторые практические предложения по настройке Gunicorn.

Архитектура Ганикорн

Gunicorn использует модель pre-fork, что означает, что он создает дочерние процессы перед обработкой любых HTTP-запросов. Главный процесс отвечает за мониторинг и поддержание стабильного количества рабочих процессов. Если рабочий процесс завершается ненормально, основной процесс перезапустит новый рабочий процесс.

Ключевые моменты оптимизации производительности

1. Рабочие

• Для приложений с интенсивным использованием процессора,Ключевым моментом является увеличение количества рабочих процессов.
• Рекомендуемая формула количества рабочих процессов: (2 * Количество ядер процессора) + 1.
• Например, на машине с двухъядерным процессором рекомендуется настроить 5 рабочих процессов.

gunicorn --workers=5 main:app

У Gunicorn есть рабочий класс по умолчанию (синхронизация)

1. Темы

• Для приложений с интенсивным вводом/выводом,использовать Темы можно улучшитьэффективность。
• Каждый рабочий процесс может иметь несколько потоков и совместно использовать пространство памяти.
• Использование потоков требует установки рабочего класса gthread.

gunicorn --workers=5 --threads=2 main:app

Приведенная выше команда аналогична следующей команде:

gunicorn --workers=5 --threads=2 --worker-class=gthread main:app

Максимальное количество одновременных запросовдляworkers * threads,В приведенном выше случае да10.

Когда использовать рабочие процессы и потоки,建议的Максимальное количество одновременных запросоввсе ещеда(2*CPU)+1。

Итак, если вы используете четырехъядерный (4 ЦП) компьютер и хотите использовать как рабочие процессы, так и потоки, вы можете использовать 3 рабочих процесса и 3 потока, чтобы получить максимум 9 одновременных запросов.

gunicorn --workers=3 --threads=3 main:app

1. Псевдо-потоки

• Для асинхронного программирования, такого как gevent или asyncio, Gunicorn поддерживает его, устанавливая определенные классы рабочих процессов.
• Например, используя gevent на одноядерной машине:

gunicorn --worker-class=gevent --worker-connections=1000 --workers=3 main:app

worker-connections да gevent Особые настройки для класса рабочего процесса.

(2*CPU)+1 все ещеда Рекомендуемое количество рабочих процессов,Потому что для имеет только 1 ядро,Воляиспользовать 3 рабочих процесса.

В этом случае максимальное количество одновременных запросов составляет 3000 (3 рабочих процесса * 1000).

Конкурентность и параллелизм

Понимание разницы между параллелизмом и параллелизмом является ключом к оптимизации производительности. существуетPython,Средства одновременного выполнения потоков и «псевдопотоков» да,Но не параллельный, тогда как рабочий процесс одновременно и параллельный.

Подвести итог

• Для приложений с интенсивным вводом-выводом используйте «псевдопотоки» для достижения наилучшей производительности.
• Для приложений с интенсивным использованием процессора,Ключевым моментом является увеличение количества рабочих процессов.
• Если память является узким местом, рассмотрите возможность многопоточности.
• Если вы сомневаетесь, начните с базовой конфигурации и постепенно корректируйте ее.

Кроме того, существуют и другие предложения по оптимизации, включая настройку рабочих классов, тайм-аутов, поддерживающих соединений, параметров рабочих классов, использование обратных прокси, мониторинг и масштабирование, оптимизацию кода приложения, обновление Gunicorn и соответствующее распределение ресурсов:

1. Настройте класс Worker:
   • Gunicorn Поддержка различных worker добрый. По умолчанию да является синхронным, но для имеет лучшую поддержку асинхронных платформ, рассмотрите возможность использования асинхронного работник, например gevent или eventlet。
   • Пример использования gevent：gunicorn -k gevent -w 4 myapp:app
2. Тайм-аут рабочего:
   • для worker Установите разумный тайм-аут для процесса. если worker Нет ответа в течение указанного таймаута, Gunicorn перезапустит его.
   • Пример：gunicorn --timeout 120 myapp:app
3. Поддерживайте активное соединение:
   • Корректирование keepalive варианты контроля Gunicorn существовать Keep-Alive HTTP Время ожидания следующего запроса на соединение.
   • Пример：gunicorn --keep-alive 5 myapp:app
4. Настройте параметры класса Worker:
   • Если использовать асинхронный worker класс, например gevent,Учитывайте параметр Корректирование,нравиться worker Количество соединений.
   • Пример：gunicorn -k gevent --worker-connections 1000 -w 4 myapp:app
5. Используйте обратный прокси:
   • Воля Gunicorn Разверните обратный существующий прокси (например. Nginx или Apache) для обработки таких вещей, как SSL Такие задачи, как завершение, статический файл Служить и балансировка нагрузки.
6. Мониторинг и масштабирование:
   • использовать gunicorn-stats Инструменты мониторинга, такие как Gunicorn, или Воля, ее интеграция в решения для мониторинга.
   • Рассмотрите возможность запуска Gunicorn для горизонтального расширения через существующий балансировщик нагрузки.
7. Оптимизировать код приложения:
   • Оптимизируйте код приложения для эффективной обработки запросов. Профилирование и оптимизация кода приложения могут существенно повлиять на общую производительность.
8. Обновление Gunicorn:
   • убеждатьсяиспользоватьпоследняя версия Gunicorn, чтобы воспользоваться преимуществами улучшения производительности и исправлений ошибок.
9. Распределение ресурсов:
   • для运行 Gunicorn Выделите машине достаточные ресурсы (ЦП, память) с учетом потребностей приложений и трафика.

Ссылки

• https://docs.gunicorn.org/en/latest/design.html
• https://yhbt.net/unicorn/DESIGN.html
• https://tomayko.com/blog/2009/unicorn-is-unix
• https://stackoverflow.com/questions/25834333/what-exactly-is-a-pre-fork-web-server-model
• https://medium.com/building-the-system/gunicorn-3-means-of-concurrency-efbb547674b7
• https://stackoverflow.com/questions/38425620/gunicorn-workers-and-threads