Requestium — инструмент автоматического тестирования, объединяющий запросы и Selenium.

Оглавление

1. Предисловие

2. Введение

3. Приступайте к работе быстро

1. Предисловие

Requests — это сторонняя библиотека Python, в основном используемая для отправки http-запросов, часто используемая для тестирования автоматизации интерфейса и т. д.

Selenium — это инструмент автоматического тестирования веб-приложений. Тесты Selenium запускаются прямо в браузере, как у реальных пользователей.

В этой статье представлен инструмент автоматического тестирования, сочетающий в себе запросы и Selenium — Requestium.

2. Введение

Requestium — это библиотека Python, которая объединяет функциональность Requests, Selenium и Parsel в интегрированный инструмент для автоматизации веб-операций.

Эта библиотека была создана для написания сценариев веб-автоматизации, которые в основном пишутся с использованием запросов, но могут легко переключаться на Selenium для частей веб-сайта с интенсивным использованием JavaScript, сохраняя при этом сеанс.

Requestium добавляет независимые улучшения для Requests и Selenium, и каждая новая функция лениво оценивается, поэтому это полезно даже при написании сценариев, которые используют только Requests или Selenium.

Функции:

1. Включите переключение между сеансом запроса и веб-драйвером Selenium, сохраняя при этом текущий веб-сеанс.

2. Интегрируйте парсер Parsel в библиотеку, чтобы упростить написание xpath, css и регулярных выражений.

3. Улучшена обработка Selenium динамически загружаемых элементов.

4. Сделайте обработку файлов cookie в Selenium более гибкой.

5. Сделайте клик-элементы в Selenium более надежными.

6. Этот аппарат поддерживает Chromedriver и добавляет специальные сетевые драйверы.

Установить:

pip install requestium

Если вы используете Selenium-часть Requestium, например Chromedriver, вам следует загрузить веб-драйвер Selenium.

3. Приступайте к работе быстро

Сначала создайте сеанс, как и запрос, при необходимости добавив параметры при использовании веб-драйвера.

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from requestium import Session, Keys

options = {'arguments': ['headless']}
s = Session(webdriver_path='./chromedriver', default_timeout=15, webdriver_options=options)

Поскольку безголовый режим является распространенным, существует ярлык для указания headless=True.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


from requestium import Session, Keys

s = Session(webdriver_path='./chromedriver' headless=True)

Вы также можете создать сетевой драйвер Selenium вне Requestium и использовать его:

#!/usr/bin/env python
# -*- coding: utf-8 -*-


from selenium import webdriver
from requestium import Session, Keys

firefox_driver = webdriver.Firefox()

s = Session(driver=firefox_driver)

Вам не нужно анализировать ответ, это делается автоматически при вызове xpath, css или re.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


title = s.get('http://samplesite.com').xpath('//title/text()').extract_first(default='Default Title')

Регулярные выражения требуют меньше кода, чем стандартный модуль re Python.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


response = s.get('http://samplesite.com/sample_path')

# Extracts the first match
identifier = response.re_first(r'ID_\d\w\d', default='ID_1A1')

# Extracts all matches as a list
users = response.re(r'user_\d\d\d')

Вы можете переключиться на использование Selenium Webdriver для запуска любого js-кода.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


s.transfer_session_cookies_to_driver() 
s.driver.get('http://www.samplesite.com/sample/process')

Наконец, вы можете вернуться к использованию Requests.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


s.transfer_driver_cookies_to_session()
s.post('http://www.samplesite.com/sample2', data={'key1': 'value1'})

элемент ожидания

ensure_element_by_ методэлемент ожидания загружается в Браузер и возвращается сразу после загрузки. Это начинается с Селен find_element_by_ Именование методов (они сразу вызывают исключение, если элемент не найден).

Requestium может ожидать перехода элемента в любое из следующих состояний:

• существует (по умолчанию)
• Кликабельно
• видимый
• Невидимый (можно использовать для ожидания загрузки... GIF исчезает и т.д.)

Эти методы полезны для одностраничных веб-приложений, где сайт динамически меняет свои элементы. Часто в конечном итоге мы полностью заменяем вызовы find_element_by_ вызовами обеспечения_element_by_, потому что они более гибкие. Элементы, полученные с помощью этих методов, имеют новый метод обеспечения_клика, который делает клики менее подверженными сбоям. Это помогает решить многие проблемы с кликами Selenium.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


s.driver.ensure_element_by_xpath("//li[@class='b1']", state='clickable', timeout=5).ensure_click()

# === We also added these methods named in accordance to Selenium's api design ===
ensure_element_by_id
ensure_element_by_name
ensure_element_by_link_text
ensure_element_by_partial_link_text
ensure_element_by_tag_name
ensure_element_by_class_name
ensure_element_by_css_selector

добавить в Cookie

ensure_add_cookie метод делаетдобавить в Cookie Более надежный. Селен Нужен Браузер для возможности добавления в Cookie ранее был в Cookie В предметной области этот метод предоставляет несколько обходных путей. Если браузер не Cookie домен, он сначала получит домен, а затем добавит в Печенье. Это также позволяет вам искать в добавлении в Cookie перед переопределением домена и избегайте этого ПОЛУЧАТЬ. Домены могут быть переопределены как '', это поместит Cookie из Настройки домена для Драйвер в данный момент находится в любом домене. Если невозможно добавить в cookie, он попытается использовать менее строгий домен (например: home.site.com). -> site.com）руководитьдобавить в, то перед сбоем.

#!/usr/bin/env python
# -*- coding: utf-8 -*-


cookie = {"domain": "www.site.com",
          "secure": false,
          "value": "sd2451dgd13",
          "expiry": 1516824855.759154,
          "path": "/",
          "httpOnly": true,
          "name": "sessionid"}
s.driver.ensure_add_cookie(cookie, override_domain='')

Использование примера Requestium

#!/usr/bin/env python
# -*- coding: utf-8 -*-


from requestium import Session, Keys

# If you want requestium to type your username in the browser for you, write it in here:
reddit_user_name = ''

s = Session('./chromedriver', default_timeout=15)
s.driver.get('http://reddit.com')
s.driver.find_element_by_xpath("//a[@href='https://www.reddit.com/login']").click()

print('Waiting for elements to load...')
s.driver.ensure_element_by_class_name("desktop-onboarding-sign-up__form-toggler",
              state='visible').click()

if reddit_user_name:
    s.driver.ensure_element_by_id('user_login').send_keys(reddit_user_name)
    s.driver.ensure_element_by_id('passwd_login').send_keys(Keys.BACKSPACE)
print('Please log-in in the chrome browser')

s.driver.ensure_element_by_class_name("desktop-onboarding__title", timeout=60, state='invisible')
print('Thanks!')

if not reddit_user_name:
    reddit_user_name = s.driver.xpath("//span[@class='user']//text()").extract_first()

if reddit_user_name:
    s.transfer_driver_cookies_to_session()
    response = s.get("https://www.reddit.com/user/{}/".format(reddit_user_name))
    cmnt_karma = response.xpath("//span[@class='karma comment-karma']//text()").extract_first()
    reddit_golds_given = response.re_first(r"(\d+) gildings given out")
    print("Comment karma: {}".format(cmnt_karma))
    print("Reddit golds given: {}".format(reddit_golds_given))
else:
    print("Couldn't get user name")