[python] Коллекция Showman-Фотоальбом-Crawler-1.0 «Предлагаемая коллекция»
[python] Коллекция Showman-Фотоальбом-Crawler-1.0 «Предлагаемая коллекция»

Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

В последнее время я не обращал особого внимания на сайт Atlas Valley, но сегодня открыл его, чтобы проверить. Оказалось, что официальный сервис закрыли напрямую, остался только сайт Atlas Island, требующий оплаты.

Я испытываю облегчение, когда вижу, что кто-то оставляет сообщение под моей статьей, а это значит, что мое писательское направление имеет определенную аудиторию. [Я чувствую такое облегчение]

Ладно, короче говоря. Поскольку Атласской долины больше нет, я нашел новый веб-сайт, на котором каждый может учиться — Showman Collection.

Сайт Сюренджи: www.xiurenb.com.

Ниже приведен соответствующий код для справки и изучения [плохой смех]

Язык кода:javascript
копировать
# Импортировать библиотеку
import time, os, requests
from lxml import etree

# Определить заголовки запроса
headers = {
	'User-Agent':'Chrome 10.1'
	}

# Форматированный список
img_list = []
url_list = []

# Входящие данные
Page_Num = input('Enter the Organization and Page_Num:')
# с URL = «https://www.xiurenb.com/MyGirl/6149» — это пример. Здесь необходимо передать данные «MyGirl/6149».

# Получите URL-адрес каждой страницы фотоальбома и впишите его в список.
url = 'https://www.xiurenb.com/' + str(Page_Num)
Num_res = requests.get(url=url + '.html', headers=headers)
Num_tree = etree.HTML(Num_res.text)
Num = len(Num_tree.xpath('/html/body/div[3]/div/div/div[4]/div/div/a'))
url_list.append(url)
for i in range(1, int(Num) - 2):
	url_other = url + '_' + str(i)
	url_list.append(url_other)

# Получите URL-адрес каждого изображения и запишите его в список.
for url in url_list:
	res = requests.get(url=url + '.html',headers=headers)
	tree = etree.HTML(res.text)
	img_src = tree.xpath('/html/body/div[3]/div/div/div[5]/p/img/@src')
	for img in img_src:
		img_list.append(img)
	time.sleep(0.5)

# Создайте каталог для сохранения изображений
res = requests.get(url=url_list[0] + '.html',headers=headers)
res.encoding = 'utf-8'
tree = etree.HTML(res.text)
path_name = tree.xpath('/html/body/div[3]/div/div/div[1]/h1//text()')[0][11:]
print(path_name)
the_path_name = 'C:/Users/liu/Pictures/' + path_name
if not os.path.exists(the_path_name):
	os.mkdir(the_path_name)

# Получите изображение и сохраните его в указанном каталоге.
num = 0
for j in img_list:
	img_url = 'https://www.xiurenb.com' + j
	img_data = requests.get(url=img_url, headers=headers).content
	img_name = img_url.split('/')[-1]
	finish_num = str(num) + '/' + str(len(img_list))
	with open('C:/Users/liu/Pictures/' + path_name + '/' + img_name, 'wb') as f:
		print(f'Downloading the img:{img_name}     {finish_num}')
		f.write(img_data)
		f.close()
	num += 1
	time.sleep(0.5)

# Подсказка об успешной операции
print('Finished!')

Это только первая версия кода этого веб-сайта, и есть еще некоторые области, требующие улучшения. Например, вам нужно самостоятельно просмотреть URL-адрес, чтобы передать данные: вы можете одновременно получить все фотографии только одного фотоальбома...

В дальнейшем я буду время от времени его оптимизировать и улучшать, чтобы вы могли обратить на него внимание.

Комментарии, лайки и коллекции являются мотивацией для моего написания. Надеюсь, вы меня очень поддержите.

Издатель: Full stack программист и руководитель стека, укажите источник для перепечатки: https://javaforall.cn/158683.html Исходная ссылка: https://javaforall.cn

boy illustration
RasaGpt — платформа чат-ботов на основе Rasa и LLM.
boy illustration
Nomic Embed: воспроизводимая модель внедрения SOTA с открытым исходным кодом.
boy illustration
Улучшение YOLOv8: EMA основана на эффективном многомасштабном внимании, основанном на межпространственном обучении, и эффект лучше, чем у ECA, CBAM и CA. Малые цели имеют очевидные преимущества | ICASSP2023
boy illustration
Урок 1 серии Libtorch: Тензорная библиотека Silky C++
boy illustration
Руководство по локальному развертыванию Stable Diffusion: подробные шаги и анализ распространенных проблем
boy illustration
Полностью автоматический инструмент для работы с видео в один клик: VideoLingo
boy illustration
Улучшения оптимизации RT-DETR: облегченные улучшения магистрали | Support Paddle облегченный rtdetr-r18, rtdetr-r34, rtdetr-r50, rtdet
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | Деформируемое внимание с большим ядром (D-LKA Attention), большое ядро ​​​​свертки улучшает механизм внимания восприимчивых полей с различными функциями
boy illustration
Создано Datawhale: выпущено «Руководство по тонкой настройке развертывания большой модели GLM-4»!
boy illustration
7B превышает десятки миллиардов, aiXcoder-7B с открытым исходным кодом Пекинского университета — это самая мощная модель большого кода, лучший выбор для корпоративного развертывания.
boy illustration
Используйте модель Huggingface, чтобы заменить интерфейс внедрения OpenAI в китайской среде.
boy illustration
Оригинальные улучшения YOLOv8: несколько новых улучшений | Сохранение исходной информации — алгоритм отделяемой по глубине свертки (MDSConv) |
boy illustration
Второй пилот облачной разработки | Быстро поиграйте со средствами разработки на базе искусственного интеллекта
boy illustration
Бесшовная интеграция, мгновенный интеллект [1]: платформа больших моделей Dify-LLM, интеграция с нулевым кодированием и встраивание в сторонние системы, более 42 тысяч звезд, чтобы стать свидетелями эксклюзивных интеллектуальных решений.
boy illustration
Решенная Ошибка | Загрузка PyTorch медленная: TimeoutError: [Errno 110] При загрузке факела истекло время ожидания — Cat Head Tiger
boy illustration
Brother OCR, библиотека с открытым исходным кодом для Python, которая распознает коды проверки.
boy illustration
Новейшее подробное руководство по загрузке и использованию последней демонстрационной версии набора данных COCO.
boy illustration
Выпущен отчет о крупной модели финансовой отрасли за 2023 год | Полный текст включен в загрузку |
boy illustration
Обычные компьютеры также могут работать с большими моделями, и вы можете получить личного помощника с искусственным интеллектом за три шага | Руководство для начинающих по локальному развертыванию LLaMA-3
boy illustration
Одной статьи достаточно для анализа фактора транскрипции SCENIC на Python (4)
boy illustration
Бросая вызов ограничениям производительности небольших видеокарт, он научит вас запускать большие модели глубокого обучения с ограниченными ресурсами, а также предоставит полное руководство по оценке и эффективному использованию памяти графического процессора!
boy illustration
Команда Fudan NLP опубликовала 80-страничный обзор крупномасштабных модельных агентов, в котором в одной статье представлен обзор текущего состояния и будущего агентов ИИ.
boy illustration
[Эксклюзив] Вы должны знать о новой функции JetBrains 2024.1 «Полнострочное завершение кода», чтобы решить вашу путаницу!
boy illustration
Краткое изложение базовых знаний о регистрации изображений 1.0
boy illustration
Новейшее подробное руководство по установке и использованию библиотеки cv2 (OpenCV, opencv-python) в Python.
boy illustration
Легко создайте локальную базу знаний для крупных моделей на основе Ollama+AnythingLLM.
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание решения. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Одна статья поможет вам понять RAG (Retrival Enhanced Generation) | Введение в концепцию и теорию + практику работы с кодом (включая исходный код).
boy illustration
Эволюция архитектуры шлюза облачной разработки
boy illustration
Docker и Kubernetes [Разработка контейнерных приложений с помощью Python]