Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%
Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%

Публичный аккаунт: Youerhut Редактор: Питер Автор: Питер

Привет всем, я Питер~

Сегодня я хотел бы поделиться с вами классическим алгоритмом древовидной модели: LightGBM, представить предысторию, принципы и характеристики алгоритма и, наконец, представить пример, основанный на LightGBM и оптимизации случайного поиска.

Алгоритм LightGBM

существоватьмашинное обучениеполе,Машины повышения градиента (GBM)Это мощный алгоритм ансамблевого обучения.,Они делают это, постепенно добавляя слабых учеников.(Обычно дерево решений)минимизироватьпредсказыватьошибка,Таким образом, мы создаем мощную модель.

В эпоху больших данных размер наборов данных резко увеличился, а традиционные GBM трудно эффективно масштабировать из-за высоких затрат на вычисления и хранение.

  • Например, для стратегии роста дерева решений с горизонтальной сегментацией, хотя она и может генерировать сбалансированное дерево, это часто приводит к снижению распознавательной способности модели, тогда как для стратегии роста на основе листьев, хотя и может повысить точность; , легко переобучиться.
  • также,Большинству GBMвыполнения необходимо пройти весь набор данных для расчета градиента на каждой итерации.,Это неэффективно, когда объем данных огромен. поэтому,Необходим алгоритм, который сможет эффективно обрабатывать крупномасштабные данные, сохраняя при этом точность модели.

Чтобы решить эти проблемы,Microsoftсуществовать2017Запущен вLightGBM(Light Gradient Boosting Machine), более быстрая система повышения градиента производительности с меньшим потреблением памяти и более высокой производительностью.

Официальный адрес исследования:https://lightgbm.readthedocs.io/en/stable/

Принцип LightGBM

1. Алгоритм дерева решений на основе гистограммы:

  • принцип:LightGBMИспользование методов оптимизации гистограмм,Дискретизировать значения непрерывных признаков в определенные ячейки (т. е. сегменты гистограммы),Уменьшает объем данных, которые необходимо вычислить при разделении узла.
  • преимущество:этот метод Можно найти вуменьшатьиспользование одновременно улучшая скорость вычислений.
  • Детали реализации:для каждой функции,Алгоритмы поддерживают гистограмму,Запишите статистическую информацию об этой функции в разные сегменты. При разделении узлов,Информацию из этих гистограмм можно использовать напрямую.,Без необходимости просматривать все данные.

2. Стратегия роста дерева полистно с ограничением глубины:

  • принцип:В отличие от традиционного горизонтального разделения,Стратегия полистового роста заключается в выборе узла с наибольшей разделенной прибылью из всех текущих конечных узлов для каждого разделения.
  • преимущество:Эта стратегия позволяет дереву решений больше сосредоточиться на аномалиях в данных.,Обычно достигается более высокая точность.
  • недостаток:Легко может привести к переоснащению,Особенно, когда в данных есть шум.
  • Меры по улучшению:LightGBMПредотвратите переобучение, установив максимальный предел глубины.。

3. Односторонняя градиентная выборка (GOSS):

  • принцип:Для больших выборок градиента в наборе данных,Алгоритм GOSS сохраняет только часть данных (обычно образцы с большими градиентами).,Уменьшите объем вычислений, не теряя при этом слишком много информации.
  • преимущество:этот метод Можно найти в Ускорение обучения без существенной потери точности.
  • Сценарии применения:Особенно подходит для ситуаций, когда искажение данных является серьезным.。

4. Взаимоисключающие пакеты функций (EFB):

  • принцип:EFB是一种уменьшать特征数量,Технологии повышения эффективности вычислений. Он сочетает в себе взаимоисключающие функции (т.е. функции, которые никогда не являются ненулевыми одновременно).,для уменьшения размеров объекта.
  • преимущество:Улучшена эффективность использования памяти.искорость обучения。
  • Детали реализации:Взаимная исключительность через черты,Алгоритм Можно найти в одновременно обрабатывает больше функций,Это уменьшает количество фактически обрабатываемых функций.

5. Поддержка параллельного и распределенного обучения:

  • принцип:LightGBMПоддержка многопоточного обучения,Возможность использовать несколько процессоров для параллельного обучения.
  • преимущество:显著提高了существовать多核处理器上的скорость обучения。
  • Масштабируемость:Также поддерживает распределенное обучение,Для совместного обучения модели можно использовать несколько машин.

6. Оптимизация кэша:

  • принцип:Оптимизирован способ чтения данных,Для ускорения обмена данными можно использовать больший кэш.
  • преимущество:特别是существовать大数据набор上,Оптимизация кэша может значительно повысить производительность.

7. Поддерживает несколько функций потери:

  • Функции:В дополнение к обычно используемой регрессиии Вне функции потерь классификации,LightGBM также поддерживает пользовательские функции потерь.,Удовлетворение различных потребностей бизнеса.

8. Регуляризация и обрезка:

  • принцип:предоставилL1иL2Термин регуляризации для управления сложностью модели,Избегайте переобучения.
  • выполнить:выполнить Стратегия обратного сокращения используется для дальнейшего предотвращения переобучения.。

9. Интерпретируемость модели:

  • Функции:Потому что это модель, основанная на деревьях решений.,LightGBM имеет хорошую интерпретируемость модели.,Логику принятия решений в модели можно понять с помощью таких методов, как важность признаков.

Особенности LightGBM

Эффективность

  • Преимущество в скорости:Оптимизация с помощью гистограммыи leaf-wise Стратегия роста, LightGBM Это значительно повышает скорость обучения, обеспечивая при этом точность.
  • использование памяти:по сравнению с другимиGBMвыполнить,LightGBM Требует меньше памяти, что позволяет обрабатывать большие наборы данных.

точность

  • лучшая приоритетная стратегия роста:LightGBM Усыновленный leaf-wise Стратегия роста более точно соответствует данным и часто приводит к большей точности, чем горизонтальное разделение.
  • Способы избежать переобучения:Установив максимальный предел глубиныиобратная обрезка,LightGBM Это может повысить точность модели, избегая при этом переобучения.

Масштабируемость

  • Параллельное и распределенное обучение:LightGBM Конструкция поддерживает многопоточность и распределенные вычисления, что позволяет полностью использовать вычислительную мощность современного оборудования.
  • Мультиплатформенная поддержка:LightGBM Можно найти в Windows、macOS и Linux Работа на нескольких операционных системах, поддержка Python、R、Java и многие другие языки программирования.

Простота использования

  • Настройка параметров:LightGBM Предоставляет множество вариантов параметров, позволяющих пользователям настраивать их в соответствии с конкретными проблемами.
  • Предварительно обученная модель:Пользователи могут начать с предварительно обученной модели.,Ускорьте собственный процесс моделирования.
  • Инструменты интерпретации модели:LightGBM Инструменты оценки важности функций предоставляются, чтобы помочь пользователям понять процесс принятия решений в модели.

Импортировать библиотеку

In 1:

Язык кода:python
кодКоличество запусков:0
копировать
import numpy as np

import lightgbm as lgb
from sklearn.model_selection import train_test_split, RandomizedSearchCV
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score
import warnings
warnings.filterwarnings("ignore")

Загрузить данные

Загрузите общедоступный набор данных радужной оболочки глаза:

In 2:

Язык кода:python
кодКоличество запусков:0
копировать
# Загрузить данныенабор
data = load_iris()
X, y = data.data, data.target
y = [int(i) for i in y]  # Преобразовать метку в целое число

In 3:

Язык кода:python
кодКоличество запусков:0
копировать
X[:3]

Out3:

Язык кода:python
кодКоличество запусков:0
копировать
array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2]])

In 4:

Язык кода:python
кодКоличество запусков:0
копировать
y[:10]

Out4:

Язык кода:python
кодКоличество запусков:0
копировать
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

Данные раздела

In 5:

Язык кода:python
кодКоличество запусков:0
копировать
# Разделите обучающий набор и тестовый набор
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

Также создайте набор данных LightGBM:

In 6:

Язык кода:python
кодКоличество запусков:0
копировать
lgb_train = lgb.Dataset(X_train, label=y_train)

Настройки параметров

In 7:

Язык кода:python
кодКоличество запусков:0
копировать
# Установить диапазон параметров
param_dist = {
    'boosting_type': ['gbdt', 'dart'],  # Тип акции  Дерево решений с градиентным усилением (gbdt) и исключения meet Multiple Additive Regression Trees(dart)
    'objective': ['binary', 'multiclass'],  # Цель две классификации и несколько классификаций;
    'num_leaves': range(20, 150),  # Количество листовых узлов
    'learning_rate': [0.01, 0.05, 0.1],  # скорость обучения
    'feature_fraction': [0.6, 0.8, 1.0],  # Коэффициент выборки функций
    'bagging_fraction': [0.6, 0.8, 1.0],  # Коэффициент выборки данных
    'bagging_freq': range(0, 80),  # Частота выборки данных
    'verbose': [-1]  # Отображать ли подробную информацию во время процесса обучения, -1 означает ее не отображать
}

Случайные параметры поиска

In 8:

Язык кода:python
кодКоличество запусков:0
копировать
# Инициализировать модель
model = lgb.LGBMClassifier()


# Настройка с помощью случайного поиска параметров
random_search = RandomizedSearchCV(estimator=model,
                                   param_distributions=param_dist, # Комбинация параметров
                                   n_iter=100, 
                                   cv=5, # 5-кратная перекрестная проверка
                                   verbose=2, 
                                   random_state=42, 
                                   n_jobs=-1)
# Модельное обучение
random_search.fit(X_train, y_train)
Fitting 5 folds for each of 100 candidates, totalling 500 fits

Выведите лучшую комбинацию параметров:

In 9:

Язык кода:python
кодКоличество запусков:0
копировать
# Вывод лучших параметров
print("Best parameters found: ", random_search.best_params_)
Best parameters found:  {'verbose': -1, 'objective': 'multiclass', 'num_leaves': 87, 'learning_rate': 0.05, 'feature_fraction': 0.6, 'boosting_type': 'gbdt', 'bagging_freq': 22, 'bagging_fraction': 0.6}

Модель с использованием оптимальных параметров

In 10:

Язык кода:python
кодКоличество запусков:0
копировать
# Обучите модель, используя оптимальные параметры
best_model = random_search.best_estimator_
best_model.fit(X_train, y_train)

# предсказывать
y_pred = best_model.predict(X_test)
y_pred = [round(i) for i in y_pred]  # Преобразование вероятностей в категории

# Модель оценки
print('Accuracy: %.4f' % accuracy_score(y_test, y_pred))
Accuracy: 0.9667
boy illustration
Учебное пособие по Jetpack Compose для начинающих, базовые элементы управления и макет
boy illustration
Код js веб-страницы, фон частицы, код спецэффектов
boy illustration
【новый! Суперподробное】Полное руководство по свойствам компонентов Figma.
boy illustration
🎉Обязательно к прочтению новичкам: полное руководство по написанию мини-программ WeChat с использованием программного обеспечения Cursor.
boy illustration
[Забавный проект Docker] VoceChat — еще одно приложение для мгновенного чата (IM)! Может быть встроен в любую веб-страницу!
boy illustration
Как реализовать переход по странице в HTML (html переходит на указанную страницу)
boy illustration
Как решить проблему зависания и низкой скорости при установке зависимостей с помощью npm. Существуют ли доступные источники npm, которые могут решить эту проблему?
boy illustration
Серия From Zero to Fun: Uni-App WeChat Payment Practice WeChat авторизует вход в систему и украшает страницу заказа, создает интерфейс заказа и инициирует запрос заказа
boy illustration
Серия uni-app: uni.navigateЧтобы передать скачок значения
boy illustration
Апплет WeChat настраивает верхнюю панель навигации и адаптируется к различным моделям.
boy illustration
JS-время конвертации
boy illustration
Обеспечьте бесперебойную работу ChromeDriver 125: советы по решению проблемы chromedriver.exe не найдены
boy illustration
Поле комментария, щелчок мышью, специальные эффекты, js-код
boy illustration
Объект массива перемещения объекта JS
boy illustration
Как открыть разрешение на позиционирование апплета WeChat_Как использовать WeChat для определения местонахождения друзей
boy illustration
Я даю вам два набора из 18 простых в использовании фонов холста Power BI, так что вам больше не придется возиться с цветами!
boy illustration
Получить текущее время в js_Как динамически отображать дату и время в js
boy illustration
Вам необходимо изучить сочетания клавиш vsCode для форматирования и организации кода, чтобы вам больше не приходилось настраивать формат вручную.
boy illustration
У ChatGPT большое обновление. Всего за 45 минут пресс-конференция показывает, что OpenAI сделал еще один шаг вперед.
boy illustration
Copilot облачной разработки — упрощение разработки
boy illustration
Микросборка xChatGPT с низким кодом, создание апплета чат-бота с искусственным интеллектом за пять шагов
boy illustration
CUDA Out of Memory: идеальное решение проблемы нехватки памяти CUDA
boy illustration
Анализ кластеризации отдельных ячеек, который должен освоить каждый&MarkerгенетическийВизуализация
boy illustration
vLLM: мощный инструмент для ускорения вывода ИИ
boy illustration
CodeGeeX: мощный инструмент генерации кода искусственного интеллекта, который можно использовать бесплатно в дополнение к второму пилоту.
boy illustration
Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%
boy illustration
Бесшовная интеграция, мгновенный интеллект [1]: платформа больших моделей Dify-LLM, интеграция без кодирования и встраивание в сторонние системы, более 42 тысяч звезд, чтобы стать свидетелями эксклюзивных интеллектуальных решений.
boy illustration
LM Studio для создания локальных больших моделей
boy illustration
Как определить количество слоев и нейронов скрытых слоев нейронной сети?
boy illustration
[Отслеживание целей] Подробное объяснение ByteTrack и детали кода