Публичный аккаунт: Youerhut Редактор: Питер Автор: Питер

Привет всем, я Питер~

Сегодня я хотел бы поделиться с вами классическим алгоритмом древовидной модели: LightGBM, представить предысторию, принципы и характеристики алгоритма и, наконец, представить пример, основанный на LightGBM и оптимизации случайного поиска.

Алгоритм LightGBM

существоватьмашинное обучениеполе,Машины повышения градиента (GBM)Это мощный алгоритм ансамблевого обучения.,Они делают это, постепенно добавляя слабых учеников.（Обычно дерево решений）минимизироватьпредсказыватьошибка,Таким образом, мы создаем мощную модель.

В эпоху больших данных размер наборов данных резко вырос, а традиционные GBM трудно эффективно масштабировать из-за высоких затрат на вычисления и хранение.

• Например, для стратегии роста дерева решений с горизонтальной сегментацией, хотя она и может генерировать сбалансированное дерево, это часто приводит к снижению распознавательной способности модели, тогда как для стратегии роста на основе листьев, хотя и может повысить точность; , легко переобучиться.
• также,Большинство GBMвыполнения требуют прохождения всего набора данных на каждой итерации для вычисления градиента.,Это неэффективно, когда объем данных огромен. поэтому,Необходим алгоритм, который сможет эффективно обрабатывать крупномасштабные данные, сохраняя при этом точность модели.

Чтобы решить эти проблемы,Microsoftсуществовать2017Запущен вLightGBM（Light Gradient Boosting Machine), более быстрая система повышения градиента производительности с меньшим потреблением памяти и более высокой производительностью.

Официальный адрес исследования：https://lightgbm.readthedocs.io/en/stable/

Принцип LightGBM

1. Алгоритм дерева решений на основе гистограммы:

• принцип：LightGBMИспользование методов оптимизации гистограмм,Дискретизировать значения непрерывных признаков в определенные ячейки (т. е. сегменты гистограммы),Уменьшает объем данных, которые необходимо вычислить при разделении узла.
• преимущество：этот метод Можно найти вуменьшатьиспользование одновременно улучшая скорость вычислений.
• Детали реализации：для каждой функции,Алгоритмы поддерживают гистограмму,Запишите статистическую информацию об этой функции в разные сегменты. При разделении узлов,Информацию из этих гистограмм можно использовать напрямую.,Без необходимости просматривать все данные.

2. Стратегия роста дерева полистно с ограничением глубины:

• принцип：В отличие от традиционного горизонтального разделения,Стратегия полистового роста заключается в выборе узла с наибольшей разделенной прибылью из всех текущих конечных узлов для каждого разделения.
• преимущество：Эта стратегия позволяет дереву решений больше сосредоточиться на аномалиях в данных.,Обычно достигается более высокая точность.
• недостаток：Легко может привести к переоснащению,Особенно, когда в данных есть шум.
• Меры по улучшению：LightGBMПредотвратите переобучение, установив максимальный предел глубины.。

3. Односторонняя градиентная выборка (GOSS):

• принцип：Для больших выборок градиента в наборе данных,Алгоритм GOSS сохраняет только часть данных (обычно образцы с большими градиентами).,Уменьшите объем вычислений, не теряя при этом слишком много информации.
• преимущество：этот метод Можно найти в Ускорение обучения без существенной потери точности.
• Сценарии применения：Особенно подходит для ситуаций, когда искажение данных является серьезным.。

4. Взаимоисключающие пакеты функций (EFB):

• принцип：EFB是一种уменьшать特征数量,Технологии повышения эффективности вычислений. Он сочетает в себе взаимоисключающие функции (т.е. функции, которые никогда не являются ненулевыми одновременно).,для уменьшения размеров объекта.
• преимущество：Улучшена эффективность использования памяти.искорость обучения。
• Детали реализации：Взаимная исключительность через черты,Алгоритм Можно найти в одновременно обрабатывает больше функций,Это уменьшает количество фактически обрабатываемых функций.

5. Поддержка параллельного и распределенного обучения:

• принцип：LightGBMПоддержка многопоточного обучения,Возможность использовать несколько процессоров для параллельного обучения.
• преимущество：显著提高了существовать多核处理器上的скорость обучения。
• Масштабируемость：Также поддерживает распределенное обучение,Для совместного обучения моделей можно использовать несколько машин.

6. Оптимизация кэша:

• принцип：Оптимизирован способ чтения данных,Для ускорения обмена данными можно использовать больший кэш.
• преимущество：特别是существовать大数据набор上,Оптимизация кэша может значительно повысить производительность.

7. Поддерживает несколько функций потери:

• Функции：В дополнение к обычно используемой регрессиии Вне функции потерь классификации,LightGBM также поддерживает пользовательские функции потерь.,Удовлетворение различных потребностей бизнеса.

8. Регуляризация и обрезка:

• принцип：предоставилL1иL2Термин регуляризации для управления сложностью модели,Избегайте переобучения.
• выполнить：выполнить Стратегия обратного сокращения используется для дальнейшего предотвращения переобучения.。

9. Интерпретируемость модели:

• Функции：Потому что это модель, основанная на деревьях решений.,LightGBM имеет хорошую интерпретируемость модели.,Логику принятия решений в модели можно понять с помощью таких методов, как важность признаков.

Особенности LightGBM

Эффективность

• Преимущество в скорости：Оптимизация с помощью гистограммыи leaf-wise Стратегия роста, LightGBM Это значительно повышает скорость обучения, обеспечивая при этом точность.
• использование памяти：по сравнению с другимиGBMвыполнить,LightGBM Требует меньше памяти, что позволяет обрабатывать большие наборы данных.

точность

• лучшая приоритетная стратегия роста：LightGBM Усыновленный leaf-wise Стратегия роста более точно соответствует данным и часто приводит к большей точности, чем горизонтальное разделение.
• Способы избежать переобучения：Установив максимальный предел глубиныиобратная обрезка,LightGBM Это может повысить точность модели, избегая при этом переобучения.

Масштабируемость

• Параллельное и распределенное обучение：LightGBM Конструкция поддерживает многопоточность и распределенные вычисления, что позволяет полностью использовать вычислительную мощность современного оборудования.
• Мультиплатформенная поддержка：LightGBM Можно найти в Windows、macOS и Linux Работа на нескольких операционных системах, поддержка Python、R、Java и многие другие языки программирования.

Простота использования

• Настройка параметров：LightGBM Предоставляет множество вариантов параметров, позволяющих пользователям настраивать их в соответствии с конкретными проблемами.
• Предварительно обученная модель：Пользователи могут начать с предварительно обученной модели.,Ускорьте собственный процесс моделирования.
• Инструменты интерпретации модели：LightGBM Инструменты оценки важности функций предоставляются, чтобы помочь пользователям понять процесс принятия решений в модели.

Импортировать библиотеку

In 1:

import numpy as np

import lightgbm as lgb
from sklearn.model_selection import train_test_split, RandomizedSearchCV
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score
import warnings
warnings.filterwarnings("ignore")

Загрузить данные

Загрузите общедоступный набор данных радужной оболочки глаза:

In 2:

# Загрузить данныенабор
data = load_iris()
X, y = data.data, data.target
y = [int(i) for i in y]  # Преобразовать метку в целое число

In 3:

X[:3]

Out3:

array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2]])

In 4:

y[:10]

Out4:

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

Данные раздела

In 5:

# Разделите обучающий набор и тестовый набор
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

Также создайте набор данных LightGBM:

In 6:

lgb_train = lgb.Dataset(X_train, label=y_train)

Настройки параметров

In 7:

# Установить диапазон параметров
param_dist = {
    'boosting_type': ['gbdt', 'dart'],  # Тип акции  Дерево решений с градиентным усилением (gbdt) и исключения meet Multiple Additive Regression Trees（dart）
    'objective': ['binary', 'multiclass'],  # Цель две классификации и несколько классификаций;
    'num_leaves': range(20, 150),  # Количество листовых узлов
    'learning_rate': [0.01, 0.05, 0.1],  # скорость обучения
    'feature_fraction': [0.6, 0.8, 1.0],  # Коэффициент выборки функций
    'bagging_fraction': [0.6, 0.8, 1.0],  # Коэффициент выборки данных
    'bagging_freq': range(0, 80),  # Частота выборки данных
    'verbose': [-1]  # Отображать ли подробную информацию во время процесса обучения, -1 означает ее не отображать
}

Случайные параметры поиска

In 8:

# Инициализировать модель
model = lgb.LGBMClassifier()


# Настройка с помощью случайного поиска параметров
random_search = RandomizedSearchCV(estimator=model,
                                   param_distributions=param_dist, # Комбинация параметров
                                   n_iter=100, 
                                   cv=5, # 5-кратная перекрестная проверка
                                   verbose=2, 
                                   random_state=42, 
                                   n_jobs=-1)
# Модельное обучение
random_search.fit(X_train, y_train)
Fitting 5 folds for each of 100 candidates, totalling 500 fits

Выведите лучшую комбинацию параметров:

In 9:

# Вывод лучших параметров
print("Best parameters found: ", random_search.best_params_)
Best parameters found:  {'verbose': -1, 'objective': 'multiclass', 'num_leaves': 87, 'learning_rate': 0.05, 'feature_fraction': 0.6, 'boosting_type': 'gbdt', 'bagging_freq': 22, 'bagging_fraction': 0.6}

Модель с использованием оптимальных параметров

In 10:

# Обучите модель, используя оптимальные параметры
best_model = random_search.best_estimator_
best_model.fit(X_train, y_train)

# предсказывать
y_pred = best_model.predict(X_test)
y_pred = [round(i) for i in y_pred]  # Преобразование вероятностей в категории

# Модель оценки
print('Accuracy: %.4f' % accuracy_score(y_test, y_pred))
Accuracy: 0.9667