❝Полный код и вложения этой статьи были загружены на мойGithubскладhttps://github.com/CNFeffery/DataScienceStudyNotes ❞

1 Введение

Привет всем, я учитель Фей.,всего несколько дней назад,После более чем шести лет непрерывного развития и итераций,Знаменитый кайф с открытым исходным кодомпроизводительность Аналитическийданные БиблиотекаDuckDBопубликовал свой1.0.0официальная версия。

DuckDBЧрезвычайно мощный автономныйанализ данныхпроизводительность Производительность,Многофункциональный,Имеет множество плагинов расширений.,И в дополнение к стандартномуSQLРежим внешнего запроса,Также очень дружелюбная поддержка наPython、R、Java、Node.jsИспользование в других языковых средах,особенно вPythonОчень гибкий и удобный в использовании,Сегодняшняя статья,Учитель Фэй, я помогу тебе быстро понятьDuckDBсуществоватьPythonРаспространенные позы использования в😎~

2 Использование DuckDB в Python

DuckDBпозиционируется как встроенный реляционныйданные Библиотека,существоватьPythonОчень удобно устанавливать в,С самым популярным на данный момент открытым исходным кодомPythonинструменты управления окружающей средойmambaНапример,Выполните следующие команды непосредственно в терминале,Мы завершили создание соответствующей демонстрационной виртуальной среды за один шаг.,исуществовать Завершено в средеpython-duckdb、jupyterlab、pandas、polarsУстановка сопутствующих инструментов анализа：

mamba create -n duckdb-demo python=3.9 -y && mamba activate duckdb-demo && mamba install python-duckdb jupyterlab pandas polars pyarrow -y

2.1 Импорт наборов данных

2.1.1 Непосредственный импорт файлов

В качестве анализа данныхинструмент,Очень важно иметь возможность удобно и гибко импортировать данные в различных форматах.,DuckDBПо умолчанию можно импортировать напрямую.csv、parquet、jsonи другие файлы общего формата,Сначала мы создадим простой пример с пятью миллионами строк, используя следующий код данных.,и экспортировано какcsvиparquetформат для сравнения：

# Создайте образцы файлов данных с помощью pandas
import numpy as np
import pandas as pd

generated_df = pd.DataFrame(
    {
        'категория': np.random.choice(list('ABCDEF'), 5000000),
        'Число': np.round(np.random.uniform(0, 1000000, 5000000), 3)
    }
)

# Экспорт в csv, формат соответственно паркета
generated_df.to_csv('./demo_data.csv', index=False)
generated_df.to_parquet('./demo_data.parquet')

Для файлов в двух форматах,Сравнивать отдельно по умолчаниюDuckDB、pandas、polarsскорость чтения：

• csvФормат

• parquetФормат

можно увидеть,Будь то сравнениеpandasвсе ещеpolars,DuckDBчтение файловпроизводительность Все они значительно опережают или даже превосходят.⚡。

кроме,DuckDBВы также можете пройтиSQLВыполните эквивалентные операции в форме операторов：

2.1.2 Чтение объектов данных других фреймворков

В дополнение к нескольким распространённым форматам данных, которые по умолчанию можно читать напрямую,DuckDBсуществоватьPythonОн также поддерживает выполнение непосредственно какSQLформа заявления,читать напрямуюpandas、polarsв других кадрахданныекоробка,Это так мощно,значит пока это такpandas、polarsждатькоробкастойку можно прочитать Формат,DuckDBможет быть напрямую“принеси это тебе”🤣：

2.2 Выполнение операций анализа

DuckDBВ качестве реляционногоданные Библиотека,Что Выполнять операции анализа Самый прямой способ — написатьSQL,противDuckDBЧтение в память по умолчаниюобъект（DuckDBизвестный как"связь"）：

мы можем пройтиduckdb.sql()Используйте связь напрямую в качестве имени таблицы.,писатьSQLОператоры для анализа запросов,Вот несколько простых примеров:

Сравните сpandas、polarsРазница во времени между выполнением одной и той же задачи,DuckDBВсе еще сокрушительный уровень существованиясуществовать👍：

2.3 Преобразование результатов расчета

DuckDBВстроенного интерфейса записи файлов по умолчанию относительно немного.,Еще толькопротивcsv、parquetждать主流Форматс соответствующимиwrite_parquet()、write_csv()Файлы можно экспортировать напрямую,нопротивPython,DuckDBОбеспечивает разнообразноеданныеинтерфейс преобразования,Преобразование может быть быстрым и эффективным результатов расчетадляPythonобъект、pandasданныекоробка、polarsданныекоробка、numpy数组ждать常用Формат：

На основании этого,Не беспокойтесь о прохожденииDuckDBрассчитанныйданные Результаты нелегко экспортировать.для Что Он различный Формат Файл~

Если вам вдруг понадобится переехатьдляcsv、parquetждать Формат,Затем используйте его напрямуюDuckDBИнтерфейс записи файлов,производительность по-прежнему очень мощная:

• csvФормат

• parquetФормат

подробнее оDuckDBсуществоватьPythonКонтент применяется в,Пожалуйста, перейдите к официальной документации（https://duckdb.org/docs/api/python/overview）,Учитель Фей, я тоже могу это сделать.существовать Продолжить делиться позжеDuckDBПохожие обучающие статьи,Добро пожаловать, чтобы продолжитьсосредоточиться на, давай освоим этот анализ вместе данныхострое оружие😉。

Выше приведено все содержание этой статьи. Добро пожаловать для обсуждения с нами в области комментариев ~.