процесс синтаксического анализа

Spark SQLпроцесс синтаксического анализарезюмировано как：

1. Операторы SQL компилируются и анализируются в деревья AST на основе ANTLR4.,SparkSqlParser#parseпроходитьVisitorАнализ обхода шаблонов посетителейASTДерево,генерироватьUnresolved Logical План (нерешенный логический план);
2. на основеAnalyzer#applyСоответствующий эффект правил,Логический план (логический план) формируется после привязки информации узла дерева (Каталог метаданных);
3. на основеOptimizer#applyоптимизация Неэффективная логика Деревоструктура(нравитьсяCBOоптимизация),генерироватьOptimized Logical План (оптимизированный логический план);
4. на основеSparkPlanner#plan,в соответствии сOptimized Logical PlanСопоставьте соответствующийStrategyигенерироватьгруппаPhysical Планы (физический план);
5. На основе модели затрат (Стоимость Модель)Выбрано Physical Plan(оптимальный план по физике)и подготовиться к подаче(prepareForExecution)；
6. Наконец, объект RDD выполнения получается на основе генерации кода.

Весь описанный выше процесс преобразования выполняется на стороне драйвера Spark и не задействует распределенную среду.

Статистика

Spark 2.2 начинает поддерживать оптимизацию CBO, а время запуска обновлений статистических метаданных следующее:

• ANALYZE：AnalyzeTableCommand、AnalyzeColumnCommand；
• ALTER：AlterTableAddPartitionCommand、AlterTableDropPartitionCommand、AlterTableSetLocationCommand、TruncateTableCommand；
• INSERT：InsertIntoHiveTable、InsertIntoHadoopFsRelationCommand、LoadDataCommand；

Statistics Статистика,ссылка：org.apache.spark.sql.catalyst.plans.logical.Statistics

ColumnStat Поле Статистика, Поле поддерживает статистику гистограмм:

Есть три способа получить метаданные Spark. Статистика:

1. Получение хранилища метаданных на основе персистентности, в настоящее время поддерживается только хранилище метаданных Hive;
2. На основе InMemoryFileIndex вызовите базовый API хранилища (Hadoop API), чтобы вычислить количество и размер хранилища файлов данных;
3. Используйте размер данных Spark по умолчанию, параметр конфигурации: spark.sql.defaultSizeInBytes;

Подключение к внешнему метахранилищу метаданных инкапсулируется как CatalogStatistics.,Метаданные таблицы получаются из Table#parameters.,Пакеты хранения и чтения статистики называются соответственно: HiveExternalCatalog#statsToProperties, HiveExternalCatalog#statsFromProperties,HiveClientИнкапсуляцияна основеHive Metastore RPCинтерфейс,Чтение и запись статистических метаданных, сохраненных в Hive Metastore, путем вызова HiveClient.。Sparkповерхность Статистика имеетнравиться Настройте первичный ключ ниже：

• spark.sql.statistics.totalSize: общий размер файлов табличных данных, единичный байт;
• spark.sql.statistics.numRows: общее количество строк данных таблицы;
• spark.sql.statistics.colStats.{имя поля}: где значение — статистика в формате json.,Включенная информация: DifferentCount, min, max, nullCount, avgLen, maxLen, гистограмма, версия;

АНАЛИЗВыполнение

ANALYZE TABLE table_name [ PARTITION ( partition_col_name [ = partition_col_val ] [ , ... ] ) ]
    COMPUTE STATISTICS [ NOSCAN | FOR COLUMNS col [ , ... ] | FOR ALL COLUMNS ]

Поддержка команд анализа: AnalyColumnCommand, AnalyTableCommand.

Выполнение статистических метаданных：

• поверхность Статистика：вызовCommandUtils#calculateTotalSize Инкапсулированное выполнение, totalSize считывает информацию о файле FS в разделе «Местоположение» и суммирует ее, numRows вызывает программу запуска искры sparkSession.table("table").count();
• Поле Статистика：вызовCommandUtils#computeColumnStats Инкапсулировать выполнение, CommandUtils#computePercentiles Поддерживает статистику гистограммы для каждого сегментированного данных (по умолчанию 254 сегмента) и выполняет статистику Spark. Реализация агрегатного оператора;

Сбор статистических метаданных：получатьповерхность、Информация о разделах будет автоматически дополнена статистическими метаданными;

Обновления статистических метаданных：SessionCatalog#alterTableStatsОбновить метаданные,Реализовано для Hive Metastore.,новызовHiveClient#alterTableметод Обновить метаданные Информация о конфигурации。

Я участвую в последнем конкурсе эссе для специального учебного лагеря Tencent Technology Creation 2024. Приходите и разделите со мной приз!