Возможности Apache Hive

• Индексация для ускорения, виды индексации включают уплотнение и индекс Bitmap от 0.10, планируются другие типы индексов.
• Виды хранимых данных: простой текст, RCFile, HBase, ORC и другие.
• Хранение метаданных в СУБД значительно сокращает время на выполнение семантических проверок во время выполнения запроса.
• Действуя над сжатыми данными, хранящимися в экосистеме Hadoop с использованием алгоритмов, включая DEFLATE, BWT, snappy и т.д.
• Встроенные пользовательские функции (UDF), чтобы обрабатывать даты, строки и другие инструменты добычи данных (Data Mining). Hive поддерживает расширения набора UDF для обработки сценариев использования (use-cases), не поддерживаемые встроенными функциями.
• SQL-подобных запросов (HiveQL), которые неявно преобразуются в MapReduce, Tez, Spark jobs.

Архитектура Apache Hive

• Metastore: хранит метаданные для каждой таблицы, такие как схемы и локации. Сюда также входят метаданные раздела, которые помогают драйверу отслеживать ход выполнения различных наборов данных, распределенных по кластеру. Данные хранятся в традиционном формате СУБД. Метаданные помогают драйверу постоянно отслеживать данные и это очень важно. Таким образом, резервный сервер регулярно копирует данные, которые можно получить в случае потери данных.
• Драйвер: действует как контроллер, который принимает заявления HiveQL. Он начинает выполнение заявления путем создания сессий и контролирует жизненный цикл и ход выполнения. Он хранит необходимые метаданные, образующейся в процессе выполнения оператора HiveQL. Драйвер также выступает в качестве точки сбора данных или для поиска запросов от Reduce.
• Компилятор: выполняет компиляцию запроса HiveQL, который преобразует запрос в план выполнения. Этот план содержит задачи и этапы, необходимые для выполнения с помощью Hadoop MapReduce, чтобы получить вывод переведённый запросом. Компилятор преобразует запрос в абстрактное синтаксическое дерево (Abstract syntax tree (AST)). После проверки на совместимость и на ошибки времени компиляции он преобразует AST в направленный ациклический граф (directed acyclic graph (DAG)). DAG делит операторы на этапы и задачи MapReduce, основываясь на введённых запросах и данных.
• Оптимизатор: выполняет различные преобразования по плану выполнения, чтобы получить оптимизированный DAG. Различные преобразования можно объединить вместе, например pipeline объединить в одно соединение для лучшей производительности. Можно также разделить задачи, такие как применение преобразования данных перед операциями уменьшения, чтобы обеспечить лучшую производительность и масштабируемость. However, the logic of transformation used for optimization used can be modified or pipelined using another optimizer.
• Исполнитель: После компиляции и оптимизации исполнитель выполняет задачи в соответствии с DAG. Он взаимодействует с трекером задач Hadoop, для планирования выполнения задач. Он заботится о конвейерных задачах, убедившись что задача с зависимостью запускается на выполнение только тогда, когда все другие предпосылки выполняются.
• CLI, UI и Thrift Server: CLI (интерфейс командной строки) и UI (пользовательский интерфейс) позволяют внешним пользователям взаимодействовать с Hive путем подачи запросов, инструкций и мониторинга состояния процесса. Thrift server позволяет внешним клиентам взаимодействовать с Hive так же, как с серверами JDBC/ODBC.

HiveQL

DROP TABLE IF EXISTS docs;
2 CREATE TABLE docs (line STRING);
3 LOAD DATA INPATH 'input_file' OVERWRITE INTO TABLE docs;
4 CREATE TABLE word_counts AS
5 SELECT word, count(1) AS count FROM
6  (SELECT explode(split(line, '\s')) AS word FROM docs) temp
7 GROUP BY word
8 ORDER BY word;

DROP TABLE IF EXISTS docs;
2 CREATE TABLE docs (line STRING);

LOAD DATA INPATH 'input_file' OVERWRITE INTO TABLE docs;

CREATE TABLE word_counts AS
5 SELECT word, count(1) AS count FROM
6 (SELECT explode(split(line, '\s')) AS word FROM docs) temp
7 GROUP BY word
8 ORDER BY word;

Сравнение с традиционными базами данных

Безопасность Apache Hive