Платформа анализа больших массивов данных, состоящих из высокоуровневого языка для анализа выраженных данных в сочетании с инфраструктурой для оценки этих программ. Характерным свойством программ Pig является то что их структура существенно распараллеленая, что в свою очередь позволяет им обрабатывать очень большие наборы данных.
В настоящее время, слой инфраструктуры программ Pig, который производит последовательности программ Map-Reduce, для которых уже существуют крупные параллельные реализации (например, подпроекты Hadoop). Языковый слой Pig в настоящее время состоит из текстового языка под названием Pig Latin, который имеет следующие основные свойства:

• Простота программирования. Тривиальное достижение параллельного выполнения простых "ошеломляюще параллельных" задач анализа данными. Сложные задачи, состоящие из нескольких взаимосвязанных преобразований данных явно кодируются в виде последовательности потока данных, что делает их легко записываемыми, понимаемыми и поддерживаемыми.
• Возможности оптимизации. Способ в котором закодированные задачи позволяет системе автоматически оптимизировать своё выполнение, позволяя пользователю сосредоточиться на семантике, а не эффективности.
• Расширяемость. Пользователи могут создавать свои собственные функции для обработки специального назначения.

------------------------
ТРИО теплый пол отзыв
Заработок на сокращении ссылок
Earnings on reducing links
Код PHP на HTML сайты

Категория: Программы по анализу информации

Лицензия:
Apache2


Сайт проекта
Скачать Apache Pig