Apache Hive
https://hive.apache.org/
Apache Hive 是一个数据仓库基础设施，构建在 Hadoop 上，用于数据的查询和分析。它提供了一种类 SQL 的查询语言（HiveQL），使用户能够以更直观的方式处理存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据集。
主要特点
- 类SQL语法：HiveQL 提供类似 SQL 的语法，使得熟悉 SQL 的用户可以轻松上手。
- 数据存储：Hive 支持多种数据存储格式，如文本文件、ORC、Parquet 等，用户可以根据需求选择适合的格式。
- 扩展性：Hive 允许用户定义自定义函数（UDF），以扩展其查询能力。
- 分区和桶：Hive 支持对数据进行分区和桶化，以优化查询性能。
- 与 Hadoop 集成：Hive 与 Hadoop 紧密集成，可以利用 Hadoop 的分布式计算能力处理海量数据。
适用场景
- 数据分析：适合进行大规模数据的批量处理和分析。
- 数据仓库：用于构建数据仓库，支持数据的整理、查询和报表生成。
- ETL 过程：可以用于提取、转换和加载（ETL）数据。
工作原理
- 数据存储：用户将数据存储在 Hadoop 的 HDFS 中。
- 元数据管理：Hive 使用一个元数据库存储表结构、分区信息等元数据。
- 查询执行：当用户提交 HiveQL 查询时，Hive 将其转换为 MapReduce、Tez 或 Spark 任务，并在 Hadoop 集群上执行。