【Hadoop】 在Spark-Shell中删除Hive内部表和外部表的数据

你跨越万水千山 只一眼便似万年
梦里繁花也搁浅
相逢不记前缘 再聚凭何怀缅
东风也叹路途远
命运缠丝线 情不愿消散 恩怨皆亏欠
世间踏遍 难抵人生初相见
                     🎵 刘美麟《初见》

Apache Spark是一个强大的分布式数据处理框架，它提供了对Hive操作的支持，使得我们可以通过Spark来管理Hive表，包括内部表和外部表。本文将讨论如何在spark-shell中使用Spark SQL来删除Hive内部表的数据，以及如何删除Hive外部表的数据文件。

Hive内部表 vs 外部表

在深入了解删除操作之前，重要的是要区分Hive的内部表和外部表：

• 内部表（Managed Table）: 当你删除一个内部表时，Hive会删除表的元数据以及存储的数据。
• 外部表（External Table）: 删除一个外部表，Hive只删除表的元数据，而数据文件保留在其原来的位置。

确定表类型

打开spark-shell，然后执行以下命令：

// 替换your_database_name.your_table_name为你的实际数据库名和表名
spark.sql("DESCRIBE FORMATTED your_database_name.your_table_name").show(false)

这将输出表的元数据，包括很多详细信息。为了找出表是内部表还是外部表，请查找输出中的Table Type属性。输出会类似于：

• 对于外部表，Table Type的值会是EXTERNAL_TABLE。
• 对于内部表，Table Type的值会是MANAGED_TABLE。

删除Hive内部表的数据

对于Hive内部表，你可以使用TRUNCATE TABLE命令来删除表中的所有数据，但保留表结构。

使用TRUNCATE TABLE
在spark-shell中，执行以下命令：

spark.sql("TRUNCATE TABLE your_database.your_table")

这将删除your_table中的所有数据。请替换your_database和your_table为你的数据库名和表名。

删除Hive外部表的数据文件

由于外部表的数据文件不受Hive管理，直接使用TRUNCATE TABLE命令或DROP TABLE命令不会删除数据文件。要删除外部表的数据文件，你需要直接操作存储系统（如HDFS）。

• 使用Spark操作HDFS删除数据文件
  首先，确保你知道外部表数据文件的存储路径。然后，在spark-shell中执行以下步骤：

  val path = "hdfs://path/to/your/external/table/data"
  val hadoopConf = spark.sparkContext.hadoopConfiguration
  val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI(path), hadoopConf)
  hdfs.delete(new org.apache.hadoop.fs.Path(path), true)
  

  这段代码会删除指定路径下的所有数据文件。请替换path变量的值为你的外部表数据文件的实际路径。

注意事项

在进行任何删除操作之前，务必确认操作的影响，尤其是数据删除是不可逆的。
对于重要的数据，确保你已经进行了备份。
删除操作需要相应的权限，确保你的用户账户有权限执行上述操作。
通过结合Spark SQL和Hadoop FileSystem API的功能，我们可以灵活地管理Hive表的数据，无论是内部表还是外部表。