当前位置：首页 > article >正文

Hive-定时清理无用的临时表

article 2024/11/27 15:12:32

背景：

有一个临时库，大家平时开发过程中比较常用，这个库的表的生命周期没有得到很好的管理，日积月累导致无用表增多，所以跟运维提了个方案，定期清理。提出了一个比较简单的方案。

解决方案：

show u the code

表规范如下：

表名称：temp_xxxx(邮箱前缀)_xxxxx（自由发挥，不建议太长)_expyyyyMMdd(过期日期20241126)

清理规则如下：

不符合上述规范的表直接清理或者rename
超过表的过期时间的清理或者rename

实现方案：

方案一：

这个版本的属于最常规的思路，如果清理的无用表较多的时候可能性能会稍微低些。

#!/bin/bash

# Hive 配置
HIVE_DB="cusc_tmp_tmp_test_bd"
BEELINE_CMD="beeline"
BEELINE_URL="jdbc:hive2://<hive_server_host>:<hive_server_port>"
BEELINE_USER="<your_username>"
BEELINE_PASSWORD="<your_password>"

# 获取当前日期
CURRENT_DATE=$(date +%Y%m%d)

# 获取所有表名
TABLES=$($BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "SHOW TABLES IN ${HIVE_DB};")

# 正则表达式匹配表名格式
VALID_PATTERN="^temp_[^_]+_[^_]+_exp([0-9]{8})$"

# 遍历所有表
for TABLE in $TABLES; do
    if [[ $TABLE =~ $VALID_PATTERN ]]; then
        # 提取过期日期
        EXP_DATE=${BASH_REMATCH[1]}
        
        # 检查是否过期
        if [[ $CURRENT_DATE -gt $EXP_DATE ]]; then
            echo "Deleting expired table: ${TABLE}"
            $BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "DROP TABLE IF EXISTS ${HIVE_DB}.${TABLE};"
        fi
    else
        # 删除不符合规范的表
        echo "Deleting invalid table: ${TABLE}"
        $BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "DROP TABLE IF EXISTS ${HIVE_DB}.${TABLE};"
    fi
done

echo " cleanup completed."

ps:上面的方案我是用的是beeline是因为集群直接使用hive -e 出来的表名很不规整。条件允许的可以直接用hive -e

对性能有要求的同学可能发现了，每次都要起一次beeline 客户端。效率堪忧。所以给出一个优化的方案。

方案二：

#!/bin/bash

# Hive 配置
HIVE_DB="cusc_tmp_tmp_test_bd"
BEELINE_CMD="beeline"
BEELINE_URL="jdbc:hive2://<hive_server_host>:<hive_server_port>"
BEELINE_USER="<your_username>"
BEELINE_PASSWORD="<your_password>"

# 获取当前日期
CURRENT_DATE=$(date +%Y%m%d)

# 准备SQL脚本
SQL_SCRIPT="/tmp/cleanup_tables.sql"

# 初始化SQL脚本
echo "USE ${HIVE_DB};" > "${SQL_SCRIPT}"

# 获取所有表名
TABLES=$($BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -e "SHOW TABLES IN ${HIVE_DB};")

# 正则表达式匹配表名格式
VALID_PATTERN="^temp_[^_]+_[^_]+_exp([0-9]{8})$"

# 遍历所有表
for TABLE in $TABLES; do
    if [[ $TABLE =~ $VALID_PATTERN ]]; then
        # 提取过期日期
        EXP_DATE=${BASH_REMATCH[1]}
        
        # 检查是否过期
        if [[ $CURRENT_DATE -gt $EXP_DATE ]]; then
            echo "DROP TABLE IF EXISTS ${TABLE};" >> "${SQL_SCRIPT}"
            echo "Marked for deletion: ${TABLE}"
        fi
    else
        # 删除不符合规范的表
        echo "DROP TABLE IF EXISTS ${TABLE};" >> "${SQL_SCRIPT}"
        echo "Marked for deletion (invalid name): ${TABLE}"
    fi
done

# 执行SQL脚本
$BEELINE_CMD -u "${BEELINE_URL}" -n "${BEELINE_USER}" -p "${BEELINE_PASSWORD}" --silent=true --showHeader=false -f "${SQL_SCRIPT}"

# 清理临时SQL文件
rm -f "${SQL_SCRIPT}"

echo "cleanup completed."