Hive之正则表达式

Hive版本：hive-3.1.2

目录

一、Hive的正则表达式概述

1.1 字符集合

1.2 边界集合  

1.3 量词（重复次数）集合 

1.4  转义操作符

1.5 运算符优先级

二、Hive 正则表达式案例 

2.1 like 

2.2 rlike

2.3 regexp

2.4 regexp_replace正则替换

2.5 regexp_extract正则提取

2.6、hive实现Oracle中的REGEXP_SUBSTR

三、完整代码示例

场景：清洗日志数据 

四、注意事项

五、常用正则模式 

六、工作中高频使用

1、数据清洗（脱敏、格式转换）

2、日志解析（提取关键信息）

3、URL参数解析（电商/广告分析）

4、电话号码格式校验（金融/电信）

七、Hive正则核心函数强化

1、REGEXP_EXTRACT 动态提取 

2、REGEXP_REPLACE 复杂替换

3、RLIKE 多条件过滤

一、Hive的正则表达式概述

正则表达式是一种用于匹配和操作文本的强大工具，它是由一系列字符和特殊字符组成的模式，用于描述要匹配的文本模式。Hive 支持基于正则表达式的字符串处理，常用于数据清洗、模式匹配和文本提取 ，本篇文章主要对hive正则表达式的总结归纳。

Hive支持如下正则表达式：

• like
• rlike
• regexp
• regexp_extract
• regexp_replace

1.1 字符集合

1.2 边界集合  

1.3 量词（重复次数）集合 

1.4  转义操作符

1.5 运算符优先级

正则表达式从左到右进行计算，并遵循优先级顺序。相同优先级的从左到右进行运算，不同优先级的运算先高后低。下表从最高到最低说明了各种正则表达式运算符的优先级顺序：

举例：\d{2,3}|[a-z]+(abc)* 的运算顺序

• \d{2,3} 匹配两到三个数字
• | 表示或
• [a-z]+ 匹配一个或多个小写字母
• (abc)* 匹配零个或多个 "abc"

二、Hive 正则表达式案例 

2.1 like 

• 语法1: A like B    
• 语法2: like(A, B)
• 操作类型: strings
• 返回类型：boolean或null
• 描述：如果字符串A或者字符串B为null，则返回null；如果字符串A符合表达式B 的正则语法，则为true；否则为false。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。

-- 举例：

select 'ahngnfg' like '%nfg'  --> true （%nfg也可以理解为以'nfg'结尾的字符）

select 'ahngnfg' like 'nfg%'  --> false（nfg%也可以理解为以'nfg'开头的字符）

select 'ahngnfg' like '%nfg%'  --> true （%nfg% 也可以理解为包含'nfg'的字符）

2.2 rlike

• 语法1: A rlike B
• 语法2: rlike (A, B)
• 操作类型: strings
• 返回类型: boolean或null
• 描述: 如果字符串A或者字符串B为null，则返回null；如果字符串A符合JAVA正则表达式B的正则语法，则为true；否则为false。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。

java正则：

"." 任意单个字符
"*" 匹配前面的字符0次或多次
"+" 匹配前面的字符1次或多次
"?" 匹配前面的字符0次或1次
"\d" 匹配一个数字字符,等于[0-9],使用的时候写成'\\d'
"\D" 匹配一个非数字字符,等于[^0-9],使用的时候写成'\\D'

-- 举例：
select '2314' rlike '\\d+';  --> true
select 'numrqe' rlike '^num'; --> true

2.3 regexp

• 语法1: A regexp B
• 语法2: regexp (A, B)
• 操作类型: strings
• 返回类型: boolean或null
• 描述: 功能与rlike相同

with tmp1 as
(
select '12325abc' as rn
union all
select 'b91256ab56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '\\d{5}';

-- 匹配开头有3个及以上连续数字的字符
with tmp1 as
(
select '12325abc' as rn
union all
select '91fe56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '^\\d{3}';

-- 匹配开头只有3个连续数字的字符
with tmp1 as
(
select '12325abc' as rn
union all
select '912fe56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '^\\d{3}\\D';

2.4 regexp_replace正则替换

 判断字符串是否匹配正则表达式模式（返回布尔值）

REGEXP_REPLACE(string, pattern, replacement)

replacement：替换后的字符串，可使用 $n 引用捕获组

-- 举例：

select regexp_replace('h234ney', '\\d+', 'fd'); --> hfdney

-- 隐藏手机号中间4位
SELECT REGEXP_REPLACE('电话: 13812345678', '(\\d{3})\\d{4}(\\d{4})', '$1****$2');
-- 输出: 电话: 138****5678

2.5 regexp_extract正则提取

 从字符串中提取符合正则表达式模式的子字符串。

REGEXP_EXTRACT(string, pattern, index)

• string：原始字符串

• pattern：正则表达式模式

• index：捕获组的索引（从 1 开始）

-- 提取手机号中的前3位（运营商号段）
SELECT REGEXP_EXTRACT('用户电话: 13812345678', '(\\d{3})\\d{8}', 1); 
-- 输出: 138

select regexp_extract('honeymoon', 'hon(.*?)(oon)', 0); --> honeymoon
select regexp_extract('honeymoon', 'hon(.*?)(oon)', 1); --> eym
select regexp_extract('honeymoon', 'hon(.*?)(oon)', 2); --> oon

2.6、hive实现Oracle中的REGEXP_SUBSTR

oracle：

SELECT REGEXP_SUBSTR('订单时间:2023-10-05 12:30', '\d{4}-\d{2}-\d{2}') FROM dual

首先需要清楚regexp_substr()的作用，先看官方解释REGEXP_SUBSTR通过允许您在字符串中搜索正则表达式模式来扩展功能的功能。它也与相似REGEXP_INSTR，但是它不返回子字符串的位置，而是返回子字符串本身。如果您需要匹配字符串的内容，而不是它在源字符串中的位置，则此功能很有用。该函数返回的字符串形式为VARCHAR2或，并且CLOB数据的字符集与相同source_char。
接下来对函数中的各个参数进行说明：

REGEXP_SUBSTR(source_char, pattern, position, occurrence, match_parameter)

1、source_char：通常是用作正则处理的字符串

2、pattern：[正则表达式](https://www.runoob.com/regexp/regexp-tutorial.html)

3、position：正整数，指示source_char应该在哪里开始搜索的字符。默认值为1，表示从第一个字符开始搜索source_char。

4、occurrence：获取第几个分割出来的组。默认值为1，表示Oracle搜索的第一个匹配项pattern。

5、match_parameter：模式（‘i’不区分大小写进行检索；‘c’区分大小写进行检索。默认为’c’）针对的是正则表达式里字符大小写的匹配

再来看hive中regexp_extract()函数描述：

regexp_extract(str, regexp[, idx]) 

参数解释:

其中：
1、str是被解析的字符串

2、regexp 是正则表达式

2.1、idx是返回结果 取表达式的哪一部分 默认值为1。

2.2、0表示把整个正则表达式对应的结果全部返回

2.3、1表示返回正则表达式中第一个() 对应的结果 以此类推

注意点：

要注意的是idx的数字不能大于表达式中()的个数。否则报错。

通过对比oracle中的REGEXP_SUBSTR()函数不难看出，再对regexp_extract()的结果进行截取即可。 

例如：

--oracle中的语句是：
select REGEXP_SUBSTR('cvdfer--gth--mn','[^--]+',1,2) from dual;

--hive改写后：
select nvl(split('cvdfer--gth--mn','--')[1],'cvdfer--gth--mn');

--提取第一个匹配的字符串
oracle中：select REGEXP_SUBSTR('cvdfer--gth--mn','[^--]+',1,1) from dual;
select regexp_extract('cvdfer--gth--mn','[^--]+',0);


--oralce：
SELECT REGEXP_SUBSTR('订单时间:2023-10-05 12:30', '\d{4}-\d{2}-\d{2}') FROM dual

--hive改写后：
SELECT split((split('订单时间:2023-10-05 12:30',':')[1]),' ')[0];
select regexp_extract('订单时间:2023-10-05 12:30','\\d{4}-\\d{2}-\\d{2}',0);

三、完整代码示例

场景：清洗日志数据 

-- 创建示例表
CREATE TABLE server_logs (
  log_id INT,
  log_message STRING
);

-- 插入数据
INSERT INTO server_logs VALUES
(1, 'Error: Disk full on /dev/sda1 (IP: 192.168.1.10)'),
(2, 'User login: alice@example.com from 10.0.0.5'),
(3, 'WARN: Memory usage 90% (host: server-01)');

-- 提取所有IP地址
SELECT 
  log_id,
  REGEXP_EXTRACT(log_message, '(\\d+\\.\\d+\\.\\d+\\.\\d+)', 1) AS ip_address
FROM server_logs
WHERE log_message RLIKE '\\d+\\.\\d+\\.\\d+\\.\\d+';

-- 结果：
-- log_id | ip_address
-- 1      | 192.168.1.10
-- 2      | 10.0.0.5

四、注意事项

1. 转义字符：Hive 使用 Java 正则语法，需对反斜杠 \ 双重转义（如 \\d 匹配数字）。

2. 性能：复杂正则可能影响查询效率，建议预处理数据。

3. 模式贪婪性：默认贪婪匹配，使用 ? 启用非贪婪模式（如 .*?）。

4. 捕获组：使用 () 定义捕获组，通过索引引用（如 $1）。

五、常用正则模式 

六、工作中高频使用

1、数据清洗（脱敏、格式转换）

需求：隐藏用户手机号中间4位，并提取邮箱用户名。

-- 示例数据：user_info表字段 user_contact = '13812345678,alice@example.com'
SELECT 
  REGEXP_REPLACE(regexp_extract('13812345678,alice@example.com', '^\\d+', 0), '(\\d{3})\\d{4}(\\d{4})', '$1****$2') AS phone_mask,  -- 脱敏手机号
  REGEXP_EXTRACT('13812345678,alice@example.com', '([A-Za-z0-9._%+-]+)@', 1) AS email_user            -- 提取邮箱用户名

-- 结果：
-- phone_mask      | email_user
-- 138****5678     | alice

2、日志解析（提取关键信息）

需求：从服务器日志中提取IP、时间戳和错误级别。

-- 示例日志：'2023-10-05 14:30:22 [ERROR] Failed to connect from 192.168.1.105'
SELECT 
  REGEXP_EXTRACT(log_line, '(\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2})', 1) AS log_time,
  REGEXP_EXTRACT(log_line, '\\[(WARN|ERROR|INFO)\\]', 1) AS log_level,
  REGEXP_EXTRACT(log_line, '(\\d+\\.\\d+\\.\\d+\\.\\d+)', 1) AS client_ip
FROM server_logs
WHERE log_line RLIKE '\\[(WARN|ERROR|INFO)\\]';  -- 过滤包含日志级别的行

3、URL参数解析（电商/广告分析）

需求：从URL中提取商品ID或广告渠道参数。

-- 示例URL：'https://shop.com/product?id=12345&source=wechat'
with user_clicks as (
select 
 'https://shop.com/product?id=12345&source=wechat' url
)
SELECT 
  REGEXP_EXTRACT(url, 'id=(\\d+)', 1) AS product_id,           -- 提取id参数
  REGEXP_EXTRACT(url, 'source=([a-zA-Z]+)', 1) AS ad_source     -- 提取source参数
FROM user_clicks;

4、电话号码格式校验（金融/电信）

需求：校验手机号是否为合法中国11位号码。

-- 匹配规则：以13/14/15/17/18/19开头的11位数字
with customer_contacts as (
select '13812345678' phone_number
union all
select '123456' phone_number
)
SELECT 
  phone_number,
  CASE WHEN phone_number RLIKE '^1[3-9]\\d{9}$' THEN 'Valid' ELSE 'Invalid' END AS check_result
FROM customer_contacts;

七、Hive正则核心函数强化

1、REGEXP_EXTRACT 动态提取 

-- 提取JSON字符串中的指定字段（非标准JSON场景）
-- 示例数据：'{"order_id": "A1001", "amount": 299.5}'
with order_logs as (
select '{"order_id": "A1001", "amount": 299.5}' json_str
)
SELECT 
  REGEXP_EXTRACT(json_str, '"order_id":\\s*"([^"]+)"', 1) AS order_id,  -- 提取A1001
  REGEXP_EXTRACT(json_str, '"amount":\\s*(\\d+\\.?\\d*)', 1) AS amount  -- 提取299.5
FROM order_logs;

2、REGEXP_REPLACE 复杂替换

-- 清理文本中的乱码（如替换非数字、字母、中文以外的字符）
with unstructured_data as (
select '用户#@!名：张三_2023' raw_text
)
SELECT 
  REGEXP_REPLACE(raw_text, '[^\\u4e00-\\u9fa5a-zA-Z0-9]', '') AS cleaned_text 
FROM unstructured_data;

-- 输入：'用户#@!名：张三_2023' → 输出： '用户名张三2023'

3、RLIKE 多条件过滤

-- 筛选包含“支付成功”或“订单完成”的日志（金融风控）
SELECT *
FROM transaction_logs
WHERE log_message RLIKE '支付成功|订单完成';

参考文章

(06)Hive——正则表达式_hive正则表达式-CSDN博客