当前位置: 首页 > article >正文

Hive企业级调优[2]—— 测试用表

目录

 测试用表

 订单表 (2000万条数据)

 支付表 (600万条数据)

 商品信息表 (100万条数据)

 省份信息表 (34条数据)


 测试用表

 订单表 (2000万条数据)

1)表结构

id (订单id)user_id (用户id)product_id (商品id)province_id (省份id)create_time (下单时间)product_num (商品件数)total_amount (订单金额)
100000011254423541500319912020-06-14 03:54:293100.58
100000021927584051721036712020-06-14 01:19:478677.18

2)建表语句

hive (default)> 
drop table if exists order_detail;
 create table order_detail(
     id           string comment '订单id',
     user_id      string comment '用户id',
     product_id   string comment '商品id',
     province_id  string comment '省份id',
     create_time  string comment '下单时间',
     product_num  int comment '商品件数',
     total_amount decimal(16, 2) comment '下单金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

order_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

hive (default)> load data local inpath '/opt/module/hive/datas/order_detail.txt' overwrite into table order_detail partition(dt='2020-06-14');
 支付表 (600万条数据)

1)表结构

id (支付id)order_detail_id (订单id)user_id (用户id)payment_time (支付时间)total_amount (订单金额)
10000001174030421315087582020-06-14 13:55:44391.72
10000002191988841330180752020-06-14 08:46:23657.10

2)建表语句

hive (default)> 
drop table if exists payment_detail;
 create table payment_detail(
     id              string comment '支付id',
     order_detail_id string comment '订单明细id',
     user_id         string comment '用户id',
     payment_time    string comment '支付时间',
     total_amount    decimal(16, 2) comment '支付金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

payment_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

hive (default)> load data local inpath '/opt/module/hive/datas/payment_detail.txt' overwrite into table payment_detail partition(dt='2020-06-14');
 商品信息表 (100万条数据)

1)表结构

id (商品id)product_name (商品名称)price (价格)category_id (分类id)
1000001CuisW4517.00219
1000002TBtbp9357.00208

2)建表语句

hive (default)> 
drop table if exists product_info;
 create table product_info(
     id           string comment '商品id',
     product_name string comment '商品名称',
     price        decimal(16, 2) comment '价格',
     category_id  string comment '分类id'
 )
 row format delimited fields terminated by '\t';

3)数据装载

product_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

hive (default)> load data local inpath '/opt/module/hive/datas/product_info.txt' overwrite into table product_info;
 省份信息表 (34条数据)

1)表结构

id (省份id)province_name (省份名称)
1北京
2天津

2)建表语句

hive (default)> 
drop table if exists province_info;
 create table province_info(
     id            string comment '省份id',
     province_name string comment '省份名称'
 )
 row format delimited fields terminated by '\t';

3)数据装载

province_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

hive (default)> load data local inpath '/opt/module/hive/datas/province_info.txt' overwrite into table province_info;

注:需要下载源数据的,评论区私俺 


http://www.kler.cn/news/316238.html

相关文章:

  • 生动好看的css卡片样式
  • pytorch 48 基于voc2012数据集对yolov10s模型进行剪枝尝试
  • 【JavaEE初阶】文件IO(上)
  • 阿里云kafka消息写入topic失败
  • 【Nginx】Nginx 使用 SSL 的详细指南
  • 内核是如何发送数据包
  • Python国产新 ORM 框架 fastzdp_sqlmodel 快速入门教程
  • AI时代保持并提升自身的核心竞争力
  • 常⻅中间件漏洞(WebLogic)靶场
  • 树莓派pico上手
  • 构建高可用和高防御力的云服务架构第五部分:PolarDB(5/5)
  • 今日leetCode 反转字符串
  • 第二证券:股价为什么出现大跌?股价大跌时怎么办?
  • 网安开发:杭州某科技银行面经和答案
  • 轻松获取京东商品信息:商品详情API接口使用教程
  • 关系数据库和非关系数据库
  • 信息安全数学基础(15)欧拉定理
  • 8--SpringBoot原理分析、注解-详解(面试高频提问点)
  • 【Python机器学习】NLP信息提取——值得提取的信息
  • Fyne ( go跨平台GUI )中文文档- 扩展Fyne (七)
  • 是什么推动了今年CSP-J/S报名人数的再创新高?
  • 【AI创作组】Matlab绘图基础之plot函数
  • [Redis][String][上]详细讲解
  • 使用Flink命令行和Java API远程提交Flink任务到Yarn
  • DOM XMLHttpRequest
  • yolov5/8/9/10模型在VOC数据集上的应用【代码+数据集+python环境+GUI系统】
  • 如何切换npm到淘宝的最新镜像源?
  • AIoT应用开发:给机器人接入‘记忆‘,完美解决「和谁对话多轮对话」!附 SQLite 入门实战
  • 数据库DML语句详解与实践
  • 金融行业中如何利用数据中台的数据来有效的驱动业务决策呢?