dmsql日志分析工具部署与使用DM8/DM7

1 环境介绍

• cpu x86
• Os Kylin 10 , windos7
• dm8.1-3-162-2024.07.03-234060-20108-ENT
• 需要先配置smsql日志 sqllog
• dmsql 日志配置 - - 点击跳转
• dmsql日志分析工具 - - 点击下载

2 JAVA 环境变量配置

2.1 Os Kylin 10 JAVA 环境变量配置

• 系统若没自带的 jdk 则使用数据库自带的 jdk
• jdk 版本要求 1.8

vi /home/dmdba/.bash_profile

export JAVA_HOME=/opt/dmdba/dmdbms240712/jdk
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

• 环境变量生效

source /home/dmdba/.bash_profile

2.2 Windos7 JAVA环境变量配置

3 数据库配置

3.1 数据库初始化参数

• 页大小 32
• 簇大小 32
• 其他参数默认

3.2 数据库创建表

CREATE TABLE "SYSDBA"."LOG_COMMIT"
(
"STARTTIME" DATETIME(6),
"SESS" VARCHAR(500),
"SQLSTR" TEXT,
"EXETIME" FLOAT,
"SQLSTR_SUB" VARCHAR(8000),
"EUER" VARCHAR(100),
"OPTYPE" VARCHAR(30)) STORAGE(USING LONG ROW, ON "MAIN", CLUSTERBTR) ;
CREATE  INDEX "IDX_EXETIME_RESULT_2021_10_12_11_22_52" ON "SYSDBA"."LOG_COMMIT"("EXETIME" ASC) STORAGE(ON "MAIN", CLUSTERBTR) ;

4 配置DMLOG日志分析工具

4.1 Kylin v10 配置DMLOG日志分析工具

• 分析生成结果 web 页面可以正常打开

#分析非MPP产生的日志为0，MPP产生的日志为1
ismpp=0

#数据库IP地址
ip=192.168.100.51

#数据库端口号
port=5236

#数据库用户名
username=SYSDBA

#数据库密码
password=SYSDBA

#根据已存在的数据生成结果为1,根据LOG日志新生成数据为0
use_result=0

#SQL日志的文件夹绝对路径,并保证文件夹中只有SQL日志文件，路径请用两个反杠，
#例如：
#windows D:\\360Downloads\\log
#linux    /opt/dmdba/dmsql
sqlpath=/opt/dmdba/dmsql

#您想分析多少毫秒以上的SQL语句
time=0

#您想分析执行多少次以上的SQL语句
frequency=0

#此参数已废弃，excel中增加一列替换参数后的sql
is_replace=1

#参数队列的长度，默认4000，当出现找不到有效参数时可以适当加大此参数
queue_length=40000

#散点图中最大执行时间ms LEAST(exetime,2000) 
max_exetime=10000

#echarts散点图中最小执行时间ms(DML、SEL、UPD、INS、DEL,不包含DDL、CAL)
min_exetime=100

#取值范围(0~100),echart散点图中取小于min_exetime多少百分比的数据
e_percent=10

#是否生成excel的统计结果
if_excel=1

#日志表的表名
tab_name=log_commit
#此处填入待拆分的TRXID，将把该事务的日志单独写入文件中，如果非空则只做事务拆分，不做其他分析
trx_id=

#待分析事务的日志文件名，此处为空则分析整个文件夹中的所有文件
file_name=

#windows 执行命令 结果集文件会生成在命令执行目录
#java -jar C:\Users\GS\Desktop\tool\DMLOG8.17\Dmlog_DM_8.17.jar

#linux 执行命令 结果集文件会生成在命令执行目录
#java -jar Dmlog_DM_8.17.jar

4.2 执行日志分析

cd /opt/dmdba/DMLOG8.17;
java -jar Dmlog_DM_8.17.jar

• 执行结果是 RESULT_创建时间
  
  
• html / xls 可以参考
• xls
• ms 是执行时间 由高到低排序
• times 是执行次数 由高到低排序

4.3 Windows7 配置DMLOG日志分析工具

• 分析生成结果 web 页面无法打开
• 可以参考excel 结果

#分析非MPP产生的日志为0，MPP产生的日志为1
ismpp=0

#数据库IP地址
ip=192.168.100.51

#数据库端口号
port=5236

#数据库用户名
username=SYSDBA

#数据库密码
password=SYSDBA

#根据已存在的数据生成结果为1,根据LOG日志新生成数据为0
use_result=0

#SQL日志的文件夹绝对路径,并保证文件夹中只有SQL日志文件，路径请用两个反杠，
#例如：
#windows D:\\360Downloads\\log
#linux    /opt/dmdba/dmsql
sqlpath=C:\\Users\\GS\\Downloads\\dmlsql

#您想分析多少毫秒以上的SQL语句
time=0

#您想分析执行多少次以上的SQL语句
frequency=0

#此参数已废弃，excel中增加一列替换参数后的sql
is_replace=1

#参数队列的长度，默认4000，当出现找不到有效参数时可以适当加大此参数
queue_length=40000

#散点图中最大执行时间ms LEAST(exetime,2000) 
max_exetime=10000

#echarts散点图中最小执行时间ms(DML、SEL、UPD、INS、DEL,不包含DDL、CAL)
min_exetime=100

#取值范围(0~100),echart散点图中取小于min_exetime多少百分比的数据
e_percent=10

#是否生成excel的统计结果
if_excel=1

#日志表的表名
tab_name=log_commit
#此处填入待拆分的TRXID，将把该事务的日志单独写入文件中，如果非空则只做事务拆分，不做其他分析
trx_id=

#待分析事务的日志文件名，此处为空则分析整个文件夹中的所有文件
file_name=

#windows 执行命令 结果集文件会生成在命令执行目录
#java -jar C:\Users\GS\Desktop\tool\DMLOG8.17\Dmlog_DM_8.17.jar

#linux 执行命令 结果集文件会生成在命令执行目录
#java -jar Dmlog_DM_8.17.jar

4.4 执行日志分析

C:\Users\GS>java -jar C:\Users\GS\Desktop\tool\DMLOG8.17\Dmlog_DM_8.17.jar

• 执行结果是 RESULT_创建时间
  

• ms 是执行时间 由高到低排序
• times 是执行次数 由高到低排序