关于OceanBase与CDH适配的经验分享
CDH是Cloudera早期推出的一个开源平台版本，它实质上成为了Apache Hadoop生态系统内公认的安装与管理平台，专为企业级需求量身打造。CDH为用户提供了即装即用的企业级解决方案。通过整合Hadoop与另外十多项关键开源项目，Cloudera构建了一个功能强大的系统，能够支持从端到端的大数据工作流处理。CDH的免费版本在6.3.2版本后停止了更新，转而专注于商业版本的发布。尽管如此，许多企业仍选择利用该免费版本的CDH成功部署了Hadoop大数据平台。
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。
1、前言
CDH的配置库支持Mysql，Oracle及postgresql数据库，大部分公司使用的是Mysql作为CDH的配置库，在高可用场景中，Mysql容易成为单点故障的关键点，而OceanBase天然具备高可用特性，有必要研究切换CDH的配置库为OceanBase，如此就有了这篇文章。
2、遇到的问题
问题一：在安装启动CM启动过程中，第一步将初始化配置数据库SQL的时候，有检查数据库的引擎，必须是InnoDB，如图1，原因是OB执行show engines返回的是OceanBase，如图2。（OB数据库可定制show engines输出来支持就好了）
图1-CM启动报错图
图2-OB执行show engines
问题2：通过重新编译源码，绕过CM对数据库引擎检查后，报不支持连续修改的错误，报错见图3-1及图3-2，原因是OB作为分布式数据库，为分布式一致性不支持连续执行ddl修改操作，需分步骤执行才能成功，如图4。（OB数据库能社加个开关支持连续修改就好了）
图3-1，通过逗号连接，连续修改数据库表报错-1
图3-2连续修改数据库表，上条未执行完执行下一条报错
图4-需改造CM的ddl语句
应对以上两个问题，经和社区大佬分析、评估及指导后，做出以下两个解决方案：
- 修改OB源码，编译并安装修改后的Observer，绕过CM的show engines的检查；
- 修改CM的ddl，绕过OB不支持连续执行的ddl；
下面以此操作步骤为线，记录这个过程。
3、编译OceanBase、安装和租户创建
1. 下载源码
git clone https://github.com/oceanbase/oceanbase.git2. 修改源码
vim src/observer/virtual_table/ob_all_virtual_engine_table.cpp第58行OceanBase改为InnoDB，如图5
图5-OceanBase改为InnoDB
3. 编译源码
编译流程见 编译方法 ，编译后新的RPM包在oceanbase/build_rpm目录下，RPM包见图6
图6-编译后的RPM包
4. 安装及启动
安装oceanbase-ce-4.1.0.0-1.el7.x86_64.rpm
rpm -ivh oceanbase-ce-4.1.0.0-1.el7.x86_64.rpm拷贝安装目录bin下observer文件，使用OBD部署一个4.0环境，替换bin下observer文件为新文件，并启动，如图7；修改后的show engines如图8
图7-启动OB
图8-show engine
5. 准备用于安装CDH的租户及用户
登录系统root，并创建租户
CREATE RESOURCE UNIT unit001 MAX_CPU 8,MEMORY_SIZE '10G';
CREATE RESOURCE POOL pool001 UNIT='unit001',UNIT_NUM=1,ZONE_LIST=('zone1');
CREATE TENANT IF NOT EXISTS cdh
CHARSET='utf8mb4',
PRIMARY_ZONE='zone1',
RESOURCE_POOL_LIST=('pool001')
SET ob_tcp_invited_nodes='%';
登录租户root，并准备用户 bigdata 密码 Bigdata@cdh_test，并创建cmdb数据库和hive数据库
alter user root identified by 'Root@cdh_test' ;
CREATE USER 'bigdata' IDENTIFIED BY 'Bigdata@cdh_test';
CREATE DATABASE cmdb
DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON *.* TO bigdata WITH GRANT OPTION;4、安装CDH并配置CM
（省略1千字的安装过程）
tar -zxvf cm6.3.1-redhat7.tar.gz
cd /home/shaqf/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
1. 修改数据库配置文件
vim /etc/cloudera-scm-server/db.properties内容
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.21.17:2881
com.cloudera.cmf.db.name=cmdb
com.cloudera.cmf.db.user=bigdata@cdh
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=Bigdata@cdh_test启动CM
service cloudera-scm-server restart查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图9
图9-执行ddl报错
2. 修改ddl
修改/opt/cloudera/cm/schema/mysql下的所有ddl文件，修改如图4；
这里使用java进行批量修改，代码如下：
import java.io.*;
import java.util.HashSet;
import java.util.Set;
public class StartMain {
public static void main(String[] args) throws Exception {
File pathFile = new File("C:\\Users\\sha\\Desktop\\mysql\\");
Set<File> fileSet = new HashSet<>();
findFiles(pathFile, fileSet);
for (File file:fileSet) {
RandomAccessFile raf = new RandomAccessFile(file,"r");
String line = null;
String preLine = null;
StringBuffer sbfDDL = new StringBuffer();
while ((line = raf.readLine()) != null){
if(line.trim().startsWith("alter table ")){
preLine = line;
sbfDDL.append(line);
sbfDDL.append("\n");
} else if (line.trim().startsWith("add index ") && line.trim().endsWith(",")){
line = line.replaceAll(",",";");
sbfDDL.append(line);
sbfDDL.append("\n");
sbfDDL.append(preLine);
sbfDDL.append("\n");
} else {
sbfDDL.append(line);
sbfDDL.append("\n");
}
}
BufferedWriter bufWriter = null;
try {
bufWriter = new BufferedWriter(new FileWriter(file, false));// 覆盖
bufWriter.write(sbfDDL.toString());
bufWriter.flush();
} catch (Exception e) {
e.printStackTrace();
} finally {
if (bufWriter != null) {
try {
bufWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
private static void findFiles(File file, Set<File> files) {
if (file.isDirectory()) {
File[] fileArray = file.listFiles();
if (fileArray != null) {
for (int i = 0; i < fileArray.length; i++) {
findFiles(fileArray[i], files);
}
}
} else {
files.add(file);
}
}
}上传修改后的ddl，清空cmdb数据库，再次执行重启任务，有关命令如下
drop database cmdb;
CREATE DATABASE cmdb
DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
service cloudera-scm-server restart查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图9
图9-ddl报错
3. 继续修改ddl
继续修改/opt/cloudera/cm/schema/mysql下的所有ddl文件，修改如图4；
这里使用java到Linux上进行批量修改，代码如下：
import java.io.*;
import java.util.HashSet;
import java.util.Set;
public class StartMain {
public static void main(String[] args) throws Exception {
File pathFile = new File("/opt/cloudera/cm/schema/mysql");
Set<File> fileSet = new HashSet<>();
findFiles(pathFile, fileSet);
for (File file:fileSet) {
RandomAccessFile raf = new RandomAccessFile(file,"r");
String line = null;
String preLine = null;
StringBuffer sbfDDL = new StringBuffer();
boolean isAlterLine = false;
while ((line = raf.readLine()) != null){
if(line.trim().startsWith("alter table ")){
preLine = line;
sbfDDL.append(line);
sbfDDL.append("\n");
isAlterLine = true;
} else if (line.trim().startsWith("add ") && line.trim().endsWith(",")){
line = line.replaceAll(",","; select sleep(1); ");
sbfDDL.append(line);
sbfDDL.append("\n");
sbfDDL.append(preLine);
sbfDDL.append("\n");
} else if (line.trim().startsWith("modify ") && line.trim().endsWith(",")){
line = line.replaceAll(",","; select sleep(1); ");
sbfDDL.append(line);
sbfDDL.append("\n");
sbfDDL.append(preLine);
sbfDDL.append("\n");
} else if (line.trim().startsWith("drop ") && line.trim().endsWith(",")){
line = line.replaceAll(",","; select sleep(1); ");
sbfDDL.append(line);
sbfDDL.append("\n");
sbfDDL.append(preLine);
sbfDDL.append("\n");
} else {
if(isAlterLine && line.trim().endsWith(";")){
line = line.replaceAll(";","; select sleep(1); ");
}
sbfDDL.append(line);
sbfDDL.append("\n");
}
}
BufferedWriter bufWriter = null;
try {
bufWriter = new BufferedWriter(new FileWriter(file, false));// 覆盖
bufWriter.write(sbfDDL.toString());
bufWriter.flush();
} catch (Exception e) {
e.printStackTrace();
} finally {
if (bufWriter != null) {
try {
bufWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
private static void findFiles(File file, Set<File> files) {
if (file.isDirectory()) {
File[] fileArray = file.listFiles();
if (fileArray != null) {
for (int i = 0; i < fileArray.length; i++) {
findFiles(fileArray[i], files);
}
}
} else {
files.add(file);
}
}}
修改ddl文件：
vim 05021_cmf_schema.mysql.ddl
vim 05300_cmf_schema.mysql.ddl
分别注释掉下面两行（05021_cmf_schema.mysql.ddl新增IDX_CLIENT_CONFIG_HOST索引，05300_cmf_schema.mysql.ddl又删除IDX_CLIENT_CONFIG_HOST索引，而05300_cmf_schema.mysql.ddl删除索引会报错）
--alter table CLIENT_CONFIGS
-- add index IDX_CLIENT_CONFIG_HOST (HOST_ID); select sleep(1);
-- alter table CLIENT_CONFIGS
-- drop index IDX_CLIENT_CONFIG_HOST; select sleep(1);如图-10修复所有即建索引又指定主键的ddl
图-10 在建表时不能即建索引又指定主键（修复方法：索引单独创建）
确保ddl修改完成后，清空cmdb数据库，再次执行重启任务，有关命令如下
drop database cmdb;
CREATE DATABASE cmdb DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
service cloudera-scm-server restart查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图-11，报错不影响接入系统（后续得观察运行稳定性）
图-11 启动报错
5、登录系统
登录地址：http://192.168.25.47:7180/ 如图-12
图-12 成功接入CM