hadoop技术栈的基本启停命令

前言

Hadoop技术栈是一套用于处理大规模数据集的开源软件框架。它包括Hadoop核心组件、HBase和Hive等。本文将详细介绍如何通过命令行启动和停止这些组件，以便更好地管理和维护大数据平台。

技术栈包括：

1. Zookeeper

Zookeeper是分布式协调服务，为Hadoop生态系统中的其他组件提供配置管理和服务发现功能。

启动：

cd /u01/zookeeper
./zkServer.sh start

停止：

./zkServer.sh stop

重启：

./zkServer.sh restart

查看状态：

./zkServer.sh status

2. Hadoop

Hadoop的核心组件包括HDFS（分布式文件系统）和YARN（资源管理器）。以下是常见的Hadoop组件启动和停止命令：

启动所有Hadoop服务：

cd /u01/hadoop/sbin
start-all.sh

停止所有Hadoop服务：

stop-all.sh

单独启动/停止DataNode节点：

hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode

单独启动/停止NameNode节点：

hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode

单独启动/停止JournalNode节点：

hadoop-daemon.sh start journalnode
hadoop-daemon.sh stop journalnode

单独启动/停止NodeManager节点：

yarn-daemon.sh start nodemanager
yarn-daemon.sh stop nodemanager

单独启动/停止ResourceManager节点：

yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager

3. HBase

HBase是一个分布式的、面向列的开源数据库，建立在Hadoop之上。

启动HBase集群：

cd /u01/hadoop/hbase/bin
start-hbase.sh

停止HBase集群：

stop-hbase.sh

单独启动/停止HBase Master节点：

hbase-daemon.sh start master
hbase-daemon.sh stop master

单独启动/停止HBase RegionServer节点：

hbase-daemon.sh start regionserver
hbase-daemon.sh stop regionserver

4. Hive

Hive是一个基于Hadoop的数据仓库工具，用于查询和管理分布式存储中的大型数据集。

启动Metastore服务：

cd /u01/hadoop/hive
nohup bin/hive --service metastore 2>&1 >> logs/metastore.log &

启动HiveServer2服务：

nohup bin/hive --service hiveserver2 2>&1 >> logs/hiveserver2.log &

停止Hive服务： 由于Hive服务通常是通过后台进程运行的，可以使用ps命令找到相关进程并使用kill命令终止它们。例如：

ps aux | grep hive
kill -9 <PID>