当前位置： 首页 > article >正文

Hadoop——分布式计算MapReduce和资源调度Yarn

article 2024/11/14 20:19:27

分布式计算

在这里插入图片描述

MapReduce

在这里插入图片描述

YARN架构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

YARN集群部署

在这里插入图片描述
在这里插入图片描述

一、Hadoop安装目录下/etc/hadoop修改mapred-env配置文件，mapred-site.xml文件

在这里插入图片描述

二、etc/hadoop文件内，修改yarn-env.sh，yarn-site.xml
在这里插入图片描述
在这里插入图片描述

三、将配置好的文件分发到其他服务节点
在这里插入图片描述

start-dfs.sh

四、进程启动命令
在这里插入图片描述
通过jps命令查看
在这里插入图片描述

五、通过浏览器查看
在这里插入图片描述

切换到root，init 0进行关机，设定快照

提交MapReduce任务到Yarn
在这里插入图片描述

①、提交wordcount单词计数

Ⅰ：准备一个words.txt文件，并上传到HDFS中

vim words.txt 
hadoop fs -mkdir -p /input
hadoop fs -mkdir /output

hadoop fs -put words.txt /input/

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input/ hdfs://node1:8020/output/wc  # 确保输出文件夹不存在

在这里插入图片描述
查看输出结果
在这里插入图片描述

②、圆周率

在这里插入图片描述

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000

http://www.kler.cn/a/155224.html

相关文章：

  • 使用API有效率地管理Dynadot域名，编辑账户中whois联系人信息
  • 【VIM】vim 常用命令
  • 基于碎纸片的拼接复原算法及MATLAB实现
  • 鸿蒙next版开发：ArkTS组件点击事件详解
  • 前端垂直居中的多种实现方式及应用分析
  • 继承和多态(上)
  • 6-65.Shape抽象类
  • 【科技素养】蓝桥杯STEMA 科技素养组模拟练习试卷14
  • 第九节HarmonyOS 常用基础组件4-Button
  • Sharding-Jdbc（3）：Sharding-Jdbc分表
  • 微信小程序组件与插件有啥区别？怎么用？
  • Vue3 中el-tree-select使用中遇到的一些问题
  • SCAU:1125 定义结构体类型
  • 【Leetcode题单】（01 数组篇）刷题关键点总结01【数组的遍历】
  • java游戏攻略资讯网站的设计与实现springboot+vue
  • C 语言实现TCP 通信，以及地址复用
  • 《凤凰项目》读书笔记
  • LeetCode刷题笔记第80题：删除有序数组中的重复项 II
  • pandas基础1
  • 观察者设计模式
  • ZooKeeper 如何保证数据一致性？
  • 二叉树链式结构的实现和二叉树的遍历以及判断完全二叉树
  • CentOS配置本地源
  • Python 内置异常
  • 内存函数​（memcpy、memmove、memset、memcmp）
  • 奇葩问题：arp缓存、ip地址冲突（实际是ip地址被占用导致arp缓存出现问题）