当前位置： 首页 > article >正文

Hadoop——分布式计算MapReduce和资源调度Yarn

article 2024/9/26 5:22:26

分布式计算

在这里插入图片描述

MapReduce

在这里插入图片描述

YARN架构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

YARN集群部署

在这里插入图片描述
在这里插入图片描述

一、Hadoop安装目录下/etc/hadoop修改mapred-env配置文件，mapred-site.xml文件

在这里插入图片描述

二、etc/hadoop文件内，修改yarn-env.sh，yarn-site.xml
在这里插入图片描述
在这里插入图片描述

三、将配置好的文件分发到其他服务节点
在这里插入图片描述

start-dfs.sh

四、进程启动命令
在这里插入图片描述
通过jps命令查看
在这里插入图片描述

五、通过浏览器查看
在这里插入图片描述

切换到root，init 0进行关机，设定快照

提交MapReduce任务到Yarn
在这里插入图片描述

①、提交wordcount单词计数

Ⅰ：准备一个words.txt文件，并上传到HDFS中

vim words.txt 
hadoop fs -mkdir -p /input
hadoop fs -mkdir /output

hadoop fs -put words.txt /input/

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input/ hdfs://node1:8020/output/wc  # 确保输出文件夹不存在

在这里插入图片描述
查看输出结果
在这里插入图片描述

②、圆周率

在这里插入图片描述

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000

http://www.kler.cn/news/155224.html

相关文章：

  • 6-65.Shape抽象类
  • 【科技素养】蓝桥杯STEMA 科技素养组模拟练习试卷14
  • 第九节HarmonyOS 常用基础组件4-Button
  • Sharding-Jdbc（3）：Sharding-Jdbc分表
  • 微信小程序组件与插件有啥区别？怎么用？
  • Vue3 中el-tree-select使用中遇到的一些问题
  • SCAU:1125 定义结构体类型
  • 【Leetcode题单】（01 数组篇）刷题关键点总结01【数组的遍历】
  • java游戏攻略资讯网站的设计与实现springboot+vue
  • C 语言实现TCP 通信，以及地址复用
  • 《凤凰项目》读书笔记
  • LeetCode刷题笔记第80题：删除有序数组中的重复项 II
  • pandas基础1
  • 观察者设计模式
  • ZooKeeper 如何保证数据一致性？
  • 二叉树链式结构的实现和二叉树的遍历以及判断完全二叉树
  • CentOS配置本地源
  • Python 内置异常
  • 内存函数​（memcpy、memmove、memset、memcmp）
  • 奇葩问题：arp缓存、ip地址冲突（实际是ip地址被占用导致arp缓存出现问题）
  • GEE：不同方向的线性检测算子
  • 【C语言学习疑难杂症】第9期:关于%*s以及%*d等的使用
  • 点云从入门到精通技术详解100篇-基于三维点云的工件曲面轮廓检测与机器人打磨轨迹规划（下）
  • Raft 算法
  • C# Onnx 阿里达摩院开源DAMO-YOLO目标检测
  • 采集工具-免费采集器下载
  • ARM架构基础简介
  • SCAU:各位数字
  • python 图书馆选座小程序源码
  • css如何设置文本添加下划线