当前位置: 首页 > article >正文

hadoop之MapReduce:片和块

假如我现在500M这样的数据,如何存储?
500M = 128M + 128M + 128M + 116M  分为四个块进行存储。
计算的时候,是按照片儿计算的,而不是块儿。
块是物理概念,一个块就是128M ,妥妥的,毋庸置疑。
片是逻辑概念,一个片大约等于一个块。

假如我现在需要计算一个300M的文件,这个时候启动多少个MapTask任务?答案是有多少个片儿,就启动多少个任务。
一个片儿约等于 一个块,但是最大可以 128M*1.1倍= 140.8
300M 
128M  启动一个Map任务进行读取
172M  172M  和   128M * 1.1 =140.8M 进行比较,如果大于 ,继续进行切割
128M  启动一个任务Map任务
剩余44M   剩余的44M 和  128M*1.1倍比较,小于这个值,剩余的44M 就单独起一个Map任务
300m的数据,分给了3个MapTask任务进行处理。

如果是260M的数据,由多少个Map任务处理?
128M   第一个任务
132M   跟 128M * 1.1 进行比较,发现小于这个值,直接一个Map任务搞定,不在启动第三个任务了。

 比如班里的同学一起搬砖,每人规定搬3块,假定砖还剩4块,到某个同学了,他就直接搬完即可,没必要让另一个同学因为一块砖,而专门跑一趟。

 1、什么是片,什么是块?
块是物理概念,片是逻辑概念。一般片 = 块的,但是到最后一次的时候,有可能片> 块,但是绝对不能超过块的1.1倍。
2、mapreduce 启动多少个MapTask任务?
跟片有关系,有多少个片,就启动多少个map任务。跟块儿无关。


http://www.kler.cn/a/544385.html

相关文章:

  • 一. vue2和vue3的Proxy底层源码详细拆解
  • Mac之JDK安装
  • kbengine服务器和 数据库 系统路径配置
  • Dockerfiles 的 Top 10 常见 DevOps/SRE 面试问题及答案
  • springCloud-2021.0.9 之 GateWay 示例
  • java韩顺平最新教程,Java工程师进阶
  • 分发饼干(力扣455)
  • Spring Cloud Gateway:构建高效微服务网关的利器
  • 3.Excel:销售主管大华-前两季度-销售情况❗(16)
  • 排序函数集合:冒泡排序、选择排序、插入排序、快速排序、归并排序、桶排序
  • 如何使用 CSS 隐藏元素
  • 【MySQL例题】我在广州学Mysql 系列——有关数据备份与还原的示例
  • excel 日期转换
  • 比亚迪“璇玑架构”全面接入DeepSeek
  • 《只狼》运行时提示“mfc140u.dll文件缺失”是什么原因?要怎么解决?
  • git客户端版本下载
  • 01docker run
  • 【ROS2综合案例】乌龟跟随
  • This dependency was not found: * @logicflow/core/dist/LogicFlow.css
  • 解决 idea 无法创建java8 模版
  • 详解 JavaScript 中 fetch 方法
  • 【CXX-Qt】0 Rust与Qt集成实践指南(CXX-Qt)
  • 关闭浏览器安全dns解决访问速度慢的问题
  • 基于JAVA的牙科诊所管理系统的设计与实现(LW+源码+讲解)
  • RocketMQ的缺点是什么?Kafka的缺点是什么?使用场景有什么区别?
  • 技术革新让生活更便捷