hdfs1.0和2.0副本放置策略的区别

如题所述

第1个回答  2017-06-06
Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:
l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;
l MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的组件,并更名为YARN(Yet Another Resource Negotiator)。

3.4 HDFS存储原理
放在和第一副本不同的机架的节点上 。如下图中DataNode4,它和DataNode1在不同机架上 3. 第三副本放置策略:放在和第一副本相同的机架的其他节点。如图中的DataNode2或DataNode3 4. 更多副本存放策略:全部随机放置(依靠随机算法)5、数据读取 原则:就近读取 ——HDFS提供一个API可以告诉数据节点的机...

Pangu – The High Performance Distributed File System by Alibaba...
阿里云盘古2.0的基本介绍,整体分为三层:软硬件集成层,与硬件交互,独立完成新硬件、新媒体的快速导入;存储引擎进行数据持久化;核心基础层,负责元数据管理、数据的放置、一致性、可靠性、多副本协议、EC等功能。核心架构和HDFS相似。

相似回答