1.6分布式文件系统HDFS架构和分布式资源管理局YARN架构讲解

云计算 waitig 1481℃ 百度已收录 0评论

都是根据学习所作的笔记。方便日后查看。

HDFS是一个主从架构,那么就应该有主节点和从节点。NameNode是主节点,Datanode为从节点。

  *  NameNode是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等;NameNode的元数据中的一部分存放在内存中的,在进程当中,另一部分存放在本地磁盘(fsimage:镜像文件和edits:编辑日志)

  *  DataNode在本地文件系统存储文件块数据,以及块的校验和;

  *  SecondaryNameNode 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

YARN的架构图:


*ResourceManager:处理客户端请求;启动/监控ApplicationMaster;监控NodeManager;资源分配与调度

*ApplicationMaster:数据切分;为应用程序申请资源,并分配给内部任务;任务监控与容错

*NodeManager:单个节点上的资源管理;处理来自ResourceManager的命令;处理来自ApplicationMaster的命令

*Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息



本文由【waitig】发表在等英博客
本文固定链接:1.6分布式文件系统HDFS架构和分布式资源管理局YARN架构讲解
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)