作者:幻好
来源:恒生LIGHT云社区
HDFS (Hadoop Distributed File System) 是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
首先,通过名字就能很清楚的明白 HDFS 在 Hadoop 中是应该文件存储的组件。
HDFS 的设计之初,主要是考虑到在数据量的不断增长的环境下,由于受制单机资源有限,为了保证系统能够提供高可用、高可靠性以及高扩展等要求,于是通过分布式架构,以达到响应的需求。
HDFS 的主要架构分为三个部分:NameNode(nn)、DataNode(dn) 、Secondary NameNode(2nn)。
NameNode(nn)
DataNode
等。可以理解系统的文件资源管理器,方便我们查询文件存储位置以及相关属性信息。
DataNode(dn)
可以理解为通过NameNode是存储一些文件基本属性信息方便我们查询,而DataNode则是存储文件数据的。
Secondary NameNode(2nn)
HDFS
状态的辅助后台程序,每隔一段时间获取HDFS
元数据的快照Secondary NameNode可以理解为NameNode的备份,如果NameNode都挂了,Secondary NameNode的备份还能继续提供服务
一个 HDFS 集群由一个 NameNode
和一些 DataNode
组成, NameNode
相当于控制中心,负责管理文件系统的名字空间、数据块与数据节点的映射以及数据节点的调度。 DataNode
则负责处理实际的客户端读写的请求,存储数据。
NameNode
发起RPC
请求创建文件;NameNode
会校验用户权限并查询文件是否存在,最终创建一条元数据信息并返回存储的DataNode
信息给客户端;DataNode
上传数据,DataNode
会对数据进行切分并完成副本的创建;DataNode
会将数据复制到其他的节点上;RPC
调用NameNode
的查询方法;NameNode
会校验用户权限并查询文件是否存在,并将文件保存在DataNode
的节点返回;DataNode
发起读取的请求,获取数据;HDFS 的设计保证了系统的高可用、高扩展等要求,虽然也有弊端,但是我们应该根据切实的业务需求,选择最合适的技术方案。
HDFS 通过其良好的跨平台移植性,使得其他大数据计算框架都将其作为数据持久化存储的首选方案。
|