hadoop学习日志

时间:2023-03-08 17:14:57

Hadoop思想之源:Google

  面对的数据和计算难题

    ——大量的网页怎么存储

    ——搜索算法

  带给我们的关键技术和思想

    ——GFS

    ——Map-Reduce

    ——Bigtable

  

Hadoop创始人介绍:

  Hadoop作者Doug cutting,就职Yahoo期间开发了Hadoop项目,目前在CLoudera公司从事架构工作。他不但是Hadoop项目的发起人,还是Lucene、Nutch项目的发起人。

          hadoop学习日志

Hadoop简介:

  ——名字来源于Hadoop之父Doug Cutting儿子的玩具大象。

  2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,一个微缩版:Nutch。

  Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份,Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入成为Hadoop的项目中。

  ——分布式存储系统HDFS(Hadoop Distributed File System)

    • 分布式存储系统;
    • 提供了:高可靠性、高扩展性和高吞吐率的数据存储服务;

  ——分布式计算框架Map-Reduce

    • 分布式计算框架
    • 具有易于编程、高容错性和高扩展性等优点。

 

HDFS优点:

  - 高容错性:

    • 数据自动保存多个副本
    • 副本丢失后,自动恢复(最少保留三份)

  - 高可靠性

    • Hadoop按位存储和处理数据的能力值得人们信赖

  - 高扩展性

    • Hadoop是在可用的计算机集簇间分配数据并完成计算任务,这些集簇可以方便地扩展到数以千计的节点中

  - 高效性:

    • Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快

  - 适合批处理:

    • 移动计算而非数据移动
    • 数据位置暴露给计算框架

  - 适合大数据处理:

    • GB、TB、甚至PB级数据
    • 百万规模以上的文件数量
    • 10K+节点

  - 可构建在廉价机器上:

    • 通过多副本提高可靠性
    • 提供了容错和回复机制

HDFS缺点:

  - 不适合低延迟数据访问:

    • 比如毫秒级
    • 低延迟于高吞吐率

  - 不适合小文件存取:

    • 占用NameNode大量内存
    • 寻道时间超过读取时间

  - 不支持并发写入、文件随机修改:

    • 一个文件只能有一个写者,不支持多用户写入及任意修改文件
    • 仅支持append(数据追加)

hadoop学习日志

HDFS数据存储元(block)

  - 文件被切分成固定大小的数据块

    • 默认数据块大小为64MB,可以配置
    • 若文件大小不到64MB,则单独存成一个bloce

  - 一个文件存储方式

    • 按大小被切分成若干个block,存储到不同节点上
    • 默认情况下每个block都有三个副本

  - Block大小和副本数通过Clien端上传文件时设置,文件上传成功后副本数可以变更,Block Size不可变更

HDFS设计思想:

hadoop学习日志

NameNode(NN):
  - NameNode主要功能:接受客户端的读写服务

  - NameNode保存metadata信息,包括:

    • 整个文件系统的目录信息
    • 文件owership(所有者)和permissions(权限)
    • 文件包含哪些block
    • 文件包含的Block保存在哪个DataNode(由DataNode启动时上报)

  - NameNode的metadata信息在启动后会加载到内存:

    • metadata存储到磁盘文件名为“fsimage”
    • Block的位置信息不会保存到“fsimage”
    • edits记录对metadata的操作日志

    

SecondaryNameNode(SNN):

  - 它不是NameNode的备份(但可以做备份),它的主要工作是帮助NameNode合并edits log,减少NameNode启动时间

  - SecondaryNameNode执行合并时机:

    • 根据配置文件设置的时间间隔fs.checkpoint.period默认3600秒
    • 根据配置文件设置edits log大小fs.checkpoint.size规定edits文件的最大值,默认是64MB

SecondaryNameNode合并流程:

hadoop学习日志

DataNode(DN):

  - 存储数据(block)

  - 启动DataNode线程的时候会向NameNode汇报block信息(block位置信息),保存到NameNode的metadata(fsimage文件)中

  - 通过向NameNode发送心跳保持与其联系(3秒一次),如果NameNode10分钟没有收到DataNode的心跳,则认为其已经lost,并copy其上的block到其他DataNode,以保证每个文件的每个Block至少保存有3个副本

Block的副本放置策略:

hadoop学习日志

HDFS写流程

hadoop学习日志

HDFS读流程

hadoop学习日志

HDFS文件权限:

  - 与Linux文件权限类似

    • r:read;w:write;x:execute,权限x对于文件忽略,对于文件夹表示是否允许访问其内容

  - 如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是张三

  - HDFS的权限目的:阻止好人做错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁

安全模式:

  - namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作

  - 一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志

  - 此刻namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的(显示目录,显示文件内容等。写、删除、重命名都会失败)。

  - 在此阶段Namenode手机各个datanode的报告,当数据块达到最小副本数以上时,会被认为是“安全”的,在一定比例(可以设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束

  - 当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由namenode维护的,而是以块列表形式存储在datanode中。

HDFS安装:

  完全分布式安装

    • 下载
    • 解压
    • 检查java和ssh的免密码登录
    • 修改core-site.xml
    • 修改hdfs-site.xml
    • 修改masters文件和slaves文件
    • 格式化namenode
    • start-hdfs.sh启动