大数据学习3——分布式文件系统HDFS
一、HDFS简介 HDFS的全称是Hadoop Distributed File System，分布式文件系统。 1.HDFS的文件系统结构： 2.HDFS实现目标：兼容廉价的硬件设备、实现流数据的读写、支持大数据集、支持简单的文件模型、强大的跨平台兼容性 ...
Hadoop HDFS概念学习系列之HDFS源代码结构（十四）
了解了HDFS体系结构中的名字节点、数据节点和客户端以后，我们来分析HDFS实现的源代码结构。HDFS源代码都在org.apache.hadoop.hdfs包下,其结构如图6-3所示。 HDFS的源代码分布在I6个目录下，它们可以分为如下四类1.基础包包括工具和安全包。其中，hdfs.util包...
Sqoop导入数据到HDFS\HIVE报错 Hive exited with status 1
报错信息 ：ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1原因1：mysql中的hive元数据编码格式是UTF8导致的，...
hadoop hdfs datanode 数据迁移
定位思路 先将集群停止，然后准备好新的存储目录，再将数据复制到新的目录中，重启集群。处理步骤 假设HDFS的默认安装目录为“/dfs/dn”，需要移动目录到“/home/dfs/dn”中。 1.登录cdh manager，停止hdfs集群 2.在hom...
hdfs启动过程
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。namenode在磁盘上的两类文件组成：fsimage文件：保存...
《Hadoop权威指南（英文版第四版）》—— HDFS学习笔记
When a dataset outgrows(过大而不适用于) the storage capacity of a single physical machine, it becomes necessary to partition(分割分布) it across a number of sepa...
CDH启用Kerberos导致hdfs,yarn等页面无法访问解决
CDH启用Kerberos，导致namenode和resourcemanager等页面无法访问，访问页面的时候报错 Problem accessing /cluster. Reason解决方案： 将hdfs/yarn的配置中这个勾选去掉，重启服务即可 ...
hadoop的模块构造介绍（hdfs）
在hadoop 官网上 我们就能看到 点击打开链接 hadoop主要是有一下四个模块构成的一 1 hadoop Common ：为其他hadoop模块提供基础设置。2 hadoop DFS ：一个可靠的高吞吐的分布式文件系统3 hadoop MapReduce ：一个分布式的离线并行计算框架4 h...
Class org.apache.hadoop.hdfs.DistributedFileSystem not found
用最新版本的Hadoop遇到的坑！原文转载自：原文链接由hadoop2.7.1切换到hadoop3.1.1之后，加载jar包不全导致编译出现问题原因是：Class org.apache.hadoop.hdfs.DistributedFileSystem由原本的hadoop-hdfs.2.7.1.ja...
大数据之HDFS的读写删操作流程
一、读取流程上图的详细过程：1、HDFS提供的客户端开发库Client，通过RPC访问NameNode，发送读操作。2、NameNode通过查询元数据，获取到文件的存储路径，将文件对应的全部（文件较小）或者文件的部分（文件较大）的存储路径放到一个队列中，发送给客户端。3、客户端收到队列，依次遍历队列...
Class org.apache.hadoop.hdfs.DistributedFileSystem not found
用最新版本的Hadoop遇到的坑！原因是：Class org.apache.hadoop.hdfs.DistributedFileSystem由原本的hadoop-hdfs.2.7.1.jar中迁移到了hadoop-hdfs-client-3.1.1.jar 或更高版本解决方法一：加载hadoop-...
Class org.apache.hadoop.hdfs.DistributedFileSystem not found
由hadoop2.7.1切换到hadoop3.1.1之后，加载jar包不全导致编译出现问题 原因是：Class org.apache.hadoop.hdfs.DistributedFileSystem由原本的hadoop-hdfs.2.7.1.jar中迁移到了hadoop-hdfs-client-...
大数据hdfs详解之put权限剖析与常用命令
–无论是对于hdfs的读和写，对于用户来说都是无感知的、透明的操作，用户并不关心数据如何读出来如何写进去的，只要返回一个结果告诉用户数据读出来了或写进去了，至于怎么读怎么写，用户并不关心补充：读：hdfs dfs -ls / = hdfs dfs -ls hdfs://hadoop001:9000/...
CDH中 HDFS开启回收站
fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -s...
spark streaming消费kafka数据写入hdfs避免文件覆盖方案(java版)
1.写在前面在spark streaming+kafka对流式数据处理过程中，往往是spark streaming消费kafka的数据写入hdfs中，再进行hive...
Impala高性能探秘之HDFS数据访问
Impala是一个高性能的OLAP引擎，Impala本身只是一个OLAP-SQL引擎，它访问的数据存储在第三方引擎中，第三方引擎包括HDFS、Hbase、kudu。对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequence file等。对于H...
用Sqoop从HDFS往mysql导数据，出现乱码，最后通过更改Linux上mysql的编码（设置成utf-8）解决问题
查找mysql中my.conf 所在位置查找mysql中 my.conf 所在位置（查找其他软件中的其他东西，应该也适用）mysql --help | grep 'my.cnf'然后编辑并修改编码 nano /etc/my.cnf 把这两句话加入到最后 character-set-...
hadoop学习笔记：HDFS框架原理
学习大数据技术，就不可能避开hadoop，因为hadoop框架是分布式系统的基础。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用...
kettle入门(三) 之kettle连接hadoop&hdfs图文详解（转）
1 引言： 项目最近要引入大数据技术，使用其处理加工日上网话单数据，需要kettle把源系统的文本数据load到hadoop环境中 2 准备工作： 1 首先要了解支持hadoop的Kettle版本情况，由于kettle资料网上较少，所以最好去官网找,官网的url:http://wiki.pentah...
Hadoop学习笔记：HDFS理论知识
HDFS介绍HDFS是hadoop自带的分布式文件系统，英文名为：Hadoop Distributed Filesystem，HDFS以流式数据访问模式来存储超大文件。分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master N...