Linux操作系统下的Hadoop安装与配置
摘要前置（可选）使普通用户获取部分管理员权限网络联通配置修改主机名、修改主机名与IP地址的对应关系、关闭防火墙关闭防火墙、并设置开机不自启动ssh免密登录jdk的安装hadoop的安装启动Hadoop1.1前置（可选）使普通用户获取部分管理员权限操作步骤：登陆虚拟控制台ctrl+alt+f2登录管理...
大数据系列之Hadoop
一 Hodoop概述1…项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启...
Hadoop 伪分布式环境， jobhistory 配置信息引起的报错
Hadoop 版本 2.6.5 Ubuntu Linux 伪分布式环境之前我的Hadoop环境因为运行时报了下面的错误：ava.io.IOException: java.net.ConnectException: Call From localhost.localdomain/127.0.0.1 t...
Hadoop渐进五：Hadoop I/O(Sequence, Map, Set...)
一、简述Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计，不适合于小文件的存储与处理，这里的小文件主要是size远小于一个block size(默认64M)的文件。为什么呢？首先，每一个小文件都要占用一个block(默认64M)，会造成大量磁盘空间的浪费；其次，小文件越多，...
Hadoop 压缩格式 gzip/snappy/lzo/bzip2 比较
目前在Hadoop中常用的几种压缩格式：lzo，gzip，snappy，bzip2,主要特性对比如下：压缩格式codec类算法扩展名多文件splitablenative工具hadoop自带deflateDeflateCodecdeflate.deflate否否是无是gzipGzipCodecdefl...
Hadoop configration类分析
configration这个类是分析hadoop源代码一个很好地入口。先从需求说起。对于一个大型的文件系统，基于配置文件可以增强灵活性。congfigration类就是为了管理配置文件的。配置文件的一个一对对的KV对。 所以configration类的核心是用了hashmape存储了KV对。先放上类...
Hadoop实操2--java API操作HDFS文件+详细的源码单元测试（IDEA）
主要操作HDFS文件的查看，添加，删除，上传，下载。完整源码见后面环境搭建见：https://blog.csdn.net/qq_25948717/article/details/82015131Maven就是方便包的管理版本匹配搭建好如图：配置：可以看到右下角正在下载依赖，第一耗时很长=======...
解决Windows系统下运行hadoop程序出错Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
楼主今天在开发后端接口的时候,发现报了Could not locate executablenull\bin\winutils.exe in the Hadoop binaries 的错误,经过分析是我调用了同事写的接口,同事那个模块是引入了hadoop,我在自己模块调用的时候也需要配置相关...
关于Hadoop下运行MapReduce任务卡在Map0%和Reduce0%的解决办法
关于Hadoop下运行MapReduce任务卡在Map0%和Reduce0%的解决办法检查核心配置 mapred-site.xml文件检查以下配置信息，如果没有该信息，则添加上去
用mapreduce框架运行matlab示例程序，官网https://ww2.mathworks.cn/help/compiler/hadoop/example-on-running-a-standalone-matlab-mapreduce-application.html按照官网的步骤，基本上可...
Hadoop HBase概念学习系列之RowKey设计（二十九）
HBase里的RowKey设计，分为随机查询的RowKey设计和连续查询的RowKey设计。
1.2、CDH 搭建Hadoop在安装之前(CDH基于包的安装所需的权限)
CDH基于包的安装所需的权限以下部分描述了使用Cloudera Manager进行基于软件包的CDH安装的用户权限要求。这些要求是安装和管理包和服务的标准UNIX系统要求。所需特权sudo由Cloudera Manager运行的命令所需特权重要说明：除非另有说明，否则在需要root或sudo 访问权...
1.1-1.4 sqoop概述及安装cdh版hadoop
一、概述Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoo...
hadoop 2.6伪分布安装
hadoop 2.6的“伪”分式安装与“全”分式安装相比，大部分操作是相同的，主要区别在于不用配置slaves文件，而且其它xxx-core.xml里的参数很多也可以省略，下面是几个关键的配置：（安装JDK、创建用户、设置SSH免密码 这些准备工作，大家可参考hadoop 2.6全分布安装 一文，以...
hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
出现这种状况是因为当前账号没有配置ssh免密登录进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动错误消失...
sbin/hadoop-daemon.sh: line 165: /tmp/hadoop-hxsyl-journalnode.pid: Permission denied
原来在logs下 该权限，还是不行，以root登陆可以了，但是其他节点是普通用户啊，还会出其他问题，仔细看是/tmp，就是linux根目录下的tmp，改他的权限吧，不知道重启会不会变化。
hadoop2.5.2学习及实践笔记（四）—— namenode启动过程源码概览
对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充>实现类HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动$ vi start-dfs...