大数据框架hadoop的配置系统
Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Con...
大数据解决方案：Hadoop监控
Hadoop监控目前采用方案：Zabbix+Hue+Kafka Manager 1.ZabbixZabbix主要监控相关进程是否存活以及针对运行时间过长的任务进行报警，目前暂定为1个小时原理：通过Hadoop提供的jmx接口获取相关数据给zabbix监控的项目：进程ResourceManager,N...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个引起该问题最常见的原因，及其解决办法使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VE...
Hadoop中 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题解决
环境[root@vm8028 soft]# cat /etc/issueCentOS release 6.5 (Final)Kernel \r on an \m[root@vm8028 soft]# uname -aLinux vm8028 2.6.-.el6.x86_64 # SMP Fri No...
centos 安装 hadoop2.8.2
首先安装hadoop前要先安装jdk：http://blog.csdn.net/qq_34954457/article/details/78446038点击打开链接hadoop下载链接：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2....
Linux华为云Hadoop配置环境
手工搭建Hadoop环境（Linux）_弹性云服务器 ECS_最佳实践 (huaweicloud.com)https://support.huaweicloud.com/bestpractice-ecs/zh-cn_topic_0000001698668477.html?locale=zh-cn#Z...
hadoop实现wordcount的三种方法
很多小伙伴在搭建完hadoop集群后，还不太会在上面跑测试程序，作为大数据入门学习的Hello world程序，我总结了三种方法。第一种：用hadoop上自带的jar包（hadoop-mapreduce-examples-2.7.0.jar）实现1、如何找到hadoop自带的jar包呢？路径：/us...
Eclipse创建hadoop项目步骤
打开eclipse，创建java项目，选中hadoop工程，右键单击创建folder，输入lib：在命令行下将核心包导入lib：导入hadoop-hdfs-2.8.2.jar导入hdfs下的库导入hadoop-common-2.8.2.jar导入common下的jar查看导入的jar包,修改文件所属...
Hadoop 2.6.0源码下载及IntelliJ IDEA导入
文章目录1.Hadoop官网下载源码文件2.IntelliJ IDEA导入解压好的源码文件1.Hadoop官网下载源码文件按照以步骤下载即可。2.IntelliJ IDEA导入解压好的源码文件但是使用默认的maven仓库，可能不会加载成功，反正我是，所以需要在导入IntelliJ IDEA时，提前对...
hadoop 1.2.1 eclipse 插件编译
hadoop-1.2.1 eclipse插件编译 在ubuntu上进行hadoop相关的开发，需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包，以hadoop-1.1.1为例，包含相关的eclipse插件的源码，因此可以针对自己的eclipse版本来编译一...
【原创 Hadoop&Spark 动手实践 10】Spark SQL 程序设计基础与动手实践（下）
【原创 Hadoop&Spark 动手实践 10】Spark SQL 程序设计基础与动手实践（下）目标：1. 深入理解Spark SQL 程序设计的原理2. 通过简单的命令来验证Spark SQL的运行原理3. 通过一个完整的案例来验证Spark SQL的运行原理，自己实际动手来进行掌握4....
【原创 Hadoop&Spark 动手实践 9】Spark SQL 程序设计基础与动手实践（上）
【原创 Hadoop&Spark 动手实践 9】SparkSQL程序设计基础与动手实践（上）目标：1. 理解Spark SQL最基础的原理2. 可以使用Spark SQL完成一些简单的数据分析任务3. 可以利用Spark SQL完成一个完整的案例...
【原创 Hadoop&Spark 动手实践 8】Spark 应用经验、调优与动手实践
【原创 Hadoop&Spark 动手实践 7】Spark 应用经验、调优与动手实践目标：1. 了解Spark 应用经验与调优的理论与方法，如果遇到Spark调优的事情，有理论思考框架。2. 把调优的过程，进行动手实践，完成一些调优的优化过程，加深理解。3. 做一个完整的调优的案例，再次加深...
【原创 Hadoop&Spark 动手实践 6】Spark 编程实例与案例演示
【原创 Hadoop&Spark 动手实践 6】Spark 编程实例与案例演示Spark 编程实例和简易电影分析系统的编写目标：1. 掌握理论：了解Spark编程的理论基础2. 搭建开发环境：自己可以搭建Spark程序开发的环境3. 动手实践简单的示例：完成一些简单的动手实验，可以帮助Sp...
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。下载 进入官网：http://eclipse.org/downloads/。找到相应的版...
mac os x 编译spark-2.1.0 for hadoop-2.7.3
mac os x maven编译spark-2.1.0 for hadoop-2.7.31.官方文档中要求安装Maven 3.3.9+ 和Java 8 ; 2.执行 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"3....
hue安装步骤+mysql元数据存储、hive、hadoop做集成
1. 使用yum工具来安装hue相关的依赖软件：sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap-devel pytho...
Hadoop（三） 大数据离线计算与实时计算
分享一下我老师大神的人工智能教程吧。零基础，通俗易懂！风趣幽默！http://www.captainbed.net/也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！ 一、大数据离线计算：MapReduce计算模型1、MapReduce是处理HDFS...
hadoop高可用，多次格式化namenode节点后出现的一系列错误（仅自己可用，勿喷）
第一个问题：启动namenode后秒挂原因：元数据不统一在自己core-site.xml中配置的路径里找到：我的在node01（这是namenode）中的 /var/sxt/hadoop/ha/dfs/name/current的VERSION中查看以及在node02中（这里是datanode）中的/...
Hadoop-impala十大优化之（4）—根据执行计划进行性能优化及最佳实践
http://blog.csdn.net/seeyouc/article/details/535817251.1 Hadoop-impala十大优化之（4）—根据执行计划进行性能优化及最佳实践1.1.1 使用解释计划进行性能调整解释语句为您提供了一个查询将执行的逻辑步骤的概要，例如，如何将工作分...