给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）
这个很简单，在集群机器里，选择就是了，本来自带就有Impala的。扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
Hive的数据导入——Load语句
一 语法LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]二 表hive> desc t2;OKtid int tna...
不同Hadoop模式下，Hive元数据文件存储位置
假如在hive的配置文件hive-site.xml中，属性hive.metastore.warehouse.dir被设置为/root/hive/warehouse。如果Hadoop是本地模式，则仓库路径是file:///root/hive/warehouse；其他模式则是hdfs://namenod...
Java实现Hive的UDF（案例）
构成一、Java脚本实现想要实现的功能。二、另外一个部分为HQL部分，调用Java脚本对数据进行处理。一、Java部分 编写UDF函数，首先要继承UDF类并且实现evaluate()函数。对于每一行输入都会调用到evaluate()函数。而evaluate()函数处理后的值会返回给Hiv...
Hive Word count
--https://github.com/slimandslam/pig-hive-wordcount/blob/master/wordcount.hqlDROP TABLE myinput;DROP TABLE wordcount;CREATE TABLE myinput (line STRING...
记录初学者学习Hive时踩过的坑
1. 缺少MySQL驱动包1.1 问题描述Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysq...
Hive学习之路 （一）Hive初识
Hive 简介什么是Hive1、Hive 由 Facebook 实现并开源2、是基于 Hadoop 的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供 HQL(Hive SQL)查询功能5、底层数据是存储在 HDFS 上6、Hive的本质是将 SQL 语句转换为 MapReduce...
Hive安装配置指北（含Hive Metastore详解）
个人主页: http://www.linbingdong.com本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导...
HIVE函数的基本使用
HIVE函数的基本使用 1.查看所有支持的函数 共289个 1)SHOW FUNCTIONS 查看所有支持的函数 共289个 2)SHOW FUNCTIONS LIKE "**" 模糊查询函数名 3)DESC FUNCTION + 函数名 可以查...
【openLooKeng集成Hive连接器完整过程】
修改配置文件 1）修改hadoop-env.sh文件 vim /opt/hadoop-2.7.7/etc/hadoophadoop-env.sh 设置JAVA_HOME的路径为本机jdk安装路径：export JAVA_HOME=/opt/jdk1.8.0_401 2）修改hdfs-site.xml...
hive java编写udf函数
(一）创建JAVA 代码--例子package hiveOpt;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class splitMax extends UDF {public s...
Hive基础知识梳理
Hive简介Hive是什么Hive是构建在Hadoop之上的数据仓库平台。Hive是一个SQL解析引擎，将SQL转译成MapReduce程序并在Hadoop上运行。Hive是HDFS的一个文件目录，一个表名对应一个目录名，若该表是分区表，则分区值对应子目录名。Hive的历史由来Hive体系结构Hiv...
给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）
不多说，直接上干货！Impala和Hive的关系（详解）扩展博客给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）参考hortonworks ambari集成impalaambari hdp 集成 impala欢迎大家，加入我的微信公众号：...
HIVE总结（看完这篇，别说你不会HIVE）
HIVE总结 目录 HIVE总结 1.安装hive 2.理解hive工作原理（一定要理解） 3.会创建内部表，会加载数据 4.会创建分区表，会加载数据 5.会创建外部表 6.会创建UDF函数 7.会设置map的个数 8.会设置reduce个数 9.会根据执行计划对sql进行调优 10.会处理数据倾斜...
hive创建hbase外部关联表实例
在cdh6.3.2已经做好hbase和hive相关配置，这里不阐述。 要创建上述的表结构，你需要先在HBase中创建相应的表，然后在Hive中创建一个EXTERNAL TABLE来映射到这个HBase表。以下是详细的步骤： 步骤1：在HBase中创建表 确定HBase的安装和配置是否正确。确定HBa...
大数据-Hive 常用命令
Hive 启动~$ hive 退出hive>quit; --退出hiveorhive> exit; --exit会影响之前的使用，所以需要下一句kill掉hadoop的进程>hadoop job -kill jobid选择使用哪个数据库hive> use dat...
hive_学习_01_hive环境搭建(单机)
一、前言本文承接上一篇：hbase_学习_01_HBase环境搭建(单机)，主要是搭建 hive 的单机环境二、环境准备1.说明hive 的下载来源有：官方版本：http://archive.apache.org/dist/hive/CDH版本：http://archive.cloudera.com...
Hive架构原理
Hive Hive 的架构是设计用于在大数据环境下进行数据仓库操作和分析的系统。它建立在 Hadoop 生态系统之上，利用 Hadoop 的存储（HDFS）和计算（MapReduce、Tez、Spark 等）能力。 1. 元数据存储（Metastore）： Metastore 是 Hive 的元数...
记录一下我hive连不上DataGrip的问题
用户名和密码都没问题，但报如下这个错误（确保你的metastore和hiveserver2都是启动的，其次hdfs和yarn也是启动的） 原因：是因为我在linux上没启hiveserver2服务 解决： [atguigu@hadoop102 hadoop]$ hiveserver...
大数据集群中部署Hive-hive安装
1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下 2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面 tar -zxvf /opt/software/apache-hive-3.1.3-...