(17)大数据之hive的sql语句大全
创建数据库create database if not exists myhive ;创建数据库如果不存在myhive;创建数据库并且指定存储位置create database myhive3 location ‘/myhive3’;创建数据库myhive3 本地 ‘/myhive3’;修改数据库可...
hive表新增字段和字段注释修改
hive表新增字段，修改字段的注释（1）创建测试表：use mart_flow_test;create table if not exists mart_flow_test.detail_flow_test( union_id string comment '设备唯一标...
Spark与Hive的Beeline运行机制
因为业务中主要使用Spark Thriftserver作为adhoc查询服务，而Spark原生是不支持SQLStdBasedAuthorization，所以需要调研这方面源码，本文将这方面的理解分享给大家，如有错误欢迎指出。Spark的beeline在很多地方直接沿袭hive的beeline，当然S...
使用beeline工具连接Hive
第一步:修改hadoop的hdfs-site.xml文件在该文件中添加以下内容,开启HDFS的REST接口功能: 第二步:修改hadoop的core-site.xml文件在文件中添加以下内容,设置代理用户:第三步:重启Hadoop集群第四步:启动hiveserver2服务前台启动后台启动第五步:使用...
hive 和 sparkSQL 的区别
hive是分布式又是数据仓库，同时又是查询引擎，Spark SQL只是取代的HIVE的查询引擎这一部分，企业一般使用Hive+spark SQL进行开发Hive:负责廉价的数据仓库存储Spark Sql:负责高速的计算...
给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）
这个很简单，在集群机器里，选择就是了，本来自带就有Impala的。扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
Hive的数据导入——Load语句
一 语法LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]二 表hive> desc t2;OKtid int tna...
不同Hadoop模式下，Hive元数据文件存储位置
假如在hive的配置文件hive-site.xml中，属性hive.metastore.warehouse.dir被设置为/root/hive/warehouse。如果Hadoop是本地模式，则仓库路径是file:///root/hive/warehouse；其他模式则是hdfs://namenod...
Java实现Hive的UDF（案例）
构成一、Java脚本实现想要实现的功能。二、另外一个部分为HQL部分，调用Java脚本对数据进行处理。一、Java部分 编写UDF函数，首先要继承UDF类并且实现evaluate()函数。对于每一行输入都会调用到evaluate()函数。而evaluate()函数处理后的值会返回给Hiv...
Hive Word count
--https://github.com/slimandslam/pig-hive-wordcount/blob/master/wordcount.hqlDROP TABLE myinput;DROP TABLE wordcount;CREATE TABLE myinput (line STRING...
记录初学者学习Hive时踩过的坑
1. 缺少MySQL驱动包1.1 问题描述Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysq...
Hive学习之路 （一）Hive初识
Hive 简介什么是Hive1、Hive 由 Facebook 实现并开源2、是基于 Hadoop 的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供 HQL(Hive SQL)查询功能5、底层数据是存储在 HDFS 上6、Hive的本质是将 SQL 语句转换为 MapReduce...
Hive安装配置指北（含Hive Metastore详解）
个人主页: http://www.linbingdong.com本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导...
HIVE函数的基本使用
HIVE函数的基本使用 1.查看所有支持的函数 共289个 1)SHOW FUNCTIONS 查看所有支持的函数 共289个 2)SHOW FUNCTIONS LIKE "**" 模糊查询函数名 3)DESC FUNCTION + 函数名 可以查...
【openLooKeng集成Hive连接器完整过程】
修改配置文件 1）修改hadoop-env.sh文件 vim /opt/hadoop-2.7.7/etc/hadoophadoop-env.sh 设置JAVA_HOME的路径为本机jdk安装路径：export JAVA_HOME=/opt/jdk1.8.0_401 2）修改hdfs-site.xml...
hive java编写udf函数
(一）创建JAVA 代码--例子package hiveOpt;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class splitMax extends UDF {public s...
Hive基础知识梳理
Hive简介Hive是什么Hive是构建在Hadoop之上的数据仓库平台。Hive是一个SQL解析引擎，将SQL转译成MapReduce程序并在Hadoop上运行。Hive是HDFS的一个文件目录，一个表名对应一个目录名，若该表是分区表，则分区值对应子目录名。Hive的历史由来Hive体系结构Hiv...
给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）
不多说，直接上干货！Impala和Hive的关系（详解）扩展博客给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）参考hortonworks ambari集成impalaambari hdp 集成 impala欢迎大家，加入我的微信公众号：...
HIVE总结（看完这篇，别说你不会HIVE）
HIVE总结 目录 HIVE总结 1.安装hive 2.理解hive工作原理（一定要理解） 3.会创建内部表，会加载数据 4.会创建分区表，会加载数据 5.会创建外部表 6.会创建UDF函数 7.会设置map的个数 8.会设置reduce个数 9.会根据执行计划对sql进行调优 10.会处理数据倾斜...
hive创建hbase外部关联表实例
在cdh6.3.2已经做好hbase和hive相关配置，这里不阐述。 要创建上述的表结构，你需要先在HBase中创建相应的表，然后在Hive中创建一个EXTERNAL TABLE来映射到这个HBase表。以下是详细的步骤： 步骤1：在HBase中创建表 确定HBase的安装和配置是否正确。确定HBa...