CDH安装配置zeppelin-0.7.3以及配置spark查询hive表
1.下载zeppelinhttp://zeppelin.apache.org/download.html 我下载的是796MB的那个已经编译好的,如果需要自己按照环境编译也可以,但是要很长时间编译,这个版本包含了很多插件,我虽然是CDH环境但是这个也可以使用。2.修改配置文件cd /zeppeli...
使用JDBC连接和操作hive(hiveserver2)
第一步:创建项目 并导入hive相关jar包第二步:编写代码如下:import java.sql.Statement;import java.sql.DriverManager;import org.apache.tools.ant.taskdefs.Echo;public class TestHi...
Hive-技术补充-ANTLR语法编写
一、导读 我们学习一门语言,或外语或编程语言,是不是都是要先学语法,想想这些语言有哪些相同点 1、中文、英语、日语......是不是都有 主谓宾 的规则 2、c、java、python、js......是不是都有 数据类型 、循环 等语法或数据结构 虽然人们在过去的几...
JDBC访问Hive失败 & beenline连接Hive 和导入文件 时提示anonymous用户权限不够
前言 最近项目中有跟hive交互的部分,在测试环境用JDBC方式和beenline方式访问hive server时访问失败,下面来记录下问题的解决过程;正文JDBC访问hive server2失败 程序中关于hive配置信息写在了application.yaml文件中 用postm...
spark.sql集成hive:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
SparkSQL集成hive错误:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient写sparksql,查询hive表报错Unable to instantiate org.apach...
hive获取当前时间(类似sql的now()函数)
在大多数的sql中获取当前时间都是用now()函数即可,hive获取当前时间的函数与sql 不一样在impala中执行now()函数时是可以通过的然而在hive中执行now()函数却报错:hive有一个获得当前时区的UNIX时间戳:unix_timestamp语法: unix_timestamp()...
Hive启动时,遇到java.net.URISyntaxException: Relative path in absolute URI
当启动hive的时候遇到如下错误:解决办法:1.创建一个工作目录mkdir /opt/hive2.在hive1.2 的配置文件hive-site.xml中修改如下配置,修改成绝对路径: <property> <name>hive.exec.scratchdir<...
Beeline远程连接Hive服务地址报错:jdbc:hive2://hadoop01:10000: java.net.ConnectException: Connection refused
克隆hadoop1输入:beeline> !connect jdbc:hive2://hadoop01:10000 Connecting to jdbc:hive2://hadoop01:10000Enter username for jdbc:hive2://hadoop01:10000: ...
Hive on tez 运行报错集锦
执行 hive:直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersionCDH集群安装组件都ok,在Hue界面中使用Hive的HQL是都是ok的但是直接在liunx中,打开客户端命令:执行 hive:直接报java...
hive的数据类型和文件格式
数据类型一、基本数据类型hive的基本数据类型无非还是数值型,字符型,时间戳。多了一个字节数组binary。这个binary数组是没有自字节数限制的,可以在记录中包含任意字节。1、数值型①整型tinyint:类似于Java中的byte,最多存储1字节的有符号数smalint:类似于Java中的sho...
Hive 数据类型
基本数据类型 Hive 的原子数据类型是可以进行隐式转换的,类似于 Java 的类型转换1. 隐式类型转换规则如下(1)任何整数类型都可以隐式地转换为一个范围更广的类型,如 TINYINT 可以转换成 INT, INT 可以转换成 BIGINT。(2)所有整数类型、 FLOAT 和 STRING ...
hive orc压缩数据异常java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.h...
hive表在创建时候指定存储格式STORED AS ORC tblproperties ('orc.compress'='SNAPPY'); 当insert数据到表时抛出异常Caused by: java.lang.ClassCastException: org.apache.hadoop.io....
HIVE中处理特殊字符
一、问题描述:根据公司研发提供的加密UDF函数,进行加密(电话号码属于敏感信息需加密)后存在换行现象!(hiveudfencode:加密UDF)二、问题定位及解决步骤:1)查看加密后的字段末尾是否含有换行符,根据16进制转换的函数进行查看,发现末尾带了0D0A,就是代表\r\n2)用hive的替换函...
cdh hive 中文注释乱码解决方法(简单几步)
一、问题描述环境 cdh5.12.1 + hive 1.1.0。 hive 元数据库用的是mysql创建hive表后,用desc查看表信息,中文注释出现乱码,如下 二、解决方法1、进入mysql执行:show create database hive; 发现默认是utf8类型 mysql&g...
Hive设置MySQL元数据中文乱码编码问题以及解决
Hive设置MySQL元数据编码问题表或者字段有中文的时候需要修改hive的元数据库的设置。以mysql为例子,当mysql的字符集设置成utf8的时候使用hive会有问题(一些命令直接不能执行),详细见hive的wiki。所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成la...
计算机毕业设计Hadoop+Spark+Hive租房推荐系统 贝壳租房数据分析 租房爬虫 租房可视化 租房大数据 大数据毕业设计 大数据毕设 机器学习-技术或业务逻辑特色
核心算法代码分享如下: from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom lxml import etreeimport timefrom selenium.webdriver.ch...
Hive SQL必刷练习题:留存率问题(*****)-代码:
select t3.first_login, t3.register, t3.remain_1/t3.register retentionfrom ( select t1.first_login, count(t1.user_id) register, coun...
Hive中文注释乱码问题的解决
在Hive中建表的时候,有时候难免要表中文注释,然而如果不经过配置,会导致desc某个表名的时候,直接以?的方式返回。因此也来解决一下hive中文注释乱码的问题。由于HIVE的元数据是存在于MySQL上的,因此需要在mysql上进行元数据的候。因此也来解决一下这个问题。当hive使用mysql作为元...
Hive 的使用和配置、底层原理(第一部分)
大数据组件使用 总文章Hive 的使用和配置、底层原理(第一部分)Hive 的使用和配置、底层原理(第二部分)2.Hive 基本操作: 1.创建数据库 创建数据库 实际是在hdfs文件系统中 /user/hive/warehouse目录下 创建一个文件夹“数据库名.db” ...
hive 时间戳的转换方法
由于频繁使用,没有一个博文是完整的,所以整理归纳了一下,遇到了sqlServer的不同语法就也写下来了; 时间戳转成日期hive : select distinct from_unixtime(1441565203,‘yyyy/MM/dd HH:mm:ss’) from test_date;s...