hive安装及连接MySQL
要在hive和MySQL之间建立连接，首先Linux里要有它们一、首先进入MySQL官网下载所需的MySQL yum 仓库：1.下载好之后，就将它上传至Linux中2.接下来运行( rpm -Uvh mysql57-community-release-el7-11.noarch.rpm)上一步结束...
Hive Metastore Server堆内存不足导致重启后自动关闭，无法启动
hive 的mestore server出现异常，手动重启后，过2、3分钟又出现异常，有时甚至启动不了。查看日志提示：/var/log/hive/hadoop-cmf-hive-HIVEMETASTORE-cdh-01.log.out提示：java.lang.NullPointerException...
Hive窗口函数面试题（带答案版本）
Hive笔试题实战 短视频 题目一：计算各个视频的平均完播率 有用户-视频互动表tb_user_video_log： id uid video_id start_time end_time if_follow if_like if_retweet comment_id 1 10...
安装atlas后执行hive命令报错
在集群中安装atlas，在安装atlas的节点上执行hive -e "show databases;" 正常，但是在集群中其他节点上执行hive -e "show databases;" 命令报如下错误 一、分析 在安装atlas节点上和没有安装atlas的节点上分别再次执行hive --...
hive-site.xml
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-RemoteMetastoreDatabasehive-site.xml<?xml ver...
远程连接hive server
hiveserver21、在hive服务器上启动hive server2，在你的hive主目录/bin/下找到并执行下面的命令，默认监听10000端口#hiveserver22、使用cli在本机连接#beelinebeeline> !connect jdbc:hive2://localhost...
一脸懵逼学习Hive的安装（将sql语句翻译成MapReduce程序的一个工具）
一脸懵逼学习Hive的安装（将sql语句翻译成MapReduce程序的一个工具）Hive只在一个节点上安装即可：1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧：2.解压操作：[[email protected] hadoop]# tar -zxvf hive-0.12.0.ta...
Hive概述-基本命令的使用-切换到Mysq数据库的步骤
HIVE一、简述：hive是基于Hadoop的一个开源工具；同时它也是一个离线分析工具。在Hadoop外围包裹了一层HIVE壳，HIVE壳提供了类SQL语言，来兼容Java、Python等开发语言；对于DML的一些写操作，由于HIVE在底层将类SQL语言转化为MapReduce执行，故执行效率比较慢...
关于Hive中按时间范围查询不到数据的问题
根据需求，使用Hive2从sqlserver中导入数据到HDFS上，由于sqlserver中存储的时间格式为：2018-06-04 00:00:00.000，如果按照这种格式导入到Hive，按时间范围查询就查不到，使用了to_date, date_format, cast(date a...
Windows通过dbeaver连接远程hive
Windows连接hive的客户端比较多，但dbeaver算是其中使用起来比较方便的一个。一、下载dbeaver并安装，这一步比较简单，直接next就ok了；二、打开软件，选择【文件】->【新建】，新建数据库连接，再选择hive。三、配置hive连接信息，然后设置驱动四、驱动设置里面已经有驱动...
hive学习教程（五）：hive和Hbase整合
一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0.jar工具类，如下图 Hive与HBase通信示意图 二、具体步骤安装前说明 1、关于hadoop、HBase、Hive集群的搭...
大数据：通过Kettle把传统数据库数据导入到Hive中
自从使用了Kettle工具之后，越来越发现她的强大，上篇文章主要介绍通过Kettle工具在传统数据库之间迁移数据，但很多业务场景是需要放到大数据上去的，如何通过Kettle工具把传统数据库中数据导入到Hive中，这是本文要详细讲解的。一、准备系统版本本地操作系统Windows 10 proETL工具...
Kettle spoon中mysql数据导入hive从建表到导数据解决方案参考
最近在学习大数据的数据迁移，要从关系型数据库里导数据到hive数据库里，其中碰到了很多麻烦，曾试过使用sqoop方式导入数据不过功能不够全面比如表结构及数据筛选问题，现在使用kettle来进行数据迁移工作，其中碰到了很多问题不过都能给出相应的解决方案，如此写下这篇文档供各位工程师参考 那么如何将my...
使用Flume将Kafka中的数据导入Hive
0x01 需求背景将Kafka中的JSON数据持久化存储到Hive表中，以供后期有查找的需求。（看了很多讲解的博文，出了各种bug！饶了很多弯路！总结出来的经验就是一定要仔细看Flume的官方文档！！！！！！）Kafka中的数据示例：>{"id":1,"name":"snowty","age"...
CDH安装配置zeppelin-0.7.3以及配置spark查询hive表
1.下载zeppelinhttp://zeppelin.apache.org/download.html 我下载的是796MB的那个已经编译好的，如果需要自己按照环境编译也可以，但是要很长时间编译，这个版本包含了很多插件，我虽然是CDH环境但是这个也可以使用。2.修改配置文件cd /zeppeli...
使用JDBC连接和操作hive（hiveserver2）
第一步：创建项目 并导入hive相关jar包第二步：编写代码如下：import java.sql.Statement;import java.sql.DriverManager;import org.apache.tools.ant.taskdefs.Echo;public class TestHi...
Hive-技术补充-ANTLR语法编写
一、导读 我们学习一门语言，或外语或编程语言，是不是都是要先学语法，想想这些语言有哪些相同点 1、中文、英语、日语......是不是都有 主谓宾 的规则 2、c、java、python、js......是不是都有 数据类型 、循环 等语法或数据结构 虽然人们在过去的几...
JDBC访问Hive失败 & beenline连接Hive 和导入文件 时提示anonymous用户权限不够
前言 最近项目中有跟hive交互的部分，在测试环境用JDBC方式和beenline方式访问hive server时访问失败，下面来记录下问题的解决过程；正文JDBC访问hive server2失败 程序中关于hive配置信息写在了application.yaml文件中 用postm...
spark.sql集成hive:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
SparkSQL集成hive错误：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient写sparksql，查询hive表报错Unable to instantiate org.apach...
hive获取当前时间（类似sql的now()函数）
在大多数的sql中获取当前时间都是用now()函数即可，hive获取当前时间的函数与sql 不一样在impala中执行now()函数时是可以通过的然而在hive中执行now()函数却报错：hive有一个获得当前时区的UNIX时间戳：unix_timestamp语法: unix_timestamp()...