如何使用DBeaver连接Hive
1 DBeaver介绍DBeaver是一个通用的数据库管理工具和 SQL 客户端，支持多种兼容 JDBC 的数据库。DBeaver 提供一个图形界面用来查看数据库结构、执行SQL查询和脚本，浏览和导出数据，处理BLOB/CLOB 数据，修改数据库结构等。2 安装DBeaver下载地址：https:/...
基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用
基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用HBase是一种分布式、面向列的NoSQL数据库，基于HDFS存储，以表的形式存储数据，表由行和列组成，列划分到列族中。HBase不提供类SQL查询语言，要想像SQL这样查询数据，可以使用Phonix，让SQL查询转换成hbase的...
Hive分析窗口函数(一) SUM,AVG,MIN,MAX
Hive中提供了越来越多的分析函数，用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍，将陆续发布。 今天先看几个基础的，SUM、AVG、MIN、MAX。 用于实现分组内所有和连续累积的统计。 Hive版本为 apache-hive-0.13.1 数据准备 CREATE EXTERNAL ...
hive添加分区
添加分区alter table 表名 add partition (dt='2016-09-12');select * from 表名where dt = '2016-09-12'limit ;hive添加分区的更多相关文章Hive:添加、删除分区添加分区: ', p_locty...
用sqoop实现mysql和hive数据互导
在此测试的是伪分布式 hadoop1.2.1 sqoop-1.4.4.bin__hadoop-1.0.0 hive-0.12.0 1、数据准备 1.1建立测试用户sqoop grant all privileges on *.* to 'sqoop'@'%' identified...
hive 2.1.0 安装及MySQL元数据管理配置
一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 进入解压之后的目录，使用当前路径配置HIVE_HOME 2. 进入安装目录下conf目录 vim hive-site.xml 加入以下配置 ...
sqoop把hive数据导入mysql时，map卡在100%
如图所示： 一直卡在这。 解决办法： 这是因为我建表的时候 用的字段的问题。 原sql语句： CREATE TABLE `hive2mysql` ( `key` varchar(255) NOT NULL, `name` varchar(255) NOT NULL ) ENGINE=In...
Hive 复习
hive分为CLI（command line）（用的比较多）JDBC/ODBC-ThriftServerhiveServer（hive -service hiveserver），JDBC访问，一个客户端连接数,需要建立pool池,内存损耗极大,容易内存溢出（数据量太大不用）web gui（基本不用）...
从零自学Hadoop(16)：Hive数据导入导出，集群数据迁移上
阅读目录序导入文件到Hive将其他表的查询结果导入表动态分区插入将SQL语句的值插入到表中模拟数据文件下载系列索引本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。文章是哥(mephisto)写的，SourceLink序上一篇，我们介绍了Hive的表操作做...
教你成为全栈工程师(Full Stack Developer) 四十五-一文读懂hadoop、hbase、hive、spark分布式系统架构
转载自http://www.shareditor.com/blogshow?blogId=96机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用于分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不...
hive ，sqoop使用的jdbc驱动版本（mysql-connector-java-5.1.23-bin.jar）影响hive使用
2014-04-01 04:16:57,190 ERROR DataNucleus.Plugin (Log4JLogger.java:error(115)) - Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" ...
[转]hive实例讲解实现in和not in子句
FROM : http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html目前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录,只有一个uid),...
一 Hive安装及初体验
一 .Hive安装及初体验1 .hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.1直接使用hadoop面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大1.2为什么要使用hive操作...
Hive正则表达式对数据过滤
正在做的一个项目中，由于数据量比较大，所以数据的内容比较乱，比如说mac地址，这个地址有的数据中存在，有的数据中不存在，当通过hive进行导出数据的时候，如果存在些非法的类型的数据会造成NoSuchElement异常，经过几天的排查与摸索，终于将该隐患排除。 在hive中如果某些字段，尤其是中...
hive UDAF
java 程序package com.ibeifeng.udaf;import org.apache.hadoop.hive.ql.exec.UDAF;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;public class Wm_concat...
第2节 hive基本操作：6、7、8
第1节 hive安装：6、hive的基本操作；7、创建数据库的语法；8、hive当中创建内部表的语法。 hive的基本操作： 创建数据库与创建数据库表操作 创建数据库操作：create database if not exists xxx; 创建数据库表的操作： CREATE [EXTERNAL] ...
009-Hadoop Hive sql语法详解4-DQL 操作:数据查询SQL-select、join、union、udtf
一、基本的Select 操作 语法SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING condition]...
hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）
Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。日志查看方法1，在本地运行机器上hive日志存储位置在本机上，不是hadoop上： 在hive/conf/ hive-log4j.properties 文件...
ubuntu中为hive配置远程MYSQL database
一、安装mysql$ sudo apt-get install mysql-server启动守护进程$ sudo service mysql start二、配置mysql服务与连接器1、安装mysql连接器$ sudo apt-get install libmysql-java注：将/usr/sha...
E-MapReduce集群hive异常排查（一）
hive是EMR集群常用的数据分析工具。执行hive命令时，我们经常会遇到各种错误，不知道该怎么解决。 本文是hive异常排查系列的第一篇，主要介绍常见的hive执行异常和定位方法，以及hive日志位置。 一.常见异常表现 主要是执行hive sql的卡住，提示异常。如执行s...