• Hive 01 概述、安装配置

    时间:2024-07-25 14:49:27

    概述数据仓库:是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理。数据仓库的结构和建立过程:数据源数据存储及管理ETLExtract 提取Transform 转换Load 装载数据仓库引擎前端展示数据查询数据报表数据分析1)产生...

  • Hive学习笔记一

    时间:2024-07-17 17:21:54

    1. Load的使用//在1.x版本中定义long数据类型会报错(用bigint代替)create table t_load_stu(name string,age bigint)row formatdelimited fields terminated by ',';1.1本地在本地导入数据,本地...

  • 二百四十四、Hive——Hive中解析复杂JSON,既有对象还有数组,而且数组中包含数组

    时间:2024-07-17 07:04:34

    {    "deviceNo": "39",     "sourceDeviceType": null,     "sn": null,     "model": null,     "createTime": "2024-07-16 07:30:00",     "data": {        ...

  • 数据仓库建模工具之一——Hive学习第二天

    时间:2024-07-16 22:32:10

    Hive的概述1、Hive基本概念1.1Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据存储,说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具,甚至更近一步说hive就是一个MapReduce客户端。为什么使用Hive?使用h...

  • Hive入门学习随笔(二)

    时间:2024-07-14 10:26:53

    ====使用Load语句执行数据的导入--将操作系统上的文件student01.txt数据导入到t2表中load data local inpath '/root/data/student01.txt' into table t2;--将操作系统上/root/data文件夹下的所有文件导入t3表中,...

  • Hive入门学习--HIve简介

    时间:2024-07-14 10:04:50

    现在想要应聘大数据分析或者数据挖掘岗位,很多都需要会使用Hive,Mapreduce,Hadoop等这些大数据分析技术。为了充实自己就先从简单的Hive开始吧。接下来的几篇文章是记录我如何入门学习Hive的。一、Hive简介Hive是一个数据仓库基础工具,架构在Hadoop之上,能够处理Hadoop...

  • Hive入门学习

    时间:2024-07-14 09:35:51

    Hive学习之路 (一)Hive初识目录Hive 简介什么是Hive为什么使用 HiveHive 特点Hive 和 RDBMS 的对比Hive的架构1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface2、跨语言服务 : thrift s...

  • 数据湖仓一体(四)安装hive

    时间:2024-07-13 12:09:15

     上传安装包到/opt/software目录并解压 [bigdata@node106 software]$ tar -zxvf hive-3.1.3-with-spark-3.3.1.tar.gz -C /opt/services[bigdata@node106 services]$ mv apac...

  • Hive的初识

    时间:2024-07-11 12:23:59

    Hive是构建于Hadoop上的数据仓库基础框架,它提供了以下功能:可通过SQL轻松的访问数据,从而实现数据仓库的任务。如提取/转换/加载,报告和数据分析。对各种数据格式施加结构。访问存储在HDFS或是其他数据存储系统上文件。可使用MapReduce或是Spark作为执行层。通过Hive LLAP,...

  • hive相关

    时间:2024-07-11 07:58:53

    HIVEJOIN:http://blog.csdn.net/yfkiss/article/details/8073608HIVE资料:一条记录map阶段输出KV,shuffle sort,输出KV,最后reduce输出结果https://skydrive.live.com/?mkt=zh-CN#!/...

  • hadoop 、hive 的一些使用经验。

    时间:2024-07-09 19:45:47

    1、queue的设置hadoop2.0支持了queue,在hadoop程序里面进行queue的配置:job.getConfiguration().set("mapred.job.queue.name", "your-queue-name");2、reduce key-value中间的分隔符。首先得保...

  • 大数据-Hadoop-基础篇-第七章-Hive 实战(sogou用户搜索日志分析)

    时间:2024-07-09 08:51:53

    目录 参考概念架构体系用mysql存储元数据数据类型运行模式内嵌模式本地模式远程模式数据存储内部表本地文件导入live外部表 EXTERNAL内部表和外部表的区别分区概念表分桶概念原理库表操作(1)创建分桶表创建用户表“user info”,并根据user id进行分桶,桶的数量为6,命令如...

  • Hive学习笔记【转载】

    时间:2024-07-08 17:32:01

    本文转载自:http://blog.csdn.net/haojun186/article/details/79775651.  HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Had...

  • hive学习笔记——表的基本的操作

    时间:2024-07-08 17:26:54

    1、hive的数据加载方式1.1、load data这中方式一般用于初始化的时候load data [local] inpath '...' [overwrite] into table t1 [partition(...)]-- 如果有local是从linux磁盘加载,如果没带local是从hdf...

  • hive学习笔记之四:分区表

    时间:2024-07-08 17:24:12

    欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数...

  • Hive—学习笔记(一)

    时间:2024-07-08 17:05:25

    主要内容:1、Hive的基本工能机制和概念2、hive的安装和基本使用3、HQL4、hive的脚本化运行使用方式5、hive的基本语法--建表语法6、hive的基本语法--内部表和外部表.7、hive的基本语法--create建表 like as8、hive的基本语法--数据导入--从本地--从hd...

  • 【原】hive 操作笔记

    时间:2024-07-08 17:02:50

    1、建表:hive> CREATE TABLE pokes (foo INT, bar STRING);hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);由于很多数据在hadoop平台,...

  • 【大数据】Hive学习笔记

    时间:2024-07-08 16:42:44

    第1章 Hive基本概念1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2...

  • Hive查询优化 - 面试工作不走弯路

    时间:2024-07-08 07:11:40

    引言:Hive作为一种基于Hadoop的数据仓库工具,广泛应用于大数据分析。然而,由于其依赖于MapReduce框架,查询的性能可能会受到影响。为了确保Hive查询能够高效运行,掌握查询优化技巧至关重要。在日常工作中,高效的Hive查询不仅能提高数据处理的速度,还能有效节省计算资源,降低成本。同时,...

  • Hive(三)Hive元数据信息对应MySQL数据库表

    时间:2024-07-06 21:34:17

    概述Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表一、存储Hive版本的元数据表(VERSION)VERSION   -- 查询版本信息该表比较简单,...