Hive 笔记

DESCRIBE EXTENDED mydb.employees DESCRIBE EXTENDED mydb.employees DESCRIBE EXTENDED mydb.employees
hive> SHOW PARTITIONS employees; SHOW PARTITIONS command
Hive : select from group by : group by 对聚合操作之外的字段使用. 先是 from group by 执行后, 才执行select操作.
Hive 数据库时间转换: tbl_pv_hour.time字段, 格式是

20141019 10:40:01

20141019 10:51:25

20141019 10:51:02

20141019 10:42:03

20141019 10:41:47

转换成基准时间是unix_timestamp(time,'yyyyMMdd HH:mm:ss'), 时间格式字符串不可少.

select unix_timestamp(time,'yyyyMMdd HH:mm:ss') from tbl_pv_hour where dt="20141019" limit 5;
GROUP BY : 分组, 将同一个字段的同一个值, 聚合为一组. 组中是一个关键字的多条记录.

在此基础上, 再使用聚合函数:max() \ min() \ sum() 等, 则会在一个关键字值对应的分组中找到最大(max()) 最小(min()) 的一条记录, 即实现了去重.

示例:

INSERT INTO TABLE default.general_details_day_gaozs

    SELECT letv_cookie,max(ip),max(country),max(area),max(province),max(city),max(nettype),max(os),

        max(os_version),p1,p2,max(p3),max(app),max(brand),max(terminal_id),max(resolution),max(browser),max(fake)

    FROM data_raw.tbl_env_hour

    WHERE dt=${datetime} and product=1

    GROUP BY letv_cookie,p1,p2

其中 GROUP BY letv_cookie,p1,p2 将数据分组, max()将分组中最大值取出, 完成去重. 语句中不出现distinct, 没用.
好的