一、Hive的參数设置
1. 三种设定方式:配置文件
· 用户自己定义配置文件:$HIVE_CONF_DIR/hive-site.xml
· 默认配置文件:$HIVE_CONF_DIR/hive-default.xml
用户自己定义配置会覆盖默认配置。
另外,Hive也会读入Hadoop的配置,由于Hive是作为Hadoop的client启动的,Hadoop的配置文件包含
· $HADOOP_CONF_DIR/hive-site.xml
· $HADOOP_CONF_DIR/hive-default.xml
Hive的配置会覆盖Hadoop的配置。
配置文件的设定对本机启动的全部Hive进程都有效。
2. 命令行參数 ,
bin/hive -hiveconf hive.root.logger=INFO,console
这一设定对本次启动的Session(对于Server方式启动。则是全部请求的Sessions)有效。
3. 參数声明
set mapred.reduce.tasks=100;
这一设定的作用域也是Session级的
二、使用hive一些注意的地方
1. Hive使用的字符集默认是UTF-8。hive中没有转换字符编码的这样的函数
hive.exec.compress.output 这个參数, 默认是 false。
可是非常多时候貌似要单独显式设置一遍。否则会对结果做压缩的,假设你的这个文件后面还要在hadoop下直接操作, 那么就不能压缩了
2. Join中处理null值的语义差别
这里的特殊逻辑指的是,Hive的Join中,作为Joinkey的字段比較。null=null是有意义的。且返回值为true。检查下面查询:
select u.uid, count(u.uid)
from t_weblog l join t_user u on (l.uid = u.uid) groupby u.uid;
查询中,t_weblog表中uid为空的记录将和t_user表中uid为空的记录做连接。即l.uid = u.uid=null成立。
假设须要与标准一致的语义。我们须要改写查询手动过滤null值的情况:
select u.uid, count(u.uid)
from t_weblog l join t_user u
on (l.uid = u.uid and l.uid is not null and u.uid is notnull)
group by u.uid;
实践中,这一语义差别也是常常导致数据倾斜的原因之中的一个。
相关文章
- T-SQL中聚合函数对空值(NULL)的处理
- Java中null或空值的判断处理
- 浅谈数据挖掘中的数据处理(缺失值处理以及异常值检测)
- 【spring data jpa】spring data jpa 中的update 更新字段,如果原字段值为null不处理,不为null则在原来的值上加一段字符串
- Hive&SqlServerql:inner join on条件中如果两边都是空值的情况下,关联结果中会把数据给过滤掉。
- DB2中的空值和NULL值处理
- freemarker中的null异常处理以及!与??的使用(转)
- hive中与hbase外部表join时内存溢出(hive处理mapjoin的优化器机制)
- 动态SQL中的绑定变量——参数模式、占位符以及NULL值的处理
- 微软BI 之SSIS 系列 - 对于平面文件中 NULL 值处理过程中容易极易混淆的几个细节