Hive 任务优化 tips

时间:2021-03-21 07:37:03

1.  集群任务队列:

一般有  root.default, root.online, root.offline, root.spark-thiftserver

Hue提交的任务一般默认在 default队列

如果是紧急任务,可以提交到其他队列,会快很多

方法: 指定队列  set mapreduce.job.queuename =

2. 如何kill yarn任务:

yarn application -kill application_id

3. HIVE 基本语义查询

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Add/ReplaceColumns

4. union all 优化

-- 开启任务并行执行
set hive.exec.parallel=true;
-- 同一个sql允许并行任务的最大线程数
set hive.exec.parallel.thread.number=8;

加在sql前面,适合union all多的情况,并行执行