【转】Linux中多线程wait使用注意

时间:2023-11-25 23:19:38

使用管道生成的while,是无法进行并发管理的

在处理日志的时候,采用管道多线程,怎么都实现不了wait功能,经上篇文章才知道,使用管道生成的while,无法进行并发管理。

while read query_log
do
( hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
rm $query_log -rf
yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
done < cdnsFileListLzo

修改为上述方式,完美解决问题。。。

OVER