【转】Linux中多线程wait使用注意

使用管道生成的while,是无法进行并发管理的

 
复制代码
hdfs dfs -rmr $cdns_hadoop_base_dir/dt=$ydate
hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate
cat nodeList| while read nodename 
do
    hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
    ls *$nodename*lzo > cdnsFileListLzo
    while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo
wait
done
复制代码

 

里面用小括号括住代码块。。。

在处理日志的时候,采用管道多线程,怎么都实现不了wait功能,经上篇文章才知道,使用管道生成的while,无法进行并发管理。

while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo

修改为上述方式,完美解决问题。。。

 

OVER

posted @   宝山方圆  阅读(616)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示