摘要：
public class Test { static HashMap sMap = new HashMap(); public static void main(String[] args) { sMap.put("1", "23"); sMap.put("2", "ad"); sMap.put("3", "1.0"); ... 阅读全文
摘要：
大家都知道，hive -f 后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive -e 后面是直接用双引号拼接hivesql，然后就可以执行命令。 但是，有这么一个东西，我的sql当中有一个split切割，暂且先不管这个分割的业务逻辑是什么，但是当中有一段是用小数点（ 阅读全文
摘要：
对hive中的表进行批量处理，如下是一个简单的脚本 阅读全文
摘要：
通过socket建立简单的聊天工具 server.py client.py 阅读全文
摘要：
本文代码转自廖雪峰老师的python教程 网络编程底层其实就是一个socket，代表两台机器之间的一个连接。 提供服务的一方是服务端，服务端程序需要绑定(s.bind())一个端口，然后长期监听（s.listen()）这个端口，收到消息(s.accept())后给予相应反馈。 反馈消息是通过新启动一 阅读全文
摘要：
本文代码转载廖雪峰老师的python3教程 分布式编程的难点在于： 1.服务器之间的通信，主节点如何了解从节点的执行进度，并在从节点之间进行负载均衡和任务调度； 2.如何让多个服务器上的进程访问同一资源的不同部分进行执行 第一部分涉及到网络编程的底层细节 第二个问题让我联想到hdfs的一些功能。 首 阅读全文
摘要：
之前的文章依赖是1对1或1多对的，但每个任务的前置任务都只有1个。 本文的核心在于一个任务依赖于多个任务的执行完成，如上图所示，这个任务就是fact,只有new和dviduser两个任务都完成的情况下，fact才能继续执行。 init_pipe.sh work.sh 阅读全文
摘要：
工作中往往遇到这种情况，有许多任务，依次执行比较浪费时间，由于任务之间有依赖关系，简单的并发执行又不行。 就如同下面这种情况，任务new和dvidUser是可以并发执行的，fact任务依赖于new任务，fact执行完之后last和stat才能执行； dvidUser执行完之后dvid和User两个任 阅读全文
摘要：
# 这是一个简单的并发程序，有如下要求： # 1.有两个程序a和b,希望他们能并发执行，以节约时间 # 2.a和b都是按照日期顺序执行，但b每日程序的前提条件是当日a的程序已经执行完毕 #解决方案： # 1.创建一个文件描述符作为pipe，a程序每次执行完就把一个日期发送给pipe,然后继续执行 # 2.b程序每次执行时先从pipe读取a的日期，如果a的日期>=b的日期，则b继续执行，否则阻塞。... 阅读全文
摘要：
awk # 内建常量 FILENAME 当前输入文件的名称 FNR 输入文件的记录数 FS 输入分隔符 NF 当前记录的字段数 NR 工作job中的记录数 OFS 输出字段分割符，默认' ' ORS 输出记录分隔符，默认'\n' RS 输入记录分隔符，默... 阅读全文