摘要:
分布式系统如何实现垮库join:1.小表做广播 look up join,用索引读取大表。2.如果两个表都很大:1)先按照join的key读取两个表(比如走索引),再merge;2.按照join的key将数据shuffle到多个节点计算。3.F1 论文里讲了另一种方法,表之间可以建立层级关系,父子表 阅读全文
摘要:
Python 多线程 (一) 使用线程的两种方式: 1.函数式:调用thread模块中的start_new_thread()函数来产生新线程 thread.start_new_theard(function,args[,kwargs]) 或者threading.Thread(target=func, 阅读全文