摘要:
程序员就是把一切手工做的事情变成让计算机来做,从而可以让自己偷偷懒。 以下就是个非常low的hive文件夹同步程序,至于节点超过100个或者1000个的,可以加个循环了。 阅读全文
摘要:
mapreduce可以直接对hdfs进行清洗和计算,这里介绍oozie中如何调度使用。 操作步骤如下: 案例:统计单词大小。 2.在workflow中可能引用 注意事项: 如果将mapper和reduce写在同一个类中时,在编译后生成的类如下,所以在workflow中填写,按照下面的类填写。 阅读全文