摘要: 程序员就是把一切手工做的事情变成让计算机来做,从而可以让自己偷偷懒。 以下就是个非常low的hive文件夹同步程序,至于节点超过100个或者1000个的,可以加个循环了。 阅读全文
posted @ 2018-04-10 10:08 硅谷工具人 阅读(869) 评论(0) 推荐(0) 编辑
摘要: mapreduce可以直接对hdfs进行清洗和计算,这里介绍oozie中如何调度使用。 操作步骤如下: 案例:统计单词大小。 2.在workflow中可能引用 注意事项: 如果将mapper和reduce写在同一个类中时,在编译后生成的类如下,所以在workflow中填写,按照下面的类填写。 阅读全文
posted @ 2018-04-10 09:43 硅谷工具人 阅读(787) 评论(0) 推荐(0) 编辑
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。