12 2016 档案
摘要：Cat是美团点评出的一款APM工具，同类的产品也有不少，知名的开源产品如zipkin和pinpoint；国内收费的产品如oneapm。考虑到Cat在互联网公司的应用比较广，因此被纳入选型队列，我也有幸参与技术预言。 使用Cat断断续续将近两周的时间，感觉它还算是很轻量级的。文档相对来说薄弱一些，没有
阅读全文
摘要：这本书讲述了李鸿章一生的故事，从最初考取功名到弃文从武镇压太平军，再到办理军务以及外交，他这一辈子做了很多然后人称颂的事情，也留下了很多的骂名。功与过就不去判断了吧，了解的人自然会有正确的评价。总的来说这本书偏重于为李鸿章报不平，里面把很多事情的责任推到慈禧与光绪身上，当然这种想法我也认为是合理的。
阅读全文
摘要：这个类在日常的开发中，还是非常常用的。今天就总结一下Arrays工具类的常用方法。最常用的就是asList,sort,toStream,equals,copyOf了。另外可以深入学习下Arrays的排序算法，这个还是非常有用的。 所有的方法都是在下面的类中进行测试的: asList 这个方法可以把数
阅读全文
摘要：Spark是现在应用最广泛的分布式计算框架，oozie支持在它的调度中执行spark。在我的日常工作中，一部分工作就是基于oozie维护好每天的spark离线任务，合理的设计工作流并分配适合的参数对于spark的稳定运行十分重要。 Spark Action 这个Action允许执行spark任务，需
阅读全文
摘要：在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。 目前正在结合机器学习理论学习MLlib源码
阅读全文
摘要：试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些
阅读全文
摘要：工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。今天第一天阅读源码，由于没有编译成功，不能运行测试用例，直接使用sublime肉眼阅读，还是挺费劲的。 虽然流程还不是顺畅，但是大体上的内容还算是了
阅读全文
摘要：之前也看过产品经理相关的书籍《启示录》，这次还是从书单里面挑了这本《结网》。结网的作者就是著名的糗事百科创始人。之前连续几年看了几年的糗百，所以慕名拜读这本书。 书中内容 "豆瓣·结网" 关于沟通 沟通是人与人日常交流必不可少的部分，即便是天天写代码的程序员也是需要时常与人沟通的。比如询问技术负责人
阅读全文
摘要：在hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，多用户任务下的资源调度就显得十分关键了。比如，一个公司拥有一个几十个节点的hadoop集群，a项目组要进行一个计算任务，b项目组要计算一个任务，集群到底先执行哪个任务？如果你需要提交1000个任务呢？这些任务又是如何执行的？
阅读全文
