超人学院二期学员分享hadoop工作经验

定于2月17日——2月23日的某一天，邀请咱们学员分享一下hadoop工作经验。对于没工作过的同学或者没从事过hadoop工作的同学，抓住机会啊，你可以提前准备自己关心的各种问题！

具体时间请关注QQ群（3群261520795），超人学院其他群的朋友不必重复加到3群，每个群都会发公告的。

你的未来或许因为这次聆听而改变！

分享内容大纲原文如下：

 

1.分享内容

漫谈**移动互联网公司hadoop环境下**业务的报表研发流程、技术及其他相关内容

2.面向观众

初入职场和对数据处理有兴趣的同学。提示：互联网公司数据处理工作经验丰富同学请绕道，不耽误您时间

3.本人情况

超人学院二期学员

计算机专业研究生，即将毕业，在某大型互联网公司实习70天

所做项目：hadoop环境下某业务报表研发（日志拉取-预处理入hive-预聚合入mysql-前端报表展示）

4.具体分享点

1）公司报表系统现状和报表研发组人员安排及工作分工现状

公司目前的新旧报表系统现状：

公司集群说明：

本组项目介绍、人员分工情况和工作内容说明：

2）以**业务报表研发流程为例漫谈其流程、所涉及技术、团队项目沟通方式和软件

a、需求产生过程及遇到的问题和注意事项：

b、报表研发过程（数据处理流程）：

<1>需求整理及确认、遇到的问题和需注意事项

<2>日志拉取过程、所遇问题和需注意事项

<3>日志预处理（清洗，入hive）过程、所遇问题以及需注意事项

<4>预聚合过程（指标形成过程）、所遇问题和需注意事项

c、其他

<1>整个流程的监控机制、任务调度机制、数据正确性保证机制

<2>项目沟通方式和项目管理软件使用情况：

<3>所需掌握技能的个人总结

3）初入移动互联网职场工作感悟

总之

<1>职业是很严谨的，思想上先认真再认真对待，不论大小事；

<2>高效执行需求不可有拖延症；

<3>大小事都需过脑子，思路清晰透彻，切不可想当然，草率了事，踏踏实实将每一件事情办扎实；

<4>项目沟通中需精炼准确描述问题，尤其注意不可省略问题的前后场景；面对提问，需直答问题，不可给出替代答案；

<5>形成规范的做事流程和做事方法可节约较多时间并有利于做对事情和个人能力提升；

最后

愿大家都能正确评判自己所处位置并坚定好目标，然后不遗余力的前行。