20190425 看数据统计和数据挖掘让我写了一篇杂文

最开始做数据的时候，你认为你是一个做数据的，你只是写写SQL，其实这有很多的方向和发展，不要空了就玩手机，很多人的区别就在于你有没有去不断努力，太多的人认为上年纪了学不快，学不进去了，他们只是精力不在此，我倒是很欣赏那些哪怕60岁依旧在进步的人，无论什么方式，什么速度，什么内容都值得尊敬，值得钦佩，人贵早闻夕死，吾愿足以，也许我能力有限，学习能力也有限，甚至理解力也低于很多人，但我只做我自己，只愿自己今天知道的会的比昨天多，每天总结今天做了什么。

也许每个人起点不同、知识结构不同、方向不同、但你是否真的执着于你的选择并且坚持下去，坚持源于热爱，源于也许没有结果但你并不害怕

 

1.SQL --- > 统计数据，自带聚集函数，数学公式---> 然而你得到的技能是SQL-->你可以思考的是不再是记忆这些表和数据栏位---> 你应该看一下这些表的构成它关系到一个业务模型，无论应用系统模型，还是分析系统---> 应用系统模式是产生和收集这些数据的地方---> 分析系统是统计分析数据的地方

 

2.那么在分析系统中 ---> 很多问题都是由于时差导致的，那就是从应用系统到分析系统的中间ETL 数据同步或者接口平台同步，方式不一，由于数据量太多所以往往不是全量同步（会有性能问题），往往是增量同步（会出现遗漏补漏问题），再有就是再生成数据，数据在某个点某个时间的状态不同，生产的数据也不同（会出现数据不同）

 

3.在分析系统对应的数据仓库中做数据加工 ---> 这里提高的是你对仓库的理解和构想以及对数据的应用，除了用SQL 去加工那么可以用Python pandas去处理，除报表呈现外

应该对比的是它们的区别功效意义，性能

 

4.那么统计和挖掘的区别

统计大多数用于分析系统

挖掘更多的时候用于推荐系统

这两个，我总感觉没有特别明显的界线

统计是为了得到行业趋势，统计分析是为了从数据中得到知识，统计更多的是体现现有的数据的状态，反应异常原因和情况，为的的避免一些不必要问题的出现降低后期损失，提高产能（规避风险，作为未来发展的参考）

挖掘也是如此，挖掘是为了得到更多用户的喜好，更好的服务于客户而不是去暴露客户的隐私，更需要注意的区别在于产品和产品之间可能产生的隐藏关系

（从电商来看，更多的是发现，通过算法去计算可能性）

总得来说，统计和挖掘针对的问题不太相同，但有相辅相成的作用，无论上面那种都是比拼数学能力！

 

有些人很成功，因为他们总是像一个方向努力，从初级程序员-->到中级-->到高级-->再到项目经理，但很多人都会停留在项目经理很多年很多年，为什么呢，因为他们走管理层，一个完整的项目他们已经知道如何去完成，并能很好的管控和指点下面的人去完成，计划好项目工时

有人说觉得自己做不到项目经理，原因有两种，一种没有自信，一种没有容人之量，做技术的人大多恃才傲物，更有的脾气古怪，不够谦和，也许会被理解为谦和的人没什么能力不敢高傲，除非你能在技术上折服对方，能谦虚而不断进步的少有，能不安于现状的也少，所谓的舒适区，就像温水煮青蛙。时不时的问一下自己有没有被煮熟

很多人喜欢讲述自己过去的种种能力种种成就，能把很小的事情讲得很厉害，当然我也很佩服这种表达能力，比如当对现状不满时，总会还念过去的公司，过去自己已经得到的认同，这会阻碍进步的心，空杯的心态很少有人能做到，会逐渐失去重新开始的勇气，当然在新的公司新的人群中要得到认同确实实属不易，这也是为什么很多人不轻易更换工作的原因，因为你要去符合别人的规则。而不是别人适应你的规则