爬虫工程师的苦与乐

这篇文章会聊聊做爬虫工程师的苦与乐。

作者：小歪

苦

每当数据检查不通过时，就会有点揪心，怕是又出了什么乱子。最可恨的就是网站改版，每次改版，原先设计的系统基本全部废掉，爬虫逻辑又得重新来。最近好几个网站改版。。。

而且有些网站就喜欢在放假时和周五发版，没办法啊，背上电脑，改吧。

 

 

 

昨天某网站不知道咋的挂了，今天修到现在，还在测试中，我的周末啊。还要补上事故说明，昨天某某数据没了，计算的时候注意点。谁能保证自己写的代码没BUG。。。

这是数据采集的苦，还有就是PM随意加需求的痛。那个数据爬下来看看；这个这么简单，什么时候能上线；今天什么都没改嘛？

 

好了，小吐槽下，自己还是要保持正能量，工作还是要做的。不过我觉得这是程序员的通病。

乐

可以接触到各种各样的反爬姿势，相应的可以学习到各种解决方法（大部分情况下，某些网站除外）。这点算是增加自己的经验阅历。

“与天奋斗，其乐无穷；与地奋斗，其乐无穷；与人奋斗，其乐无穷。

看成自己爬来的数据做成一个个产品。数据本身并没有价值，有价值的是如何利用。大多数情况下原始数据没法用，需要计算部门来处理，将其转化为可用的结构化数据，分析、挖掘、计算，最终产生价值。

还可以认识各种大牛吧。我们公司大牛真的很多，和他们带了一年多了，计算方面真的学到了不少。下周他们好像回成都校招，有兴趣的可以了解下。

自己负责的项目有BUG当然要及时去解决问题，做好自己的事情，尽量减少事故，也算一种责任。