摘要：
本文写作于大理苍山脚下的一家酒店的凉亭里。 ![image_1atg88v6s1lmql681nnv12q0f8jm.png 216.3kB][1] 沙漠君今年的目标，就是写一篇10万+阅读量的文章。上一篇《用机器学习预测机动车摇号》，就承载了这样的远大理想，在飞机起飞之前，我用颤抖的手点了发布，虽 阅读全文
摘要：
- 13位用户编码真的是随机的吗？
- 摇号池中有哪些未曾发现的规律和模式？
- 我们能否用机器学习的方式预测摇号结果？ 阅读全文
摘要：
之前，我感觉自己工作效率有点低下。于是我便学了一个习惯，搞一个待办列表，把要做的事情写下来，每次做完一件，就勾选一个。 刚听起来，这个办法真是不错，也是不少效率达人推荐的做法。但后来却有点变味:为了让完成的任务看起来多一些，我会把任务列表细化，尽量去罗列相对好完成的事情。于是，工作变成了程序化的“任 阅读全文
摘要：
不少朋友反映，Hawk的手气不错，好像没法处理动态页面。其实很容易，比其他软件都容易，让我慢慢道来。 1. 什么是动态页面 很多网站，在刷新的时候会返回页面的全部内容，但实际上只需要更新一部分，这样可大大节约带宽。这种方式一般叫ajax，服务器传递xml或者json到浏览器，浏览器的js代码执行，并 阅读全文
摘要：
不同语言的表现力是不一样的，以变量名为例，虽然大部分语言都对变量命名的长度没有严格的限制（只要别太长），但语言的风格强烈影响了代码的信息密度。 1. 低密度语言(10 20字符/语义) 我不得不谈到Java，Java是我见到的信息密度最低的语言。大量的Factory,Builder风格的超长命名，加 阅读全文
摘要：
软件在发布后，收到了各方朋友的反馈和提问。此处统一对一部分问题作出回复。 感谢你使用Hawk，软件是我写的，坑是我挖的。做爬虫本来就比较复杂，一些公司有专门的程序员做爬虫工程师。因此如果你很沮丧，很有可能是网站做了不少策略，确实很难爬。哎，这也是没有办法的事情。 闲话不说，进入正题。 1.自动嗅探失 阅读全文
摘要：
几个月前，我和几个长辈一起吃午饭，他们谈炒股聊的不亦乐乎，反正我对股票一窍不通，就边吃边听他们聊。股神的故事，一般都是三进三出，虎口脱险，苦尽甘来，此处按下不表。 其中一位长辈，几千万身家自不必说，用于炒股的流动资金都有几百万。我开始好奇千万身家的人的吃穿用度如何。但发现他穿的非常简单，大T恤配了卡 阅读全文
摘要：
Hawk在发布之后，收到了不少朋友的感谢和使用反馈，沙漠君表示非常开心。软件肯定有很多的问题和不足，还有很多可扩展的空间，因此我希望更多的朋友，能够参与到改进Hawk的计划中来，为开源世界作出努力。 不少朋友询问一些术语的意思，在下面解释一下： ETL:即数据清洗，包含抽取(E)，转换(T)和加载( 阅读全文
摘要：
1.这是什么鬼？ 哦？美女？ 最近看了这一篇文章：http://cuiqingcai.com/1001.html 大概说的是用Python和Pyspider（这货好像是我的一位师兄写的，吓尿），抓取淘宝淘女郎的所有美女照片。只是里面还要敲一堆代码，还要用其他动态js运行框架，看着好不烦人啊。 Haw 阅读全文
摘要：
1. 主角出场：Hawk介绍 Hawk是沙漠之鹰开发的一款数据抓取和清洗工具，目前已经在Github开源。详细介绍可参考：http://www.cnblogs.com/buptzym/p/5454190.html 强烈建议先读这篇文章，该文介绍了详细原理和抓取链家二手房的攻略，以此为基础，才能较好的 阅读全文