摘要：
在网上看到一篇关于隐马尔科夫模型的介绍，觉得简直不能再神奇，又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客，无奈大神没给可以运行的代码，只能纯手动网上找到了结巴分词的词库，根据此训练得出隐马尔科夫模型，用维特比算法实现了一个简单的拼音输入法。githuh地址：https://g 阅读全文
摘要：
爬虫流程 在上周写完用scrapy爬去知乎用户信息的爬虫之后，github上star个数一下就在公司小组内部排的上名次了，我还信誓旦旦的跟上级吹牛皮说如果再写一个，都不好意思和你再提star了，怕你们伤心。上级不屑的说，那就写一个爬虫爬一爬github，找一找python大牛，公司也正好在找人。临危 阅读全文
摘要：
接我上篇博客，为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq，连接https://github.com/LiuRoy/spider_docker 进入spider_docker目录，执行命令： docker build --rm -t z 阅读全文
摘要：
此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注 阅读全文
摘要：
做过 web 开发的都知道：浏览器会把重要的认证登录认证信息存放到 cookie 中，在 cookie 有效期内，再次访问这个网站的时候就可以直接从 cookie 中获取到登录信息，这样就可以实现自动登录。但仅仅知道知道这些肯定不能满足很多人的旺盛的求知欲，那么我就 mac 系统下的 Chrome 阅读全文
摘要：
闲来无事，在博客园的论坛里随意游荡，看到一个开源的python库，名字叫做结巴分词，一直很好奇这些自然语言的处理方式，但是网上的相关介绍却少的可怜，仅有的一些博客写介绍的比较浅。幸好代码量不多，花了两周的时间把代码和设计的算法仔细的梳理了一边，供大家参考，也希望能够抛砖引玉。先看一下分词用到了哪些算... 阅读全文
摘要：
上次写了一个爬世纪佳缘的爬虫之后，今天再接再厉又写了一个新浪博客的爬虫。写完之后，我想了一会儿，要不要在博客园里面写个帖子记录一下，因为我觉得这份代码的含金量确实太低，有点炒冷饭的嫌疑，就是把上次的代码精简了一下，用在另外一个网站而已，而且爬别人的博客总有一种做贼心虚的感觉，怕被各位园友认为是偷窥狂... 阅读全文
摘要：
最近一段时间不知怎得像是中了什么魔怔，特别的想用python写一个网络爬虫，也许是看了知乎上的某位大牛的分享，深感能自己写一个程序在浩瀚的互联网数据海洋中发现有意思的数据的酷炫，抑或就是想单纯的体验一把程序猿的人生价值。在当我信誓旦旦的决定用一到两周准备实现这个宏伟的理想的时候，我马上就遇到了瓶颈，... 阅读全文
摘要：
最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫，能一次... 阅读全文