摘要： 这是以前的一篇草稿，当初没写完，今天发出来，但总觉得水平有限，越学越觉得自己菜，写的博客水准低，发完这篇以后就谨慎发博了，毕竟自己菜，不能老吹B，下面是原稿。 好久没更了，本来年前想写篇关于爬虫的总结来，结果在家懒癌发作，开学了也没“挤”出时间来。今天主要是心情好，写下自己学到的一点知识，长了一点人 阅读全文

摘要： 最近弄了台机器，把以前的一些东西移植到这台机器上去，先远程看一下机器（其实就是一台虚拟机）配置，系统版本是Windows server2008R2 Enterprise，64位，4G内存，E7-8850处理器，只有一个盘，40G，可用23G，对我的东西还是基本够用的。看好配置，开装Python。 下 阅读全文

摘要： 这里主要说最近遇到的一个问题，不过目前只是换了一种思路先解决了，脑子里仍然有疑惑，只能怪自己太菜。 最近要把以前爬的数据用一下了，先简单的过滤一下，以前用scrapy存数据的时候为了省事也为了用一下它的item exporter，将数据持久化，用了jsonlinesitemexporter，并且导出 阅读全文

摘要： 前段时间爬了一些数据，想着以后要将数据的分析结果什么的展示出来，就想着下个MATLAB，某天在微信上的一篇文章发现matplotlib库，是用于Python的一个不错的图形化库，就想着装上耍耍。不过安装这个库有点麻烦，要依赖的东西比较多，我的Python是64位2.7版本，由于以前装scrapy，所 阅读全文

摘要： 最近在用scrapy重写以前的爬虫，由于豆瓣的某些信息要登录后才有权限查看，故要实现登录功能。豆瓣登录偶尔需要输入验证码，这个在以前写的爬虫里解决了验证码的问题，所以只要搞清楚scrapy怎么提交表单什么的就OK了。从网上找了点资料，说要重写CrawlSpider的start_requests，在重 阅读全文

摘要： 最近在学习scrapy，就想着用pycharm调试，但不知道怎么弄，从网上搜了很多方法，这里总结一个我试成功了的。 首先当然是安装scrapy，安装教程什么的网上一大堆，这里推荐一个详细的：http://blog.csdn.net/php_fly/article/details/19364913，里 阅读全文

摘要： 忙了好一阵终于忙完了，最近在重构代码，有许多地方要注释什么的，在多行注释时总是很麻烦，就想着pycharm有没有快捷键，就像visual studio一样。于是上Google搜一下PyCharm Default Keymap，找到JetBrains的官方文档看了看，谷歌翻译的不太好，转了一点别人的（ 阅读全文

摘要： 好久没写博客了，最近一直在用豆瓣API爬数据，不知道以前的是什么样，毕竟刚开始用没多久，就用最新的V2版本，以前的不更新了，可以参照https://developers.douban.com/wiki/?title=api_v2，但是在用某些API的时候会出一些问题，需要自己琢磨琢磨，因为网上关于A 阅读全文

摘要： 最近得赶进度爬点东西，对于豆瓣，它为开发者提供了API，目前是v2版本，目前key不对个人开放，但是可以正常通过其提供的API获取数据。豆瓣V2版API权限分3类:公开、高级、商务，我们用开放基本数据接口，一般个人爱好者自建网站或应用都能满足的公开权限。 还有一点，豆瓣API返回值为json，所谓J 阅读全文

摘要： 今天看到了GUI编程，书上推荐用wxPython，去官网上看了看，发现Windows的最高支持到2.7，我用的是3.4版本，咋办，用自带的库--Tkinter呗，它是Python的默认GUI库，几乎是个标准库，也是受广大开发者喜爱的。 Tkinter有很多组件（其实也不多，十来个），今天主要用标签、 阅读全文