这次我有经验了

摘要： 最近做时间序列分析需要用到Python中的statsmodels，但是安装过程中遇到很头疼的问题，Google、Stackover各种都没有找到合适的解决办法，而且貌似还有很多同学也在吐槽Windows下Python安装Scipy一团糟，所以有必要分享一下，帮助大家避开此坑。 一般来说，在Pytho 阅读全文

摘要： data = data.decode("utf-8") 出现错误时候可以加上第二个参数 如下; data = data.decode("utf-8","ignore") 忽略错误提示 阅读全文

摘要： 以前看到网上一些小程序，在处理完事物后会自动发送qq消息，但是一直搞不懂是说明原理。也在网上找过一些python登陆qq发送消息的文字，但是都太复杂了。今天偶然看到一篇文章，是用python调用win32的接口发送qq消息的，觉得不错，就先记录下来，日后肯定会用得上这些小工具。 发送qq消息要求已经 阅读全文

摘要： 即使是很小的网站，也要考虑周全，不能太过于简单粗暴的爬取。 可能这次顺利爬取，等到第二次更新数据的时候，别人设置了反扒策略，自己就傻眼了 狮子搏兔，亦用全力。 阅读全文

摘要： 在scrapy中使用代理时，我们不能保证每个代理都可用，难免出现代理ip错误的情况，如果代理ip出现错误设置一个请求超时和重新发送这个链接 在yield scrapy.Request时候加上一个参数： 代表请求超时为10秒 然后在settings中设置如下： 保存即可 阅读全文

摘要： 今天scrapy 发送一段url的时候，如下 里边有一对(),scrapy无法发送出去，()后边的参数不发送 解决方法： %加上括号的ASCLL码 如+的ASCLL码为2b 则应改成%2b 阅读全文

摘要： 在 scrapy 中， 调试的时候，发现回调函数 parse_detail 没有被调用，这可能就是被过滤掉了，查看 scrapy 的输出日志 offsite/filtered 会显示过滤的数目。这个问题如何解决呢，查看手册发现(https://doc.scrapy.org/en/latest/faq 阅读全文

摘要： 在Navicat中选定表，1.右键打开-->设计表,2.名（自定义），栏位（就是通过什么字段去重），索引类型（unique），索引方法（随意） 阅读全文

摘要： 好，现在进入进阶篇教程。 1.获取昆明市的bounds值 看到下面这个东西了吧？在文本框里写入昆明市，或者其他的行政区划地名，北京市、朝阳区、大河沟子村什么的。 这也是通过调用百度地图开放平台API实现的。 实现起来很简单，把下面这段代码复制到一个txt文件中，然后把txt文件的拓展名改成html， 阅读全文

摘要： 好，现在进入高阶代码篇。 目的： 爬取昆明市中学的兴趣点POI。 关键词：中学 已有ak：9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 昆明市坐标范围： 左下角：24.390894，102.174112 右上角：26.548645，103.678942 URL模板： http:/ 阅读全文