摘要： 相关博客： "Python实现的异步代理爬虫及代理池1 基本功能" 在啃完 "《流畅的Python》" 之后，发现我之前实现的 "proxypool" 是有问题的：它虽然使用了 的，但却不是并发的，依旧是顺序的，所以运行的速度非常慢。在实现并发后，按照现有的5个规则爬取一次这5个代理网站目前用时 不 阅读全文

摘要： 使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。 源码 "Github 阅读全文

摘要： 所谓静态资源，是指图片、js、css等文件。官方的说明在 "这里" 。 以一个小项目来说明，下面是项目的目录结构： 在 给2个静态文件目录 和`static/font`添加路由： 先来看看 方法的定义： 必需的2个参数： ：是静态文件的 的前缀，以 开始，在浏览器地址栏上显示在网站host之后，也用 阅读全文

摘要： 更新 2017.2.23有更新，见文末。 MCTS与UCT 下面的内容引用自徐心和与徐长明的论文《计算机博弈原理与方法学概述》： 蒙特卡洛模拟对局就是从某一棋局出发，随机走棋。有人形象地比喻，让两个傻子下棋，他们只懂得棋规，不懂得策略，最终总是可以决出胜负。这个胜负是有偶然性的。但是如果让成千上万对 阅读全文

摘要： 最近重拾之前半途而废的C++，恰好看到了《 "C++ 实现银行排队服务模拟" 》，但是没有实验楼的会员，看不到具体的实现，正好用来作为练习。 模拟的是银行的排队叫号系统，所有顾客以先来后到的顺序在同一个队列中等待，当有服务窗口空闲时，则队首的顾客接受服务，完成后则下一位顾客开始接受服务。 本实现是事 阅读全文

摘要： 当有多个spider和pipeline时，为spider指定pipeline 阅读全文

摘要： 将scrapy获取到的cookies保存到文件；从文件中获取cookies并在请求时发送出去。可以用于模拟登录。 阅读全文

摘要： nginx的版本是1.2.1。 设置配置文件disableip.conf： server { listen 80; server_name _; return500; } 这是最终使用的配置文件，也是网上找到的常见的配置之一，最初该conf文件在sites-available文件夹下，尝试使用各种参 阅读全文