摘要： 一 首先想到的是将selenium 写在下载中间件的process_request中。如以下代码。 middleware.py 但这有一个问题是，打开的selenium并不能关闭 二 可以考虑将driver放在spider中。 好处有以下几点： 1 并不是每个spider 都是需要用selenium 阅读全文

摘要： https://github.com/factsbenchmarks/Weibo 学到的东西。 1 习惯用logger，而不是用print 2 习惯用正则表达式 这是在pipeline清理数据时用到的 3 time模块都快忘干净了吧 4 eval的妙用，还可以这样用！ 注释的是lowB代码。如果字段 阅读全文

摘要： 解决办法 查了很多资料，包括下载vc，然而并没有什么卵用。 最后在这里找到方法了 http://landinghub.visualstudio.com/visual-cpp-build-tools https://wiki.python.org/moin/WindowsCompilers 执行下面这 阅读全文