04 2017 档案
摘要:环境:Ubuntu Xenial (16.04) Scrapy 是一个不错的爬虫框架,但是不支持定时执行,常规的做法是使用 crontab 的方式进行定时执行 shell ,当爬虫数量多的时候,管理起来就非常麻烦,总是一个scrapy project 做一个deploy,很不方便 ,Google 了
阅读全文
摘要:环境:Ubuntu Xenial (16.04) !!! CentOS 参考这里 #安装 PostgreSQL sudo apt-get updatesudo apt-get upgradeapt-get install htop wget software-properties-common 默认: sudo apt-get install postgresql (9.5版本)...
阅读全文
摘要:相信大多数 python 的初学者们都曾为开发环境问题折腾了很久,包管理和 python 不同版本的问题,特别是 window 环境安装个 scrapy 各种报错 ,使用 Anaconda 可以很好的解决一些不必要的学习成本。 Anaconda 概述 Anaconda 是一个用于科学计算的 pyth
阅读全文