随笔分类 - Python
摘要：模拟登录，可以解决某些网站，必须要登录才能抓取的问题。 模拟登录就是要拿到网站的 cookie。 当爬虫程序进入网站开始抓取时数据时，爬虫的入口并不是 scrapy 给定的 pass ，而是 scrapy 封装好的 start_requests ，这个方法就是对 start_urls 执行 for
阅读全文
摘要：项目开发时，为了不污染全局环境，通常会使用虚拟环境隔离工具： virtualenv virtualenvwrapper 是将所有的虚拟环境放在同一个目录下，方便管理，在使用shell配合小型开发工具就会非常方便。 下面以 win10 下安装虚拟环境包管理工具为例： 安装 1. 使用豆瓣源安装 用户为
阅读全文
摘要：昨天把 Pycharm 安装好了，今天开始安装 mysql 数据库。 My Sql 如果电脑上第一次安装 my sql ，会让注册一个 Oracle 帐户，浏览器输入 ：mysql for windows 就可以找到，新版本下载完整版 400 多M。 1. 选择只安装 mysql 2. 直接 nex
阅读全文
摘要：Pycharm 版本，这里使用的是专业版，支持 Win / Mac / Linux。 下面的地址可以直接下载各个版本的软件： 此安装包是官网直接复制过来的，大家也可以自己去官网下载： Pycharm下载链接：软件下载 Pycharm 安装教程：安装教程 我下载的是官方原版安装包，我的电脑系统是 Wi
阅读全文
