摘要：
1、Scrapy有一个扩展组件，叫作scrapyd，只需安装扩展组件，即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等。 2、Docker集群部署，只需将爬虫作为Docker镜像，只要主机安装了Docker，就可以直接运行爬虫，无需担心配置、版本问题。 Docker是一种容器技术，可 阅读全文
|
摘要：
1、Scrapy有一个扩展组件，叫作scrapyd，只需安装扩展组件，即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等。 2、Docker集群部署，只需将爬虫作为Docker镜像，只要主机安装了Docker，就可以直接运行爬虫，无需担心配置、版本问题。 Docker是一种容器技术，可 阅读全文
摘要：
1、MySQL是个轻量型的数据库。下载地址：https://dev.mysql.com/downloads/mysql/ 2、解压到本地文档 3、配置初始化my.ini文件 [mysqld]port=3306basedir=E:\mysql\mysqldatadir=E:\mysql\mysql\d 阅读全文
摘要：
PhantomJS是一个无边界、可脚本编程的WebKit浏览器引擎，原生支持多种web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。 Slenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器。其运行效率高并支持各种参数配置，使用方便。下载地址：https:// 阅读全文
摘要：
Selenium库是一个自动化测试工具要配合Chromedriver使用。下载网址：https://chromedriver.storage.googleapis.com/index.html1、根据对应谷歌浏览器版本下载对应版本压缩包 2、直接将exe程序拖到python的scripts目录下或者 阅读全文
摘要：
1、pycharm官网下载最新版本官网地址：https://www.jetbrains.com/pycharm/download/#section=windows 2、python解析器下载官网地址：https://www.jetbrains.com.cn/pycharm/promo/?utm_so 阅读全文
|