摘要:
scrapy多个page的爬取 scrapy post请求 scrapy通过爬到的URL继续发请求爬页面 阅读全文
摘要:
输入命令 安装 基础使用 1.创建项目:scrapy startproject 项目名称 项目结构: 2.创建爬虫应用程序: 3.编写爬虫文件:在步骤2执行完毕后,会在项目的spiders中生成一个应用名的py爬虫文件 4.设置修改settings.py配置文件相关配置: 5.执行爬虫程序:scra 阅读全文
摘要:
用Nginx+uwsgi原因 首先nginx 是对外的服务接口,外部浏览器通过url访问nginx, 2nginx 接收到浏览器发送过来的http请求,将包进行解析,分析url,如果是静态文件请求就直接访问用户给nginx配置的静态文件目录,直接返回用户请求的静态文件, 如果不是静态文件,而是一个动 阅读全文
摘要:
安装环境准备 安装,启动nginx 安装完成后检测服务 部署一个web站点 nginx默认站点是Nginx目录下的html文件夹,这里可以从nginx.conf中查到 如果要部署网站业务数据,只需要把开发好的程序全放到html目录下即可,只需要通过域名/资源,即可访问 Nginx的目录结构 conf 阅读全文
摘要:
在使用 Python 开发的过程中,工程一多,难免会碰到不同的工程依赖不同版本的库的问题,或者是在开发过程中不想让物理环境里充斥各种各样的库,引发未来的依赖灾难,所以要使用虚拟环境 确保开发环境的一致性 virtualenvwrapper virtualenv 的一个最大的缺点就是:每次开启虚拟环境 阅读全文
摘要:
全部代码 下载python源码包 安装python前的库环境 configure 这一步一般用来生成 Makefile,为下一步的编译做准备,可以通过在 configure 后加上参数来对安装进行控制,比如代码: 将该软件安装在 /usr 下面,执行文件就会安装在 /usr/bin (而不是默认的 阅读全文
摘要:
python操作redis 重要 线程池操作redis Linux安装redis 启动redis 打开注释,不然py客户端连不上 守护模式不开就no 指定配置文件进行启动 然后准备设置redis验证密码(不然py连接报错) 退出,重新登录redis Redis常用命令 redis数据结构 发布/订阅 阅读全文
摘要:
chromedriver下载 谷歌浏览器驱动下载地址:http://chromedriver.storage.googleapis.com/index.html http://npm.taobao.org/mirrors/chromedriver/ 下载的驱动程序必须和浏览器的版本统一,可以根据ht 阅读全文