摘要: 目标站点需求分析 获取各类产品的名字,地区,时间,价格 涉及的库 获取各大类产品的链接 获取单页源码 解析单页源码 保存到文件中 结果 阅读全文
posted @ 2019-02-19 21:00 逐梦~前行 阅读(802) 评论(0) 推荐(0) 编辑
摘要: 目标站点需求分析 获取当当网每个图书名字和评论数 涉及的库 scrapy,mysql 获取解析单页源码 保存到数据库中 结果 阅读全文
posted @ 2019-02-19 20:54 逐梦~前行 阅读(459) 评论(0) 推荐(0) 编辑
摘要: 需求分析 数据库架构 注册 登录 首页 个人站点 文章+评论 后台 爬虫 数据分析 添加搜索+已上线 阅读全文
posted @ 2019-02-19 20:49 逐梦~前行 阅读(639) 评论(0) 推荐(0) 编辑
摘要: 目标站点需求分析 通用爬虫,获取和讯博客所有博文 涉及的库 scrapy,re,requests,mysql URL RULE 解析单页源码 保存到数据库 结果 阅读全文
posted @ 2019-02-19 20:40 逐梦~前行 阅读(414) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 官网:http://selenium-python.readthedocs.io 二 安装 1、有界面浏览器 # 安装:selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即 阅读全文
posted @ 2019-02-19 20:31 逐梦~前行 阅读(287) 评论(0) 推荐(0) 编辑
摘要: uri = 'mongodb://user:pass@39.108.29.203:27017/database'client = MongoClient(uri) 保存图片(二进制) from pymongo import MongoClient from gridfs import * impor 阅读全文
posted @ 2019-02-19 20:30 逐梦~前行 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 1 CBV源码分析(cbv和fbv) 1 在views中写一个类,继承View,里面写get方法,post方法 2 在路由中配置: url(r'^test/', views.Test.as_view()),实际上第二个参数位置,放的还是一个函数内存地址 3 当请求来了,就会执行第二个参数(reque 阅读全文
posted @ 2019-02-19 18:51 逐梦~前行 阅读(413) 评论(0) 推荐(0) 编辑