摘要: Scrapy框架 一、介绍 1.引擎(EGINE) 引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件。有关详细信息,请参见上面的数据流部分。 2.调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 阅读全文
posted @ 2019-08-13 23:14 ymg-颜 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 爬虫基础 爬虫定义 http协议里需要关注的 常用请求库、解析库、数据库的用法 请求库 常用解析语句 css选择器 requests html 解析 html对象属性 html对象方法 与浏览器交互 r.html.page.XXX 键盘事件 鼠标事件 阅读全文
posted @ 2019-08-13 19:18 ymg-颜 阅读(136) 评论(0) 推荐(0) 编辑
摘要: MongonDB 1.启动服务与终止服务 2.创建管理员用户 3.使用账号密码连接mongodb 4.数据库 5.表 6.数据 db.test.insert(user0) 插入一条 db.user.insertMany([user1,user2,user3,user4,user5]) 插入多条 db 阅读全文
posted @ 2019-08-13 19:17 ymg-颜 阅读(157) 评论(0) 推荐(0) 编辑