摘要: Mongodb安装 deppin 15.9安装mongodb 1. 导入密匙 2. 创建源列表 注意:版本需要自己注意, 3. 跟新apt get源 4. 安装Mongdb 5. 这样安装时,日志文件位置在 ,配置文件位置在 下,我们也可以进行定制 6. 启动/停止 服务端 7. 连接服务端 阅读全文
posted @ 2019-01-24 21:51 云丛 阅读(163) 评论(0) 推荐(0) 编辑
摘要: mongodb mongo简介 简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似js 阅读全文
posted @ 2019-01-24 21:46 云丛 阅读(454) 评论(0) 推荐(0) 编辑
摘要:   爬虫目录 爬虫简介与requests模块 爬虫数据解析的三种方式 爬虫之selenium模块 Mongodb安装 爬虫之Mongodb模块 爬虫之scrapy框架 爬虫之增量式爬虫   阅读全文
posted @ 2019-01-24 09:52 云丛 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一 selenium模块 什么是selenium?selenium是Python的一个第三方库,对外提供的接口可以操作浏览器,然后让浏览器完成自动化的操作。 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 seleni 阅读全文
posted @ 2019-01-24 09:49 云丛 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 爬虫简介与requests模块 一 爬虫简介 概述 网络爬虫是一种按照一定规则,通过网页的链接地址来寻找网页的,从网站某一个页面(通常是首页)开始,读取网页的内容,找到网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止 爬虫的价值 互联网 阅读全文
posted @ 2019-01-24 09:45 云丛 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 爬虫数据解析的三方式 一.正则表达式解析 常用正则表达式回顾: 二 Xpath解析 XPath在Python的爬虫学习中,起着举足轻重的地位,对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但XPath明显比re具有优势,在网页分析上使re退居二线。 测试页面数据 常用xpath表达 阅读全文
posted @ 2019-01-24 09:42 云丛 阅读(179) 评论(0) 推荐(0) 编辑