2018年8月13日
Mongdb的索引备份以及和python交互
摘要： 1. mongodb的索引 知识点 掌握mongodb索引的创建，删除操作 掌握mongodb查看索引的方法 掌握mongodb创建联合索引的方法 掌握mongodb创建唯一索引的方法 1.1 为什么mongdb需要创建索引 加快查询速度 进行数据的去重 1.2 mongodb创建简单的索引方法 语 阅读全文
posted @ 2018-08-13 22:12 __wu__yc 阅读(141) 评论(0) 推荐(0) 编辑
mongodb的聚合操作
摘要： 1. mongodb的聚合是什么 聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。 语法：db.集合名称.aggregate({管道:{表达式}}) 2. mong 阅读全文
posted @ 2018-08-13 22:06 __wu__yc 阅读(333) 评论(0) 推荐(0) 编辑
Mongodb数据库的基本介绍
摘要： mongodb的介绍和安装 1. nosql的介绍 “NoSQL”⼀词最早于1998年被⽤于⼀个轻量级的关系数据库的名字 随着web2.0的快速发展， NoSQL概念在2009年被提了出来 NoSQL在2010年⻛⽣⽔起， 现在国内外众多⼤⼩⽹站， 如facebook、 google、 淘宝、 京东 阅读全文
posted @ 2018-08-13 21:46 __wu__yc 阅读(292) 评论(0) 推荐(0) 编辑
selenium的基本使用
摘要： 常见的反爬手段和解决思路 常见的反爬手段和解决思路 目标 了解常用的反爬手段和解决思路 1. 明确反反爬的主要思路 反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie， 阅读全文
posted @ 2018-08-13 21:34 __wu__yc 阅读(281) 评论(0) 推荐(0) 编辑
2018年8月7日
多任务的爬虫
摘要： 1.多线程的方法使用 在python3中，主线程主进程结束，子线程，子进程不会结束 为了能够让主线程回收子线程，可以把子线程设置为守护线程,即该线程不重要，主线程结束，子线程结束. 2.队列模块的使用 3.多线程实现思路剖析 代码如下: 多进程程的方法使用 多进程中队列的使用 多进程中使用普通的队列 阅读全文
posted @ 2018-08-07 23:15 __wu__yc 阅读(175) 评论(0) 推荐(0) 编辑
xpath的基本使用
摘要： xpath和lxml类库 1. 为什么要学习xpath和lxml lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息 2. 什么是xpath XPath (XML Path Language) 是一门在 HTML\XML 文档 阅读全文
posted @ 2018-08-07 22:56 __wu__yc 阅读(7638) 评论(1) 推荐(0) 编辑
正则表达式提取数据
摘要： 1. 什么是正则表达式 用事先定义好的一些特定字符、及这些特定字符的组合，组成一个规则字符串，这个规则字符串用来表达对字符串的一种过滤逻辑. 2. 正则表达式的常见语法 3.re模块的常见方法 re.match（从头找一个） re.search(从整个字符串找,找出一个) re.findall(找出 阅读全文
posted @ 2018-08-07 22:10 __wu__yc 阅读(34614) 评论(0) 推荐(0) 编辑
2018年8月1日
mysql数据库(3)-查询
摘要： 数据库设计规范 58到家数据库30条军规解读 查询 创建数据库、数据表 准备数据 查询所有字段 查询指定字段 使用 as 给字段起别名 可以通过 as 给表起别名 消除重复行 在select后面列前使用distinct可以消除重复的行 条件 使用where子句对表中的数据筛选，结果为true的行会出 阅读全文
posted @ 2018-08-01 22:28 __wu__yc 阅读(389) 评论(0) 推荐(0) 编辑
mysql数据库(2)
摘要： 命令行连接 在工作中主要使用命令操作方式，要求熟练编写 打开终端，运行命令 退出登录 登录成功后，输入如下命令查看效果 修改输入提示符 \D 完整日期 \U 使用用户 数据库 查看所有数据库 使用数据库 查看当前使用的数据库 创建数据库 删除数据库 数据表 查看当前数据库中所有表 查看表结构 创建表 阅读全文
posted @ 2018-08-01 22:20 __wu__yc 阅读(149) 评论(0) 推荐(0) 编辑
mysql数据库(1)
摘要： 数据库 数据库就是一种特殊的文件，其中存储着需要的数据. mysql数据库文件位置在 /var/lib/mysql 关系型数据库核心元素 数据行(记录) 数据列(字段) 数据表(数据行的集合) 数据库(数据表的集合) 类比excel表,一张Excel表文件相当于一个数据库,里面的一个个sheet相当 阅读全文
posted @ 2018-08-01 22:15 __wu__yc 阅读(146) 评论(0) 推荐(0) 编辑