摘要: 首先需要安装第三方包pymongo pip install pymongodb 阅读全文
posted @ 2019-08-15 11:44 JayMu 阅读(288) 评论(0) 推荐(0) 编辑
摘要: mongodb查询操作 1.查询操作 db.getCollection('example_data_1').find({}) 查询所有的信息,相当于mysql中的select * from table_name; 2.查询特定条件的就需要在 db.getCollection('example_dat 阅读全文
posted @ 2019-08-15 10:38 JayMu 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 第二章,了解Mongodb保存数据 Mongodb对于每次插入的数据没有要求,字段可以随便变动,字段类型可以随意变动。 Mongodb可以并发插入上万条文档,这是传统关系型数据库不能望其项背的。 1.从队列Queue到Redis 在某些场景下,使用队列可以提高程序的运行性能,但是如何选择合适的队列也 阅读全文
posted @ 2019-08-14 17:32 JayMu 阅读(1064) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 1,为什么要使用非关系型数据库,关系型数据库咋滴,不能用嘛? 存在即合理,非关系型数据库的出现,那说明关系型数据库不适用了。 非关系型数据库(NOSQL)-->Not only SQL,不仅是SQL。 2.关系型数据库遇到的问题, 社交网络飞速发展,难以应付每秒上万次的高并发数据库写入 阅读全文
posted @ 2019-08-14 16:08 JayMu 阅读(447) 评论(0) 推荐(0) 编辑
摘要: 2019-08-09 英语自认为还算可以,不好也不差。但是做软考英文题目题,选一个错一个啊。备受打击。 题目如下: A project is a [temporary] 【temporary:临时的】(Sequence) of unique 【unique:独特的】,complex,and conn 阅读全文
posted @ 2019-08-09 17:01 JayMu 阅读(1879) 评论(0) 推荐(1) 编辑
摘要: 执行结果: 我第一个觉得a,b都是同时指向列表[1,2,3],对b修改,a也会同时修改。所以结果应该是 [1,2,3,1,2,3][1,2,3,1,2,3]但是结果确实错误的。 对于操作b = b+ [1,2,3] 先计算b+[1,2,3]然后 b再指向这个结果。所以b的结果会发生改变。 b += 阅读全文
posted @ 2019-07-25 16:45 JayMu 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 昨天去面试,发现了装饰器还是不太熟悉, 笔试题目是: 随意编写两个对输入参数做加减乘除运算的函数(需要有除法),写完后,用装饰器实现对函数出现除数为0的异常捕获,如果有异常,使用print打印日志。 这个题我就懵了,装饰器不是在def 函数中上面使用@ 才是装饰器吗,这个怎么用。我只会使用try e 阅读全文
posted @ 2019-07-25 16:03 JayMu 阅读(161) 评论(0) 推荐(0) 编辑
摘要: selenium是可以模拟浏览器操作。 有些爬虫是异步加载的,通过爬取网页源码是得不到需要的内容。所以可以模拟浏览器去登陆该网站进行爬取操作。 需要安装selenium通过pip install xxx安装,如果你使用的Anaconda3,可以使用conda install xxx这些都是可以 值得 阅读全文
posted @ 2019-07-24 10:34 JayMu 阅读(891) 评论(0) 推荐(1) 编辑
摘要: 入门scrapy。 学习了有这几点 1.如何使用scrapy框架对网站进行爬虫; 2.如何对网页源代码使用xpath进行解析; 3.如何书写spider爬虫文件,对源代码进行解析; 4.学会使用scrapy的基础命令,创建项目,使用模板生成一个爬虫文件spider; 5,通过配置settings.p 阅读全文
posted @ 2019-07-04 15:11 JayMu 阅读(663) 评论(0) 推荐(0) 编辑
摘要: scarpy据说是目前最强大的爬虫框架,没有之一。就是这么自信。 官网都是这么说的。 An open source and collaborative framework for extracting the data you need from websites. In a fast, simpl 阅读全文
posted @ 2019-07-03 16:52 JayMu 阅读(391) 评论(0) 推荐(0) 编辑