摘要: 1.列表 定义方法 nemes=['liubei',1,'guanyu',2,'zhangfei',3,'zhugeliang',4] 通过下标访问列表中的元素,下标从0开始计数,-1可取最后一个 print(names[0]) print(names[-1]) #取最后一个 列表的切片:取多个值, 阅读全文
posted @ 2018-01-07 21:13 逍遥游2 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 一、 Python介绍 python的创始人为吉多·范罗苏姆(Guido van Rossum)。1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承。 Python崇尚优美、清晰、简单,是一个优秀并广泛使用的语言。 二、版本的选择 阅读全文
posted @ 2017-12-26 00:17 逍遥游2 阅读(122) 评论(0) 推荐(0) 编辑
摘要: python的egg文件有点像java中的jar文件,是一个工程打包文件,便于安装部署,仅此一点,给多少pythoner带来了多少激动。如何制作egg文件呢?see官方文档http://peak.telecommunity.com/DevCenter/PythonEggs,到http://pypi. 阅读全文
posted @ 2017-11-13 23:46 逍遥游2 阅读(2764) 评论(0) 推荐(0) 编辑
摘要: 一、下载软件 1.https://pypi.python.org/pypi/pymongo/#downloads 下载 PYMONGO 下载后 用命令提示符 cmd进入目录 并运行命令 python setup.py install 2.下载 xlrd https://pypi.python.org 阅读全文
posted @ 2017-11-13 23:42 逍遥游2 阅读(5456) 评论(0) 推荐(0) 编辑
摘要: 一、数据库操作的基本命令 1."show dbs" 命令可以显示所有数据的列表。 show tables 显示集合列表 2.执行 "db" 命令可以显示当前数据库对象或集合。 3.运行"use"命令,可以连接到一个指定的数据库。 4.删除数据库 db.dropDatabase() 删除集合 db.c 阅读全文
posted @ 2017-11-05 22:56 逍遥游2 阅读(1087) 评论(0) 推荐(0) 编辑
摘要: mongodb的基本概念1.文档1.1定义:文档是mongodb的核心概念。多个键及其关联的值有序地放 置在一起便是文档。 文档可以理解为关系数据库总的一行数据。1.2表示方法:{"greeting":"hello,world"}1.3注意事项:文档包含多个键/值 对文档中的键/值 对是有序的文档中 阅读全文
posted @ 2017-11-05 21:59 逍遥游2 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 1.下载mongodb软件 官网下载地址: https://www.mongodb.com/download-center#community 选择适合windows的安装包 需要注意的是当前只支持 64位的服务器,大小在150Mb 左右 可以用浏览器下载,也可以用下载工具下载,一般来说国外网站上下 阅读全文
posted @ 2017-11-01 22:54 逍遥游2 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 通过之前的学习,我们编写了两个基本的爬虫。但对于一些内容大的网站,我们就需要对其进行跟踪链接,利用正则表达式来确定需要下载的页面。1.正则表达式 下载链接 ,其中 urlparse 模块用来实现相对路径转换成绝对路径,通过一个 import reimport urlparse def link_cr 阅读全文
posted @ 2017-10-08 20:58 逍遥游2 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 我们在访问网站的时候,发现有些网页ID 是按顺序排列的数字,这个时候我们就可以使用ID遍历的方式来爬取内容。但是局限性在于有些ID数字在10位数左右,那么这样爬取效率就会很低很低!import itertoolsfrom common import downloaddef iteration(): 阅读全文
posted @ 2017-10-08 20:35 逍遥游2 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 以下定义了一个网站地图爬虫, 阅读全文
posted @ 2017-10-08 20:30 逍遥游2 阅读(827) 评论(0) 推荐(0) 编辑