摘要: 一个Python操作mongodb的模块 阅读全文
posted @ 2019-01-14 23:56 Tanglaoer 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 以下纯属搬砖,我用Python抓取的redis命令列表页内容 如果想看命令的具体使用可查去官网查看,以下整理为个人查找方便而已 阅读全文
posted @ 2019-01-14 23:40 Tanglaoer 阅读(3026) 评论(0) 推荐(0) 编辑
摘要: 一、简介 正则表达式本身是一种小型的、高度专业化的编程语言,而在python中,通过内嵌集成re模块,程序媛们可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码,然后由用C编写的匹配引擎执行。 二、正则表达式中常用的字符含义 1、普通字符和11个元字符: 普通字符 匹配自身 abc a 阅读全文
posted @ 2019-01-14 18:25 Tanglaoer 阅读(477) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 1、读写文件 open()将会返回一个file对象,基本语法: open(filename,mode) filename:是一个包含了访问的文件名称的路径字符串 mode:决定了打开文件的模式:只读,写入,追加等,默认文件访问模式为只读(r) 不同模式打开文件的列表: r:以只读的方式打开 阅读全文
posted @ 2019-01-14 17:47 Tanglaoer 阅读(276) 评论(0) 推荐(0) 编辑
摘要: scrapy.FormRequest 主要用于提交表单数据 先来看一下源码 参数: formdata (dict or iterable of tuples) – is a dictionary (or iterable of (key, value) tuples) containing HTML 阅读全文
posted @ 2019-01-14 17:31 Tanglaoer 阅读(1017) 评论(0) 推荐(0) 编辑
摘要: CrawlSpider继承自Spider, CrawlSpider主要用于有规则的url进行爬取。 先来说说它们的设计区别: SpiderSpider 类的设计原则是只爬取 start_urls 中的url,而 CrawlSpider 类定义了一些规则 rules 来提供跟进链接 link 的方便机 阅读全文
posted @ 2019-01-14 16:16 Tanglaoer 阅读(720) 评论(0) 推荐(0) 编辑
摘要: 创建项目 创建爬虫 目录结构 items.py pipelines.py spiders/hr.py 就是这么简单,就获取到数据 阅读全文
posted @ 2019-01-13 23:32 Tanglaoer 阅读(410) 评论(0) 推荐(0) 编辑
摘要: Django中的Form组件的讲解 阅读全文
posted @ 2019-01-13 21:49 Tanglaoer 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 1.创建一个新项目: scrapy startproject myproject 2.在新项目中创建一个新的spider文件: scrapy genspider mydomain mydomain.com mydomain为spider文件名,mydomain.com为爬取网站域名 3.全局命令: 阅读全文
posted @ 2019-01-13 21:37 Tanglaoer 阅读(3253) 评论(0) 推荐(0) 编辑
摘要: 本文的目标是通过大量的示例,来更好的理解如果在Mongodb中进行数据操作; 初入客户端刚利用 mongod命令进入客户端环境,此时对数据库一无所知; 举目四望,想知道现在有哪些数据库, show dbs; 因为是新装的mongodb环境,所以只看到了admin和local两个默认就存在的数据库;目 阅读全文
posted @ 2019-01-13 00:50 Tanglaoer 阅读(484) 评论(0) 推荐(0) 编辑