摘要: 首先我们打开唐诗三百首网页 目标分析: 网页详情如下: 我们很容易就能发现,每一个分类都是包裹在: 这种调理清晰的网站,大大方便了我们爬虫的编写。 下面是每个板块标题的特征 下面是每个板块的特征,很明显每首古诗的标题、链接的后半部分都存放在<a>标签里面。 这样一来,我们只需要在当前页面找到所有古诗 阅读全文
posted @ 2017-07-09 22:51 Freeman耀 阅读(1074) 评论(0) 推荐(0) 编辑
摘要: 多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输入、文件读写和网络收发数 阅读全文
posted @ 2017-07-05 23:50 Freeman耀 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 目录 模块分为三种: 自定义模块 内置标准模块(又称标准库) 开源模块 自定义模块 和开源模块的使用参考 http://www.cnblogs.com/wupeiqi/articles/4963027.html 一、time & datetime模块 二、random模块 随机数 random.ch 阅读全文
posted @ 2017-06-30 13:06 Freeman耀 阅读(277) 评论(0) 推荐(0) 编辑
摘要: Beautiful Soup 库一般被称为bs4库,支持Python3,是我们写爬虫非常好的第三方库。因用起来十分的简便流畅。所以也被人叫做“美味汤”。下文会介绍该库的最基本的使用。 安装 Beautiful Soup Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理 阅读全文
posted @ 2017-06-29 19:27 Freeman耀 阅读(575) 评论(0) 推荐(0) 编辑
摘要: 爬虫的基本原理:爬虫本质上是模拟人浏览信息的过程,只不过他通过计算机来达到快速抓取筛选信息的目的。所以我们想要写一个爬虫,最基本的就是要将我们需要抓取信息的网页原原本本的抓取下来。这个时候就要用到requests库了。 1、requests的安装 requests库本质上就是模拟了我们用浏览器打开一 阅读全文
posted @ 2017-06-25 18:18 Freeman耀 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 目录 1.列表生成式,迭代器&生成器 看列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],现在要求把列表里的每个值加1 又或者 这就叫做列表生成 生成器 通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占 阅读全文
posted @ 2017-06-25 15:00 Freeman耀 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 目录 1. 函数基本语法及特性 2. 参数与局部变量 3. 返回值 知识插入:嵌套函数 4.递归 5.匿名函数 6.函数式编程介绍 7.高阶函数 8.内置函数 一、函数基本语法 函数是什么? 函数一词来源于数学,但编程中的「函数」概念,与数学中的函数是有很大不同的,具体区别,后面会讲,编程中的函数在 阅读全文
posted @ 2017-06-15 10:52 Freeman耀 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 目录: 1.列表、元组操作 2.字符串操作 3.字典操作 4.集合操作 5.文件操作 6.字符编码与转码 一、列表、元组操作 定义列表 通过下标访问列表中的元素,下标从0开始计数 切片:取多个元素 追加 插入 修改 删除 延伸/扩展 拷贝 统计 排序and翻转 获取列表下表 元组 元组跟列表差不多, 阅读全文
posted @ 2017-06-14 10:26 Freeman耀 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 目录: 1、Python 是一门什么样的语言? 2、Python的优缺点 3、Python解释器 4、Python安装 5、变量\字符编码 6、字符编码 7、.pyc是个什么文件? 8、数据类型初识 9、数据运算 10、表达式if ... else 11、表达式for 12、while语句 一、Py 阅读全文
posted @ 2017-06-10 10:05 Freeman耀 阅读(349) 评论(0) 推荐(0) 编辑