2020年7月15日
摘要: 1、字符串 字符串英文 string ,是 python 中随处可见的数据类型,字符串的识别也非常的简单,就是用「引号」括起来的。 引号包括单引号 ' ' ,双引号 " " 和 三引号 ''' ''' ,比如 'abc' ,"123" 等等。 这里请注意,单引号 '' 或双引号 "" 本身只是一种表 阅读全文
posted @ 2020-07-15 22:56 滚雪球效应 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 一、Python 简介 Python 是著名的“龟叔” Guido van Rossum 在 1989 年圣诞节期间,为了打发无聊的圣诞节而编写的一个编程语言。牛人就是牛人,为了打发无聊时间竟然写了一个这么牛皮的编程语言。 Python 是高级编程语言,它有一个特点就是能快速的开发。Python 为 阅读全文
posted @ 2020-07-15 22:37 滚雪球效应 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 一,简明概述 1、编码 如无特殊情况, 文件一律使用 UTF-8 编码 如无特殊情况, 文件头部必须加入#-*-coding:utf-8-*-标识 2、代码格式 2.1、缩进 统一使用 4 个空格进行缩进 2.2、行宽 每行代码尽量不超过 80 个字符(在特殊情况下可以略微超过 80 ,但最长不得超 阅读全文
posted @ 2020-07-15 22:34 滚雪球效应 阅读(192) 评论(0) 推荐(0) 编辑
摘要: Python 越来越火爆 Python 在诞生之初,因为其功能不好,运转功率低,不支持多核,根本没有并发性可言,在计算功能不那么好的年代,一直没有火爆起来,甚至很多人根本不知道有这门语言。 随着时代的发展,物理硬件功能不断提高,而软件的复杂性也不断增大,开发效率越来越被企业重视。因此就有了不一样的声 阅读全文
posted @ 2020-07-15 22:06 滚雪球效应 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 一、想成为一个合格的架构师,你要知道软件架构是个什么概念,明白架构的定义: 1.软件架构是一个系统的草图。 2.软件架构描述的对象是直接构成系统的抽象组件。 3.各个组件之间的连接则明确和相对细致地描述组件之间的通讯。 4.在实现阶段,这些抽象组件被细化为实际的组件,比如具体某个类或者对象。 5.在 阅读全文
posted @ 2020-07-15 20:21 滚雪球效应 阅读(626) 评论(0) 推荐(0) 编辑
摘要: 但有时候 我们不想要让它打开浏览器去执行 能不能直接在代码里面运行呢 也就是说 有没有一个无形的浏览器呢 恩 phantomJS 就是 它是一个基于 WebKit 的浏览器引擎 可以做到无声无息的操作各种动态网站 比如 js,css选择器,dom操作的 所以对于市面上大多通过 js 渲染的动态网站 阅读全文
posted @ 2020-07-15 19:30 滚雪球效应 阅读(319) 评论(0) 推荐(0) 编辑
摘要: selenium 变成了爬虫利器 我们先来安装一下 pip install selenium 接着我们还要下载浏览器驱动 小帅b用的是 Chrome 浏览器 所以下载的是 Chrome 驱动 当然你用别的浏览器也阔以 去相应的地方下载就行了 Chrome: https://sites.google. 阅读全文
posted @ 2020-07-15 19:23 滚雪球效应 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 有一个高效的网页解析库 它的名字叫做 BeautifulSoup 它 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库 首先我们要安装一下这个库 pip install beautifulsoup4 beautifulsoup支持不同的解析器 比如 对 HTML 的解析 对 X 阅读全文
posted @ 2020-07-15 19:16 滚雪球效应 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 主要思路 使用 page 变量来实现翻页 我们使用 requests 请求当当网 然后将返回的 HTML 进行正则解析 由于我们暂时还没学到数据库 所以解析完之后就把内容存到文件中 def main(page): url = 'http://bang.dangdang.com/books/fives 阅读全文
posted @ 2020-07-15 18:01 滚雪球效应 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 字符描述 \ 将下一个字符标记为一个特殊字符(File Format Escape,清单见本表)、或一个原义字符(Identity Escape,有^$()*+?.[\{|共计12个)、或一个向后引用(backreferences)、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换 阅读全文
posted @ 2020-07-15 17:24 滚雪球效应 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 接下来我们要来玩一个新的库 这个库的名称叫做 Requests 这个库比我们上次说的 urllib 可是要牛逼一丢丢的 毕竟 Requests 是在 urllib 的基础上搞出来的 通过它我们可以用更少的代码 模拟浏览器操作 kr 对于不是 python 的内置库 我们需要安装一下 直接使用 pip 阅读全文
posted @ 2020-07-15 17:00 滚雪球效应 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 我们要用到一款强大免费的抓包工具 Fiddler你可以到 https://www.telerik.com/download/fiddler去下载 一般情况下 我们通过浏览器来请求服务器的时候 是点对点的 正常情况下 浏览器给服务器发送请求 服务器响应返回数据 但是这个时候 Fiddler非要来这里插 阅读全文
posted @ 2020-07-15 15:07 滚雪球效应 阅读(196) 评论(0) 推荐(0) 编辑
摘要: Urllib 这可是 python 内置的库 在 Python 这个内置的 Urllib 库中 有这么 4 个模块 request request模块是我们用的比较多的 就是用它来发起请求 所以我们重点说说这个模块 error error模块呢,就是当我们在使用 request 模块遇到错了 就可以 阅读全文
posted @ 2020-07-15 11:38 滚雪球效应 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 尽量不要用国产浏览器,很多是有后门的 chrome是首选 百度 按下F12 element标签下对应的HTML代码 点击Network,可以看到很多请求 HTTP请求的方式有好几种,GET,POST,PUT,DELETE,HEAD,OPTIONS,TRACE 不过最常见的就是GET和POST请求 g 阅读全文
posted @ 2020-07-15 10:42 滚雪球效应 阅读(369) 评论(0) 推荐(0) 编辑
摘要: 用一个自动化的程序把网站背后的程序爬取下来。 在互联网上许许多多的网站,他们都是托管在服务器上的,这些服务器24小时运行着,刻刻 等待着别人的请求。所以,爬虫首先会模拟请求,就好像你在浏览器输入网址,然后回车那样,爬虫可以用到一些HTTp库指定的服务器偷偷摸摸的发起请求,这个时候爬虫可以家长自己是浏 阅读全文
posted @ 2020-07-15 10:20 滚雪球效应 阅读(137) 评论(0) 推荐(0) 编辑