摘要:
爬取笑话集网页 目标网址为:http://www.jokeji.cn/list.html 感觉这个网站挺简单,不用登陆,没有复杂的功能,好爬~ 可以现在浏览器中访问这个链接看一下效果,你会发现这个页面是个目录,有很多笑话页面的链接。 还是先使用简单的代码试试有没有效果: 由于爬取的内容发现乱码,所以 阅读全文
摘要:
一、创建类的流程 二、什么是元类 在Python3中继承type的就是元类 示例 class ASD(type): pass qqq = ASD("qwe", (object,), {}) #用ASD这个元类创建了一个(qwe,并且继承object类的)类 # class ASD(qwe): # p 阅读全文
摘要:
在Python的正则表达式中,有一个参数为re.S。它表示“.”(不包含外侧双引号,下同)的作用扩展到整个字符串,包括“\n”。看如下代码: 运行结果如下 正则表达式中,“.”的作用是匹配除“\n”以外的任何字符,也就是说,它是在一行中进行匹配。这里的“行”是以“\n”进行区分的。a字符串有每行的末 阅读全文
摘要:
一、requests模块介绍 二、基于GET请求 1.基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=p 阅读全文
摘要:
一、爬虫介绍 1.爬虫是什么? 二、爬虫的基本流程 三、request 四、response import requests from urllib.parse import urlencode keyword = input('>>: ').strip() res = urlencode({'wd 阅读全文
摘要:
第一篇:爬虫基本原理 第二篇:请求库之requests,selenium 第三篇:解析库之re、beautifulsoup、pyquery 第四篇:存储库之mongodb,redis,mysql 第五篇:爬虫高性能相关 第六篇:Scrapy框架 第七篇:爬虫实战 阅读全文
摘要:
学习Flask,整合其目录结构也是比较重要的。一个最基础的Flask目录如下所示: 一、SQLAlchemy-utils 由于sqlalchemy中没有提供choice方法,所以借助SQLAlchemy-Utils组件提供的choice方法。 安装:pip3 install sqlalchemy-u 阅读全文