摘要:
# DebugeLog# 1.首先,我们先先来了解一下DebugLog是什么?# 我们经常说的BUG就是错误,Debug就是调试错误,LOG代表日志,# 所以,,,DebugLog就是调试日志,这个可以帮助我们在运行程序的过程中打印日志,接下来,我们就开始开启DebugLog:#1 )分别使用 ur 阅读全文
摘要:
# 代理服务器的设置# 有时使用同一个ip去爬取同一个网站上的网页,久了之后会被该网站服务器屏蔽。那么怎样解决这个问题呢?# 解决的思路很简单,即“瞒天过海,暗度陈仓”。# 如果我们爬取别人网站的时候,在对方服务器上显示的是别人的ip地址,那么,即使 对方将显示出来的这个ip地址屏蔽了,也无关紧要, 阅读全文
摘要:
C 语言 1 /*C 程序结构 2 3 在我们学习 C 语言的基本构建块之前,让我们先来看看一个最小的 C 程序结构,在接下来的章节中可以以此作为参考。 4 C Hello World 实例 5 6 C 程序主要包括以下部分: 7 预处理器指令 8 函数 9 变量 10 语句 & 表达式 11 注释 阅读全文
摘要:
# http协议请求# 如果进行客户端与服务器之间的信息传递,我们0可以用HTTP协议请求进行# 对于HTTP请求 主要分六种类型,各类型的作用如下"""1) GET请求:GET请求会通过URL网址传递信息,可以直接在URL中写上要传递的 信息, 也可以由表单进行传递。如果使用表单进行传递,这表单中 阅读全文
摘要:
# 超时设置# 有得时候我们访问一个网页,如果该网页长时间未响应,那么系统就会判断该网页超时打不开,即无法打开网页# 比如有些比较快的网站反应,我们希望在十秒内有反应来判断 timeout=10import urllib.requestfor i in range (1,50): try: file 阅读全文
摘要:
# 浏览器模拟 Headers属性# 有时候,我们无法爬取一下网页,会出现403错误,应为这些网页为了防止别人恶意采集其信息# 所以进行了一些反爬虫的设置# 所以想进行反爬机制可设置一些Header信息,模拟浏览器去进行访问网站# 首先用之前的方法进行爬取# import urllib.reques 阅读全文
摘要:
'''爬虫的使用第一点:就是Urlib库 常用的是 urlib.request,urlib.err,urlib.parse这里用python3常用 urlopen urlencode quote Requestfile.read()/file.readlines()读取全部内容 内容赋值为字符串f 阅读全文