摘要: 使用代理服务器去爬虫的原因: 使用同一个IP去爬取同一个网站上的网页,久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。因为使用代理服务器去爬取某个网站的时候,在对方的网站上,显示的不是我们真实的IP地址,而是代理服务器的IP地址。 推荐两个获取免费代理服务器的网址: www.goub 阅读全文
posted @ 2019-03-24 12:07 皮皮嘉 阅读(1191) 评论(0) 推荐(0) 编辑
摘要: 今天在爬取一个网页时发现总是爬取不成功,信息量很少,只有几行代码,而原网页代码量是很多的,后来我把url中的https换成了http后就把网页源码全部爬取了,查了资料后发现url中使用http和https是有很大区别的:http获取数据时信息齐全,https获取数据的信息有缺失,在确定网络地址后,一 阅读全文
posted @ 2019-03-22 13:32 皮皮嘉 阅读(6164) 评论(0) 推荐(0) 编辑
摘要: 当我们对博客园默认的主题产生审美疲劳的时候,都希望自己的博客拥有一个特殊的主题背景,厌倦了花里胡哨的我终于弄出了一个自己的博客主题,这个简约的主题设置过程如下: 首先需要把博客皮肤设置成一个最简约的模板"SimpleMemory",方便进行之后的设置: 然后在文件选项中上传自己想要的博客图标(ico 阅读全文
posted @ 2019-03-20 00:00 皮皮嘉 阅读(2504) 评论(0) 推荐(0) 编辑
摘要: 用Python来发送一个电子邮件需要以下几个步骤:1.注册一个邮箱(以QQ邮箱为例)2.需要特殊设置,以QQ邮箱为例:受限进入QQ邮箱的设置中心,点击"账户"选项,下滑可以看到"POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务"一栏,把"POP3/SMTP服务"打开( 阅读全文
posted @ 2019-03-17 23:16 皮皮嘉 阅读(727) 评论(0) 推荐(0) 编辑
摘要: XML(eXtensibleMarkupLanguage)定义:可扩展标记语言 XML文档的而构成: - 处理指令(可以认为一个文件内只有一个处理指令)最多只有一行,且必须在第一行内容是与xml本身处理起相关的一些声明或者指令以xml关键字开头,一般用于声明XML的版本和采用的编码version属性 阅读全文
posted @ 2019-03-16 23:11 皮皮嘉 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 序列化:数据转成文本的过程被称为“序列化”,即将对象状态转换为可保持或传输的格式的过程反序列化:对应的,从序列化的格式中解析对象状态的过程被称为“反序列化” pickle的使用方法: - 需要导入pickle包 - pickle.dump() #将数据写入到文件中 - pickle.load() # 阅读全文
posted @ 2019-03-16 00:06 皮皮嘉 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 在使用open()函数时,明明txt文件和py文件在同一个目录下,如果使用相对路径来打开的话,可以直接在open函数中使用txt文件名,可是在vscode中确一直报错,因为vscode的当前路径可能并不是这个py文件的路径,只有vscode的当前路径和py路径一致时,才可以直接使用txt文件名来打开 阅读全文
posted @ 2019-03-15 12:58 皮皮嘉 阅读(10316) 评论(0) 推荐(0) 编辑
摘要: 文件的读操作:open() - 第一个参数必须有,表示文件的绝对路径或者相对路径 - 第二个参数mode,表示文件打开的方式 'r':读 'w':写 'a':追加 'r+' == r+w(可读可写,文件若不存在就报错(IOError)) 'w+' == w+r(可读可写,文件若不存在就创建) 'a+ 阅读全文
posted @ 2019-03-15 12:34 皮皮嘉 阅读(844) 评论(0) 推荐(0) 编辑
摘要: 由于多线程共享进程的资源和地址空间,因此,在对这些公共资源进行操作时,为了防止这些公共资源出现异常的结果,必须考虑线程的同步和互斥问题,由此引出了锁的概念。 Lock的使用方法: - withlock - lock.acquire()和lock.release() 在这个例子中,我们同时start了 阅读全文
posted @ 2019-03-14 20:09 皮皮嘉 阅读(266) 评论(0) 推荐(0) 编辑
摘要: 使用方法: thread包:有问题,不好用,python3中改成了_thread 使用方法:_thread.start_new_thead(func_name, tuple)参数两个,一个是需要运行的函数名,第二是函数的参数作为元祖使用,为空则使用空元祖注意:如果函数只有一个参数,需要参数后由一个逗 阅读全文
posted @ 2019-03-12 23:59 皮皮嘉 阅读(811) 评论(0) 推荐(0) 编辑