摘要: 引言: 一个网络爬虫的编写主要可以分为三个部分: 1.获取网页 2.提取信息 3.分析信息 本文主要介绍第一部分,如何用Python内置的库urllib和第三方库requests库来完成网页的获取。阅读完本文后,读者将能利用这2个库获取一个网页的HTML代码。 但是首先,我们需要一点网络方面的基本知 阅读全文
posted @ 2018-03-14 13:57 pusidun 阅读(1009) 评论(0) 推荐(0) 编辑
摘要: 引言: doctest是python的一个测试用标准库。 顾名思义,这个模块会寻找程序里面看起来像交互式Python会话的文本片段,然后运行这个会话,来判断实际运行结果和你希望的结果是否一致。 这个模块可以用来进行回归测试,或者在编写教程性的文档时使用 基本使用: 1.通过Docstrings测试 阅读全文
posted @ 2018-02-05 11:09 pusidun 阅读(651) 评论(0) 推荐(0) 编辑
摘要: cnblog的MarkDown太糟心了,干脆换hexo和github pages用用。 这个随笔给自己当备忘录用的,网上有更详细的教程。 hexo官方文档 安装git,安装nodejs windows官网直接下,linux网上搜。 nodejs可以更新下NPM源,比如某宝 安装hexo 新建个文件夹 阅读全文
posted @ 2017-12-23 22:42 pusidun 阅读(125) 评论(0) 推荐(0) 编辑
摘要: docker安装 官方Ubuntu安装文档 例子centos6.8 yum install -y epel-release yum install -y docker-io /etc/sysconfig/docker service docker start docker version 验证 ce 阅读全文
posted @ 2017-11-27 13:58 pusidun 阅读(186) 评论(0) 推荐(0) 编辑
摘要: Install Scrapy 熟悉PyPI的话,直接一句 pip install Scrapy 但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。 我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。 sudo apt get install python dev 阅读全文
posted @ 2017-07-14 15:31 pusidun 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 安全概述 安全主要解决4类问题 保密:不希望第三方窥探 鉴别:与你通信的人可以被确认 完整性:不能被随意篡改,或者能鉴别是否被篡改 不可否认性:能确认产生信息的人,并且产生该信息的人在何时都无法否认产生了该信息 典型的加密模型 明文 密文 密钥 加密 解密 对称密钥算法 加密和解密的key用的同一个 阅读全文
posted @ 2017-04-29 17:38 pusidun 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 栈 实现 后进先出的结构,主要有如下操作 Stack() push(item) pop() peek() isEmpty() size() class Stack(): def __init__(self): self.items=[] def push(self,item): self.items 阅读全文
posted @ 2017-03-27 18:12 pusidun 阅读(352) 评论(0) 推荐(0) 编辑
摘要: 4989Summary既然用C++了就偷懒直接用STL大法了#include#include#includeusing namespace std;int main(){ int n; while (cin >> n) { vector vec,temp; ... 阅读全文
posted @ 2014-09-08 15:48 pusidun 阅读(142) 评论(0) 推荐(0) 编辑