摘要:
from http://www.cnblogs.com/wupeiqi/articles/5354900.html Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 阅读全文
摘要:
爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了:urllib、urllib2、httpli 阅读全文
摘要:
爬虫的框架Scrapy安装 我们都知道python的一大利器就是爬虫,简介的代码,和非常牛的异步网络请求框架Twisted,所以了。 但是在学习的时候安装scrapy出现的各种问题,今天就来总结一下如何安装。 安装Python 1.首先环境是python2.7,个人用的是32位的(因为是win10环 阅读全文
摘要:
python性能分析 阅读目录 调优简介 Python基于事件的性能分析器的简单示例代码 Linux统计式性能分析器OProfile(http://oprofile.sourceforge.net/news/)的分析结果: 性能分析的重要性 性能分析的内容 内存消耗和内存泄漏 过早优化的风险 运行时 阅读全文
摘要:
MorkDown 常用语法总结 阅读目录 代码高亮 标题 粗斜体 链接 高级链接技巧 列表 引用 图片 换行 分隔符 高级技巧 行内HTML元素 代码块 粗斜体 符号转义 扩展 公式 推荐一款很好用的markdown编辑器:http://www.typora.io/ 基本技巧: 回到顶部 代码高亮 阅读全文
摘要:
表名都可以正则select * from /.*/ limit 1 查询一个表里面的所有数据select * from cpu_idle 查询数据大于200的。 select * from response_times where value > 200 查询数据里面含有下面字符串的。 select 阅读全文
摘要:
https方式每次都要输入密码,按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受https带来的极速 设置记住密码(默认15分钟): 如果想自己设置时间,可以这样做: 这样就设置一个小时之后失效 长期存储密码: 增加远程地址的时候带上密码也是可以的。(推荐) 补充:使用客户端也可以存储密码 阅读全文
该文被密码保护。 阅读全文
摘要:
1.关于.bin文件的解压 2.强制结束程序 alt+command+esc(command+option+shift+esc 退出该程序) 3.关于Mac下,一个Documents和文稿两个目录 Documents是在/Library/WebServer/Documents,而文稿是在/Users 阅读全文
摘要:
Mac让iTerm2记住用户名密码expect脚本 12 APRIL 2015 on 操作系统 刚刚用iTerm2的时候, 总是要一遍遍的敲用户名,密码. 我在想, 能不能像Windows的软件一样, 可以直接让软件记住. 然后只要点击一下, 就直接ssh到远程服务器上面去了. 之后经过搜索, 可以 阅读全文