上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 17 下一页
摘要: scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文
posted @ 2017-09-05 22:50 黄土地上的黑石头 阅读(485) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/guchuanyun111/article/category/6335900 什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充,有理解错误或不足欢迎指正) Reids的特点 Redis本质上是一个Key-Valu 阅读全文
posted @ 2017-09-05 19:46 黄土地上的黑石头 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 测试接口与文档信息文件 Postman 安装与入门教程 下载与安装 官方网站:www.getpostman.com 下载完成后,直接安装 输入2次邮箱,密码,即可注册并登陆! 开发者使用: 创建文件夹 点击创建文件夹,弹出一个描述框,如下图,填写项目名称,描述信息,填写完成后点击Create 创建: 阅读全文
posted @ 2017-09-05 19:39 黄土地上的黑石头 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文
posted @ 2017-08-31 14:39 黄土地上的黑石头 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 一、源代码地址: https://github.com/HuangAm/Webweixin 二、总结: 1.分析Http请求 - 请求方式:get、post等等 - URL:每个请求的url,固定部分和变换部分,一般动态的部分可能是在这个请求的前面的请求中有相关请求 - Form Data 是dat 阅读全文
posted @ 2017-08-30 22:45 黄土地上的黑石头 阅读(252) 评论(0) 推荐(0) 编辑
摘要: requests Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。 Requests 是使用 Apache2 License 阅读全文
posted @ 2017-08-28 19:41 黄土地上的黑石头 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Twsited网络框架 引子 到目前为止,我们已经学了网络并发编程的2个套路, 多进程,多线程, 阅读全文
posted @ 2017-08-09 23:26 黄土地上的黑石头 阅读(398) 评论(0) 推荐(0) 编辑
摘要: import requests import json a = { "data": { "project": { "url": "https: //www.teambition.com/project/596823f91f2d170ed3287f29/home", "_organization... 阅读全文
posted @ 2017-08-08 19:33 黄土地上的黑石头 阅读(325) 评论(0) 推荐(0) 编辑
摘要: Git图解 常用示例 提交到远程其他分支 git commit后,用git diff HEAD -- readme.txt命令可以查看工作区和版本库里面最新版本的区别: Git规范 1. 所有二进制文件不要提交到仓库2. 尽量微小化提交,不要修改了一堆问题再提交。 3. 后期逐步进行代码仓库功能规划 阅读全文
posted @ 2017-08-07 22:31 黄土地上的黑石头 阅读(347) 评论(1) 推荐(0) 编辑
摘要: 1. 什么是REST REST与技术无关,代表的是一种软件架构风格,REST是Representational State Transfer的简称,中文翻译为“表征状态转移” REST从资源的角度类审视整个网络,它将分布在网络中某个节点的资源通过URL进行标识,客户端应用通过URL来获取资源的表征, 阅读全文
posted @ 2017-08-07 22:03 黄土地上的黑石头 阅读(203) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 17 下一页