08 2017 档案

爬虫性能相关
摘要：性能相关 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文
posted @ 2017-08-31 14:39 黄土地上的黑石头 阅读(199) 评论(0) 推荐(0)
Web微信
摘要：一、源代码地址： https://github.com/HuangAm/Webweixin 二、总结： 1.分析Http请求 - 请求方式：get、post等等 - URL：每个请求的url，固定部分和变换部分，一般动态的部分可能是在这个请求的前面的请求中有相关请求 - Form Data 是dat 阅读全文
posted @ 2017-08-30 22:45 黄土地上的黑石头 阅读(283) 评论(0) 推荐(0)
爬虫部分
摘要：requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License 阅读全文
posted @ 2017-08-28 19:41 黄土地上的黑石头 阅读(259) 评论(0) 推荐(0)
异步IO\数据库\队列\缓存
摘要：本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Twsited网络框架 引子 到目前为止，我们已经学了网络并发编程的2个套路， 多进程，多线程， 阅读全文
posted @ 2017-08-09 23:26 黄土地上的黑石头 阅读(415) 评论(0) 推荐(0)
requests.post发送字典套字典
摘要：import requests import json a = { "data": { "project": { "url": "https: //www.teambition.com/project/596823f91f2d170ed3287f29/home", "_organization... 阅读全文
posted @ 2017-08-08 19:33 黄土地上的黑石头 阅读(349) 评论(0) 推荐(0)
Git
摘要：Git图解 常用示例 提交到远程其他分支 git commit后,用git diff HEAD -- readme.txt命令可以查看工作区和版本库里面最新版本的区别： Git规范 1. 所有二进制文件不要提交到仓库2. 尽量微小化提交，不要修改了一堆问题再提交。 3. 后期逐步进行代码仓库功能规划 阅读全文
posted @ 2017-08-07 22:31 黄土地上的黑石头 阅读(365) 评论(1) 推荐(0)
Django REST framework
摘要：1. 什么是REST REST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移” REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通过URL来获取资源的表征， 阅读全文
posted @ 2017-08-07 22:03 黄土地上的黑石头 阅读(227) 评论(0) 推荐(0)
解密加密
摘要：RSA AES 阅读全文
posted @ 2017-08-01 23:55 黄土地上的黑石头 阅读(217) 评论(0) 推荐(0)