从0开始学爬虫9之requests库的学习之环境搭建
从0开始学爬虫9之requests库的学习之环境搭建
Requests库的环境搭建
环境:python2.7.9版本
参考文档:http://2.python-requests.org/zh_CN/latest/
httpbin.org可以模拟http服务器,速度较慢,可以按照插件模拟http服务器
pip install gunicorn httpbin
gunnicorn不支持windows需要在linux系统中安装
启动http服务
[root@localhost ~]# gunicorn httpbin:app
[2019-07-17 22:08:50 +0000] [46575] [INFO] Starting gunicorn 19.9.0
[2019-07-17 22:08:50 +0000] [46575] [INFO] Listening at: http://127.0.0.1:8000 (46575)
[2019-07-17 22:08:50 +0000] [46575] [INFO] Using worker: sync
[2019-07-17 22:08:50 +0000] [46580] [INFO] Booting worker with pid: 46580
# 修改监听地址
[root@localhost ~]# gunicorn httpbin:app -b 0.0.0.0:8080
Requests是keep-alive可以重复利用一个连接
分类:
python爬虫
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律