如何搭建一个免费的代理池

如何搭建一个免费的代理池

了解：

# 收费的：提供给你一个接口，每掉一次这个接口，获得一个代理
# 免费：用爬虫爬取，免费代理，放到自己的库中，用flask，django搭一个服务（可以删除代理，自动测试代理可用性），每次发一个请求，获取一个代理

配置过程：

1.到github上下载这个安装包，解压后用pycharm打开

https://github.com/jhao104/proxy_pool

2.安装依赖

pip install -r requirements.txt

 

 

3 配置Config/setting.py:

DB_TYPE = getenv('db_type', 'redis').upper()
DB_HOST = getenv('db_host', '127.0.0.1')
DB_PORT = getenv('db_port', 6379)
DB_PASSWORD = getenv('db_password', '')

4 本地启动redis-server

5 在Terminal中cd到cli目录下通过ProxyPool.py python proxyPool.py schedule:调度程序，他会取自动爬取免费代理 python proxyPool.py webserver:启动api服务，把flask启动起来

6.通过启动的flask发送get请求就能拿到代理了