爬虫基本原理

# 1、总结爬虫流程:
爬取--->解析--->存储

# 2、爬虫所需工具:
请求库:requests,selenium
解析库:正则,beautifulsoup,pyquery
存储库:文件,MySQL,Mongodb,Redis

# 3、爬虫常用框架:
scrapy

posted @ 2020-03-23 12:13  lhhhha  阅读(140)  评论(0编辑  收藏  举报