互联网数据的挖掘和分析

基本上使用python语言完成

一、抓取
列表页
详细页

授权(API)&未授权(爬虫)
普通抓取&需登录

二、html解析
1. BeautifulSoup
2. 正则

三、文本分析&自然语言处理

四、性能优化
1. 反抓取屏蔽 http代理
2. 性能优化
多线程抓取