14.5 Go 爬虫

14.5 Go 爬虫

爬虫库/框架

henrylee2cn/pholcus    幽灵蛛    星5200
gocrawl                        星1700
colly                            星7169
hu17889/go_spider    星1400

go语言标准库模板实现http数据展示

爬虫数据存储

ElasticSearch 存储

爬取内容

新闻
博客
社区

社交:qq空间,人人网,微博,微信,facebook
相亲网,求职网

发现用户

城市列表    城市    下一页    用户
通过用户    猜你喜欢
通过用户id+1    寻找用户id

解析html

css选择器
xpath
正则表达式
posted @ 2019-07-27 22:06  笑得好美  阅读(162)  评论(0编辑  收藏  举报