python爬虫面试总结

1.爬虫有哪些模块?

答:

URL管理模块:维护已经爬取的URL集合和未爬取的URL集合,并提供获取新URL链接的接口

HTML下载模块:从URL管理器中获取未爬取的URL链接并下载HTML网页

HTML解析模块:从HTML下载器下载的网页内容解析出新的URL交给URL管理器,解析出有效数据给到数据存储器,常用lxml、xpath、re正则

数据存储模块:将HTML解析器解析出来的数据通过文件或数据库的形式存储起来

 爬虫调度模块:负责统筹调度其他四个模块的协调工作

#以下问题以后更新

2.python常用的数据结构

3.什么是元组拆包

4.元组为什么不可变

5.你遇到的反爬手段

6.算法了解多少,写个排序算法

7.写个二分查找法

8.切片的使用

posted @ 2018-06-12 19:39  公众号python学习开发  阅读(288)  评论(0编辑  收藏  举报