摘要： 1. 爬虫设计的技术 1）数据获取，通过http获取网站的数据，如urllib,urllib2,requests等模块； 2）数据提取，将web站点所获取的数据进行处理，获取所需要的数据，常使用的技术有：正则re，BeautifulSoup,xpath； 3）数据存储，将获取的数据有效的存储，常见的 阅读全文