摘要: 一、Beautiful Soup简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据 阅读全文
posted @ 2018-02-05 22:01 Big_hua 阅读(1763) 评论(0) 推荐(0) 编辑
摘要: import refrom urllib import requestclass Sprder: def __init__(self): self.page=1 self.switch=True def loadPage(self): """" 下载页面 """ url="http://www.ne 阅读全文
posted @ 2018-02-05 18:51 Big_hua 阅读(521) 评论(0) 推荐(0) 编辑
摘要: import urllib.request import urllib.parse from lxml import etree def loadPage(url): """ 作用:根据url发送请求,获取服务器响应文件 url: 需要爬取的url地址 """ #print url #美女 # he 阅读全文
posted @ 2018-02-05 18:50 Big_hua 阅读(313) 评论(0) 推荐(0) 编辑