06 2018 档案

爬取加载页面数据

摘要：#解析json import requests response=requests.get('http://httpbin.org/get') import json res1=json.loads(response.text) #太麻烦 res2=response.json() #直接获取json 阅读全文

posted @ 2018-06-20 20:03 rjm123456 阅读(308) 评论(0) 推荐(0) 编辑

爬取多页数据

摘要：''' @author:zl @contact: @site: https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,2.html ''' # _*_ coding:utf-8 _*_ import requests from bs4 import BeautifulSoup import re import time... 阅读全文

posted @ 2018-06-20 12:04 rjm123456 阅读(791) 评论(0) 推荐(0) 编辑

爬虫

摘要：1. 最基本的抓取（1）抓取大多数情况属于get请求，即直接从对方服务器上获取数据。首先，Python中自带urllib及urllib2这两个模块，基本上能满足一般的页面抓取。另外，requests也是非常有用的包，与此类似的，还有httplib2等等。（2）此外，对于带有查询字段的url，ge 阅读全文

posted @ 2018-06-14 18:51 rjm123456 阅读(104) 评论(0) 推荐(0) 编辑