06 2017 档案

Python爬取小猪短租全网数据
摘要：下面是城市的数据： domestic_list = [ {'北京': ['beijing', '8221']}, {'上海': ['shanghai', '6996']}, {'广州': ['guangzhou', '2727']}, {'成都': ['chengdu', '5369']}, {'深 阅读全文
posted @ 2017-06-21 21:00 睚一 阅读(3510) 评论(0) 推荐(1) 编辑
python设置代理IP来爬取拉勾网上的职位信息，
摘要：import requests import json import time position = input('输入你要查询的职位：') url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E6%9D%AD%E5%B7%9E&needAddtionalResult=false' headers = { 'User-A... 阅读全文
posted @ 2017-06-07 23:25 睚一 阅读(1008) 评论(0) 推荐(0) 编辑
Python爬取全国历史天气数据
摘要：1、通过爬取历史首页，来获取城市地址和历史时间，构建链接； ''' 获取全国的城市名称和链接 ''' import requests from lxml import etree import random import pymongo from time_list import get_time 阅读全文
posted @ 2017-06-05 22:44 睚一 阅读(1091) 评论(0) 推荐(0) 编辑
Python获取个人网站的所有课程下载链接和密码，并保存到Mongodb中
摘要：1、获取网站课程的分类地址； ''' 爬取屌丝首页，获取每个分类名称和链接 ''' import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWe 阅读全文
posted @ 2017-06-03 23:53 睚一 阅读(274) 评论(0) 推荐(0) 编辑