2017年12月4日
bs4属性值
摘要： bs.find('input',attrs={'name':'_xhrf'}.get('value') 阅读全文
posted @ 2017-12-04 18:38 不可叽叽歪歪 阅读(228) 评论(0) 推荐(0) 编辑
防止跳转
摘要： requests.get(url,allow_redirects=False) 阅读全文
posted @ 2017-12-04 13:58 不可叽叽歪歪 阅读(204) 评论(0) 推荐(0) 编辑
selenium爬取拉勾网招聘url(demo)
摘要： 1 from selenium import webdriver 2 browser=webdriver.Chrome() 3 import time 4 from lxml import etree 5 import requests 6 import re 7 import json 8 9 10 def search(): 11 browser.get('ht... 阅读全文
posted @ 2017-12-04 12:01 不可叽叽歪歪 阅读(652) 评论(0) 推荐(0) 编辑
2017年12月3日
selenium进行翻页操作（拉勾网为例）
摘要： 1 from selenium import webdriver 2 browser=webdriver.Chrome() 3 import time 4 5 def search(): 6 browser.get('https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&... 阅读全文
posted @ 2017-12-03 21:55 不可叽叽歪歪 阅读(1192) 评论(0) 推荐(0) 编辑
动态网站爬取实例
摘要： 1 import requests 2 import json 3 from requests.exceptions import ConnectionError 4 from json.decoder import JSONDecodeError 5 from lxml import etree 6 import re 7 #from config import *... 阅读全文
posted @ 2017-12-03 15:52 不可叽叽歪歪 阅读(752) 评论(0) 推荐(0) 编辑
数据转换
摘要： http://blog.csdn.net/roytao2/article/details/53433373 阅读全文
posted @ 2017-12-03 12:52 不可叽叽歪歪 阅读(69) 评论(0) 推荐(0) 编辑
操作dict时避免出现KeyError的几种方法
摘要： 参考博客http://blog.csdn.net/u011089523/article/details/72887163 常用异常处理http://www.jb51.net/article/41972.htm http://blog.csdn.net/kellyseeme/article/detai 阅读全文
posted @ 2017-12-03 11:17 不可叽叽歪歪 阅读(1734) 评论(0) 推荐(0) 编辑
2017年12月2日
静态网站爬取文本信息实例（requests,re,pool)
摘要： 1 import requests 2 import re 3 import json 4 from requests.exceptions import RequestException 5 from multiprocessing import Pool 6 7 def get_one_page(url): 8 headers = { 9 "Use... 阅读全文
posted @ 2017-12-02 23:54 不可叽叽歪歪 阅读(227) 评论(0) 推荐(0) 编辑
逐行写入
摘要： json.dumps(contnet,+'\n') 阅读全文
posted @ 2017-12-02 22:42 不可叽叽歪歪 阅读(91) 评论(0) 推荐(0) 编辑
写入文件编码问题（json)
摘要： json.dumps(content,ensure_ascii=False) 阅读全文
posted @ 2017-12-02 22:40 不可叽叽歪歪 阅读(167) 评论(0) 推荐(0) 编辑