2017年12月4日
知乎登录（session)
摘要： https://github.com/lzjun567/crawler_html2pdf/blob/master/zhihu/auto_login.py 阅读全文
posted @ 2017-12-04 23:23 不可叽叽歪歪 阅读(1001) 评论(0) 推荐(0) 编辑
知乎登录
摘要： https://github.com/xchaoinfo/fuck-login/blob/master/001%20zhihu/zhihu.py 阅读全文
posted @ 2017-12-04 23:06 不可叽叽歪歪 阅读(569) 评论(0) 推荐(0) 编辑
代理池
摘要： https://github.com/qiyeboy/IPProxyPool 阅读全文
posted @ 2017-12-04 23:06 不可叽叽歪歪 阅读(74) 评论(0) 推荐(0) 编辑
编码识别
摘要： pip install chardet 阅读全文
posted @ 2017-12-04 21:15 不可叽叽歪歪 阅读(105) 评论(0) 推荐(0) 编辑
多页url
摘要： 'url1'+str(page)+'url2' url{ofssset} url.formate(20) 阅读全文
posted @ 2017-12-04 19:08 不可叽叽歪歪 阅读(64) 评论(0) 推荐(0) 编辑
验证码（待整理）
摘要： 1:存入本地（返回二进制，r.content,'wb') 阅读全文
posted @ 2017-12-04 19:05 不可叽叽歪歪 阅读(67) 评论(0) 推荐(0) 编辑
模拟登录（知乎为例）
摘要： requests.Session() _xsrf 阅读全文
posted @ 2017-12-04 19:04 不可叽叽歪歪 阅读(91) 评论(0) 推荐(0) 编辑
bs4属性值
摘要： bs.find('input',attrs={'name':'_xhrf'}.get('value') 阅读全文
posted @ 2017-12-04 18:38 不可叽叽歪歪 阅读(228) 评论(0) 推荐(0) 编辑
防止跳转
摘要： requests.get(url,allow_redirects=False) 阅读全文
posted @ 2017-12-04 13:58 不可叽叽歪歪 阅读(204) 评论(0) 推荐(0) 编辑
selenium爬取拉勾网招聘url(demo)
摘要： 1 from selenium import webdriver 2 browser=webdriver.Chrome() 3 import time 4 from lxml import etree 5 import requests 6 import re 7 import json 8 9 10 def search(): 11 browser.get('ht... 阅读全文
posted @ 2017-12-04 12:01 不可叽叽歪歪 阅读(652) 评论(0) 推荐(0) 编辑