10 2017 档案

爬虫必备 User-Agent 列表
摘要：可以使用random.choice(USER-AGENT) 进行随机获取一个UA! 阅读全文
posted @ 2017-10-30 09:24 稀里糊涂林老冷 阅读(1227) 评论(0) 推荐(0) 编辑
MySQLdb、 flask-MySQLdb 、MySQL-python 安装失败
摘要：今天在学习flask的时候，学习到数据库部分，连接mysql生成表，运行程序报错误：No module named MySQLdb 此时 需要安装 以下两个中任何一个 pip install flask-MySQLdb 或者 pip install MySQL-python 但是，全都无法安装，仍然 阅读全文
posted @ 2017-10-29 21:01 稀里糊涂林老冷 阅读(3237) 评论(0) 推荐(0) 编辑
flask 视图函数的使用
摘要：flask框架 视图函数当中 各种实用情况简单配置 1 建立连接 2 路由参数 3 返回网络状态码 4 自定义错误页面 5 重定向 6 正则url限制 和 url 优化 7 设置和获取cookie 阅读全文
posted @ 2017-10-26 21:57 稀里糊涂林老冷 阅读(1980) 评论(0) 推荐(0) 编辑
linux环境 安装chromedriver 和 phantomjs的方法
摘要：1 首先要下载浏览器驱动： 常用的是chromedriver 和phantomjs chromedirver下载地址: https://npm.taobao.org/mirrors/chromedriver phantomjs下载地址: http://phantomjs.org/download.h 阅读全文
posted @ 2017-10-12 20:44 稀里糊涂林老冷 阅读(6329) 评论(0) 推荐(0) 编辑
python爬虫动态html selenium.webdriver
摘要：python爬虫：利用selenium.webdriver获取渲染之后的页面代码！ 1 首先要下载浏览器驱动： 常用的是chromedriver 和phantomjs chromedirver下载地址: https://npm.taobao.org/mirrors/chromedriver phan 阅读全文
posted @ 2017-10-12 00:00 稀里糊涂林老冷 阅读(610) 评论(0) 推荐(0) 编辑
python爬虫requests 下载图片
摘要：1 import requests 2 3 # 这是一个图片的url 4 url = 'http://yun.itheima.com/Upload/Images/20170614/594106ee6ace5.jpg' 5 response = requests.get(url) 6 # 获取的文本实际上是图片的二进制文本 7 img = response.content 8... 阅读全文
posted @ 2017-10-09 11:05 稀里糊涂林老冷 阅读(23855) 评论(1) 推荐(1) 编辑
python爬虫requests json与字典对象互相转换
摘要：1 import requests 2 import json 3 ''' 4 json.loads(json_str) json字符串转换成字典 5 json.dumps(dict) 字典转换成json字符串 6 7 ''' 8 # 这是一个ajax发起的get请求，获取一个json对象 9 r = requests.get("https://m.douban.com... 阅读全文
posted @ 2017-10-09 11:03 稀里糊涂林老冷 阅读(22059) 评论(1) 推荐(1) 编辑
python爬虫requests的使用
摘要：1 发送get请求获取页面 2 发送post请求获取页面 3 伪装浏览器，携带报头 4 携带数据 （比如 发送请求去登陆） 5 代理 6 携带cookie 7 保持session 帮我们保存response中的session 8 设置连接超时时间 9 设置ssl校验 对方https协议合法性是否忽略 阅读全文
posted @ 2017-10-09 11:00 稀里糊涂林老冷 阅读(2252) 评论(0) 推荐(0) 编辑