摘要: 相信能帮助到好多有MySQLl创建视图需求的朋友~ qiuqiuqiu~ 阅读全文
posted @ 2017-08-16 23:11 李·狗嗨 阅读(1638) 评论(0) 推荐(0) 编辑
摘要: 运用MySQL不是很熟练,花了一些时间整理的MySQL使用手册,方便以后查阅~ 加油吧 阅读全文
posted @ 2017-08-16 22:59 李·狗嗨 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 看了许多关于分布式爬虫的文章,总结出其核心原理很简单,其实只要不是每天都需要处理千万级别以上的数据抓取工作,多开几个线程就能满足需求了~ 今天被怼到分布式问题真的好气哦 阅读全文
posted @ 2017-08-16 20:44 李·狗嗨 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 用scrapy去爬取斗图网的图片,爬取过程到没什么大的问题,但分类存放时应为逻辑错误折腾了半天,我好凌乱 TT 阅读全文
posted @ 2017-08-15 17:40 李·狗嗨 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 学习scrapy记录的指令集 阅读全文
posted @ 2017-08-14 16:10 李·狗嗨 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 运行这段代码,会自动打开浏览器,然后访问百度。 如果程序执行错误,浏览器没有打开,那就需要下载chromedriwer.exe放在 /usr/bin 目录下。 阅读全文
posted @ 2017-08-14 14:10 李·狗嗨 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 记录了selenium中chromedriver与chrome版本映射关系表及下载地址,需要的朋友可以看看~ 阅读全文
posted @ 2017-08-14 10:49 李·狗嗨 阅读(118) 评论(0) 推荐(0) 编辑
摘要: r.status_code #响应状态码r.raw #返回原始响应体,也就是 urllib 的 response 对象,使用 r.raw.read() 读取r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩r.text #字符串方式的响应体,会自动根据响应头部 阅读全文
posted @ 2017-08-14 01:24 李·狗嗨 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 使用pip install scrapy安装时出现Microsoft Visual C++ 14.0 is required的解决方案 阅读全文
posted @ 2017-08-13 14:13 李·狗嗨 阅读(518) 评论(0) 推荐(0) 编辑
摘要: 学习网络框架web.py需要学会数据库操作,记录下了学习笔记~ 阅读全文
posted @ 2017-08-13 10:38 李·狗嗨 阅读(276) 评论(0) 推荐(0) 编辑