12 2017 档案

python简单接口的测试(随机数等)
摘要：import random import requests url='http://xxx' headers={ 'Authorization':'xxx', 'Content-Type':'application/json' } data0="" for i in range(1,20): uid=str(i) score=str(round(random.u... 阅读全文
posted @ 2017-12-28 11:37 来呀快活吧 阅读(556) 评论(0) 推荐(0)
使用python爬虫拉勾网相关职位(pyquery)
只有注册用户登录后才能阅读该文。
posted @ 2017-12-13 23:39 来呀快活吧 阅读(21) 评论(0) 推荐(0)
使用selenium结合PhantomJS爬取淘宝美食并存储到MongoDB
摘要：PhantomJS是一种没有界面的浏览器，便于爬虫 1、PhantomJS下载 2、phantomjs无须安装driver，还有具体的api参考： http://phantomjs.org/api/command-line.html 3、配置config.py 4、爬取如下spider.py 阅读全文
posted @ 2017-12-11 21:58 来呀快活吧 阅读(248) 评论(0) 推荐(0)
分析Ajax请求并抓取今日头条街拍美图图集(进程池、MongoDB、二进制流文件、正则、requests)
摘要：流程如下： #1 配置好MongoDB的依赖库 #2 模拟搜索街拍的请求信息 #3 通过请求返回的json返回的url地址再次爬取 #4 爬取新的url地址，并爬取相关的图片地址 #5 获取url地址，并将爬取数据写至MongoDB，且通过二进制流下载下来，若文件相同，则通过md5判断 1、相关配置 阅读全文
posted @ 2017-12-03 00:31 来呀快活吧 阅读(633) 评论(0) 推荐(0)
mongodb的安装和使用
摘要：1、下载MongoDB 地址:【https://www.mongodb.com/download-center?jmp=nav#atlas】好像需要注册，可以从下面下载 【http://dl.mongodb.org/dl/win32/x86_64】 2、安装MongoDB 3、在安装路径下创建数据库 阅读全文
posted @ 2017-12-01 22:03 来呀快活吧 阅读(223) 评论(0) 推荐(0)

cs