12 2016 档案
摘要:一、软件安装 1、nodejs 2、npm 3、Cordova 如果慢,可以修改镜像,再进行安装。 npm config set registry http://registry.cnpmjs.org npm info underscore npm install -g cordova 安装成功后做
阅读全文
摘要:一、安装 1、Python 2、numpy 3、pandas 4、lxml 5、............. n、tushare 二、初步测试
阅读全文
摘要:一、对指定页面爬取 yield Request(url, meta={'cookiejar': response.meta['cookiejar']}, callback=self.parse_url) parse_url :处理函数 url :指定链接 cookiejar:登录验证后的cookie
阅读全文
摘要:一、Form表单分析 以豆瓣登录页面为例分析,豆瓣登录页是:https://accounts.douban.com/login,浏览器打开之后查看源码,查找登录的form表单HTML结构。如下: 包括了form_email、form_password、captcha-solution四个表单参数,需
阅读全文
摘要:一、自动爬虫的创建,需要指定模版 如: scrapy genspider -t crawl stockinfo quote.eastmoney.com crawl : 爬虫模版 stockinfo :爬虫名称,后续敲命令执行爬虫需要输入的 quote.eastmoney.com :起始网址 通过 s
阅读全文
摘要:一、首次爬取模拟浏览器 在爬虫文件中,添加start_request函数。如: def start_requests(self): ua = {"User-Agent": 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
阅读全文
摘要:一、URL分析 通过对“Python机器学习”结果抓包分析,有两个无规律的参数:_ksTS和callback。通过构建如下URL可以获得目标关键词的检索结果,如下所示: https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_k
阅读全文
摘要:常用权限: 读写存储卡装载和卸载文件系统 android.permission.WRITE_EXTERNAL_STORAGE android.permission.READ_EXTERNAL_STORAGE android.permission.MOUNT_UNMOUNT_FILESYSTEMS 网
阅读全文
摘要:通过前一节得出地址可能的构建规律,如下: https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1481814489094_902&callback=jsonp903&q=Python%E6%9C%BA%E5%99%
阅读全文
摘要:http://cuiqingcai.com/2621.html 一、基础介绍 <bookstore> <book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</pr
阅读全文
摘要:一、抓包基础 在淘宝上搜索“Python机器学习”之后,试图抓取书名、作者、图片、价格、地址、出版社、书店等信息,查看源码发现html-body中没有这些信息,分析脚本发现,数据存储在了g_page_config变量之中,初步分析需要采用抓包技术来获取其他页的数据。以前使用Fiddler非常方便,今
阅读全文
摘要:一、基础知识 1、HTML分析 2、urllib爬取 导入urilib包(Python3.5.2) 3、urllib保存网页 4、模拟浏览器 5、urllib保存图片 使用 http://www.bejson.com/ 查看存储在JS中的Json数据g_page_config 6、正则表达式 常用正
阅读全文
摘要:1、使用Dojo Connect Style Event dojo.connect(XXXGraphicsLayer, "onClick", function(evt) { //todo }); dojo.connect(map, "onClick", function(evt) { map.gra
阅读全文
摘要:1、创建爬虫工程 scrapy startproject stockproject001 2、创建爬虫项目 cd stockproject001 scrapy genspider stockinfo quote.eastmoney.com 3、定义数据项或数据字段 打开 items.py,输入: 4
阅读全文