摘要：
python scrapy版 极客学院爬虫V21 基本技术 使用scrapy2 这个爬虫的难点是 Request中的headers和cookies 尝试过好多次才成功（模拟登录），否则只能抓免费课程3文件树如下│ jike.json 存储json文件│ run.py ... 阅读全文
摘要：
2016年3月3日 14:50:15 晴 gulp = require('gulp')#删除 1、清空目录 常用插件 gulp-clean 、del （nodejs模块）del = require('del')#2、文件复制 原生模块gulp，插件：gulp-cpoy#3、JS压缩 插件:gulp-uglifyuglify = require('gulp-uglify')#4、CSS压缩... 阅读全文
摘要：
coffescript测试源码 gulp = require('gulp') #删除 1、清空目录 常用插件 gulp-clean 、del （nodejs模块） del = require('del') #2、文件复制 原生模块gulp，插件：gulp-cpoy #3、JS压缩 插件:gulp-u 阅读全文
摘要：
2016年3月3日 10:46:08 晴 前端构建工具gulpjs的使用介绍及技巧 gulpjs是一个前端构建工具，与gruntjs相比，gulpjs无需写一大堆繁杂的配置参数，API也非常简单，学习起来很容易，而且gulpjs使用的是nodejs中stream来读取和操作数据，其速度更快。如果你还 阅读全文
摘要：
一、主要思路 二、文件说明 itemsscray字段 piplines.py存储数据库 setting.py scrapy配置 需要注意的是DEFAULT_REQUEST_HEADERS的设置，需要模拟登录 mz.py是主要爬虫 都是基本的爬虫功能，css+xpath+正则 start_urls = 阅读全文
摘要：
##1、想批量生成一堆物资信息卡，效果如下图所示，fastreport可以一下全部生成，并且发现不用单独写东西，##2、发现FastReport官方给出的Demo.exe很友好，基本可以满足要求，想尝试修改tree树，直接加载自定义的报表，通过ILSpy查看Demo源码，发现tree的数据源是Dem... 阅读全文
摘要：
1、初衷：实践2、技术：python requests Template3、思路：根据直播页面获取评价最高的前十博主，定时爬行最新的消息和实战股票4、思路：python 编辑简单邮件html模板5、难点：邮件html模板的设计，还需要邮箱支持爬虫文件'''-- #coding:utf-8import... 阅读全文
摘要：
1、初衷：想在网上批量下载点听书、脱口秀之类，资源匮乏，大家可以一试 2、技术：wireshark scrapy jsonMonogoDB 3、思路：wireshark分析移动APP返回的各种连接分类、列表、下载地址等（json格式） 4、思路：scrapy解析json，并生成下载连接 5... 阅读全文
摘要：
定向爬取极客学院视频，原本只有年费VIP只能下载，经过分析，只要找个免费体验VIP即可爬取所有视频
涉及的基本技术：python xpath 正则 com
通过python调用迅雷从组件，实现自动创建文件夹和自动添加批量下载任务，前提要成功安装迅雷和迅雷组件
思路：path路径爬取所有标签-》搜索页面所有该课程分类-》课程页面获取课程明细-》正则分析视频地址
极客学院的一直在改进，可能需要自己改 阅读全文