摘要：
什么是工单 简单来说，就是一个办事流程的凭据。假设你要请假，在学生时代可能要写一个书面的请假条，然后你要亲自拿着请假条找到老师、级长在上面签字同意；在你工作之后，就变成了在oa系统上提交一个申请即可，你的各个上级都会收到通知，然后直接在oa系统上审批。后者其实就是工单的自动化流转，可以极大地提升事情 阅读全文
摘要：
现象 之前一直稳定运行了很久的内核ko模块突然功能失灵，通过dmesg命令查看内核信息，发现该模块提示内存页分配失败，如下图所示 当时看到 "Failed to allocate memory for ip_entry" 字样，第一反应就是内存不足，直接用命令free -h命令查看系统内存 从图中看 阅读全文
摘要：
1、 安装JAVA JAVA网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 配置环境变量（我把JAVA安装在路径：F:\Java\jdk1.8）： PATH=.;%JAVA_HOME%\binCLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\toos.... 阅读全文
摘要：
摘要：本文介绍了Scrapy的基础爬取流程，也是最重要的部分 Scrapy的爬取流程 Scrapy的爬取流程可以概括为一个方程式：UR2IM，其含义如下图所示 URL：Scrapy的运行就从那个你想要爬取的网站地址开始，当你想要验证用xpath或其他解析器来解析这个网页时，可以使用Scrapy sh 阅读全文
摘要：
摘要：根据Excel文件配置运行多个爬虫 很多时候，我们都需要为每一个单独的网站编写一个爬虫，但有一些情况是你要爬取的几个网站的唯一不同之处在于Xpath表达式不同，此时要分别为每一个网站编写一个爬虫就显得徒劳了，其实可以只使用一个spider就爬取这些相似的网站。 首先创建一个名为generic的 阅读全文
摘要：
摘要：介绍了使用Scrapy处理JSON API和AJAX页面的方法 有时候，你会发现你要爬取的页面并不存在HTML源码，譬如，在浏览器打开http://localhost:9312/static/，然后右击空白处，选择“查看网页源代码”，如下所示： 就会发现一片空白 留意到红线处指定了一个名为ap 阅读全文
摘要：
摘要：介绍了使用Scrapy进行双向爬取（对付分类信息网站）的方法。 所谓的双向爬取是指以下这种情况，我要对某个生活分类信息的网站进行数据爬取，譬如要爬取租房信息栏目，我在该栏目的索引页看到如下页面，此时我要爬取该索引页中的每个条目的详细信息（纵向爬取），然后在分页器里跳转到下一页（横向爬取），再爬 阅读全文
摘要：
摘要：介绍了使用Scrapy登录简单网站的流程，不涉及验证码破解 简单登录 很多时候，你都会发现你需要爬取数据的网站都有一个登录机制，大多数情况下，都要求你输入正确的用户名和密码。现在就模拟这种情况，在浏览器打开网页：http://127.0.0.1:9312/dynamic，首先打开调试器，然后点 阅读全文
摘要：
Scrapy简述 Scrapy十一个健壮的，用来从互联网上抓取数据的web框架，Scrapy只需要一个配置文件就能组合各种组件和配置选项，并且Scrapy是基于事件（event-based）的架构，使得我们可以级联多个操作，包括清理、组织、存储数据到数据库等等。假设现在你要抓取一个网站，这个网站的每 阅读全文
摘要：
我已经使用了scrapy有半年之多，但是却一直都感觉没有入门，网上关于scrapy的文章简直少得可怜，而官网上的文档（http://doc.scrapy.org/en/1.0/index.html）对于一个初学者来说实在太不友好了，尤其是像我这种英语水平还未达到炉火纯青地步的程序员来说，读官方文档只 阅读全文