上一页 1 ··· 3 4 5 6 7 8 下一页
摘要: 控制器类必须传一个类型为CrawlConfig的参数,用于配置crawler4j。下面描述了一些关于配置的细节。 抓取深度 默认情况下没有抓取深度的限制。可以通过配置来限制深度,比如,你有个种子页面A连接到B,B又连接到C,C又连接到D。结构如下: A --> B --> C --> D A是种子页 阅读全文
posted @ 2017-12-25 15:17 不朽丶 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: 该事例演示了如何在多线程中统计和分析数据; 首先建一个状态实体类CrawlStat: 再建一个LocalDataCollectorCrawler类: 最后建一个控制器LocalDataCollectorController: 打印结果: 阅读全文
posted @ 2017-12-25 15:07 不朽丶 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 该实例主要演示下如何爬取指定网站的图片; 代码中有详细注释: 首先写一个ImageCrawler类: 再写一个图片爬虫控制器:ImageCrawlController 阅读全文
posted @ 2017-12-25 14:57 不朽丶 阅读(785) 评论(0) 推荐(0) 编辑
摘要: 项目是基于maven 结构的。 首先我们在pom.xml中加入log4j以及log4j驱动类支持; <groupId>edu.uci.ics</groupId> <artifactId>crawler4j</artifactId> <version>4.2</version> </dependenc 阅读全文
posted @ 2017-12-25 14:45 不朽丶 阅读(798) 评论(0) 推荐(0) 编辑
摘要: 1.安装脚本管理器。 下载地址:https://greasyfork.org/zh-CN/ 2.下载脚本。 下载地址:https://greasyfork.org/zh-CN/scripts/17800-解决百度云大文件下载限制 也可以使用下面的脚本 3.打开谷歌浏览器-->更多工具-->拓展插件。 阅读全文
posted @ 2017-12-19 16:29 不朽丶 阅读(2630) 评论(0) 推荐(0) 编辑
摘要: 首先 有应用A 是 提供者 应用B 来实现既是消费者又是提供者 在应用 B 这边新建两个xml dubbo-consumer.xml 消费者 dubbo-provider.xml 提供者 启动之后会报错: Duplicate application configs: <dubbo:applicati 阅读全文
posted @ 2017-12-13 17:39 不朽丶 阅读(10394) 评论(0) 推荐(0) 编辑
摘要: 1.首先下载google的protobuf的compiler,通过编译器可以将.proto文件转换为想要的语言文件。 下载地址:https://repo1.maven.org/maven2/com/google/protobuf/protoc/ 2.写一个proto文件 文件保存为 MessageB 阅读全文
posted @ 2017-12-12 17:36 不朽丶 阅读(6176) 评论(1) 推荐(0) 编辑
摘要: 1. Linux简介及Ubuntu安装 [1] Linux,免费开源,多用户多任务系统。基于Linux有多个版本的衍生。RedHat、Ubuntu、Debian安装VMware或VirtualBox虚拟机。具体安装步骤,找百度。再安装Ubuntu。具体安装步骤,找百度。安装完后,可以看到Linux系 阅读全文
posted @ 2017-12-05 17:06 不朽丶 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 方法一:在线安装 打开HELP- > MyEclipse Configuration Center。切换到SoftWare标签页。 点击Add Site 打开对话框,在对话框Name输入Svn,URL中输入:http://subclipse.tigris.org/update_1.6.x 在左边栏中 阅读全文
posted @ 2017-12-05 17:03 不朽丶 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 编辑 作用域 功能 快捷键 全局 查找并替换 Ctrl+F 文本编辑器 查找上一个 Ctrl+Shift+K 文本编辑器 查找下一个 Ctrl+K 全局 撤销 Ctrl+Z 全局 复制 Ctrl+C 全局 恢复上一个选择 Alt+Shift+↓ 全局 剪切 Ctrl+X 全局 快速修正 Ctrl1+ 阅读全文
posted @ 2017-12-05 17:01 不朽丶 阅读(174) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 下一页
页脚