摘要: 下面是webmagic官方的默认实现HttpClientDownloader中的下载方法。 上面第一个标黄的方法,构造org.apache.http.client.methods.HttpUriRequest。这是一个挺重要的方法,这里面涉及到各种请求头文件之类的东西。 还有最重要的代理ip这里也是 阅读全文
posted @ 2017-04-07 00:48 烁2012 阅读(2334) 评论(0) 推荐(0) 编辑
摘要: 在spider类中有三个方法可以初始化startRequests。可以对这些地方进行扩展。 阅读全文
posted @ 2017-04-07 00:16 烁2012 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 这个异步调用方法中传入一个final 回调对象。 我们往上面看看这个回调对象的回调方法: 阅读全文
posted @ 2017-04-06 22:23 烁2012 阅读(4715) 评论(0) 推荐(0) 编辑
摘要: RocketMQ之broker读取本地文件数据 阅读全文
posted @ 2017-04-06 21:28 烁2012 阅读(1183) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-04-05 17:57 烁2012 阅读(1101) 评论(0) 推荐(0) 编辑
摘要: rocketmq用netty实现的网络连接,发现它多个线程掉用一个channel连接,所以这个是线程安全的? 使用Netty编程时,我们经常会从用户线程,而不是Netty线程池发起write操作,因为我们不能在netty的事件回调中做大量耗时操作。那么问题来了 – 1, writeAndFlush是 阅读全文
posted @ 2017-04-05 17:40 烁2012 阅读(3566) 评论(0) 推荐(0) 编辑
摘要: 发现rabbitmq有一个ConnectionFactory。发现rocketmq好像没这个东西。按道理来说如果每次发送消息都新建一条连接肯定是不可能的。 ps:其实之所以是有上面的疑问是因为数据库连接池那个地方来的,因为数据库连接connection并没有说是线程安全的,所以为了线程安全会为每个事 阅读全文
posted @ 2017-04-04 14:38 烁2012 阅读(7713) 评论(0) 推荐(1) 编辑
摘要: http://www.tuicool.com/articles/umQfMzA 1.序言 今天来和大家探讨一下RocketMQ在消息存储方面所作出的努力,在介绍RocketMQ的存储模型之前,可以先探讨一下MQ的存储模型选择。 2.MQ的存储模型选择 个人看来,从MQ的类型来看,存储模型分两种: 需 阅读全文
posted @ 2017-04-03 15:15 烁2012 阅读(3008) 评论(0) 推荐(0) 编辑
摘要: 原创文章,转载请注明出处:http://jameswxx.iteye.com/blog/2093785 一 机器部署 1.1 机器组成 1台nameserver 1台broker 异步刷盘 2台producer 2台consumer 1.2 硬件配置 CPU 两颗x86_64cpu,每颗cpu12核 阅读全文
posted @ 2017-04-03 14:57 烁2012 阅读(7351) 评论(1) 推荐(1) 编辑
摘要: subscription group permisson 阅读全文
posted @ 2017-03-27 20:52 烁2012 阅读(270) 评论(0) 推荐(0) 编辑