摘要: apache-storm-0.9.5/conf/storm.yaml storm.yaml配置内容如下: storm.zookeeper.servers: - "192.168.93.128" - "192.168.93.129" - "192.169.93.130" nimbus.host: "1 阅读全文
posted @ 2019-09-02 14:21 ashaff 阅读(2390) 评论(0) 推荐(0) 编辑
摘要: 参考网址:https://github.com/doujiang24/lua-resty-kafka 一、例子 content_by_lua ' -- 引入lua所有api local cjson = require "cjson" local producer = require "resty.k 阅读全文
posted @ 2019-09-02 14:20 ashaff 阅读(1523) 评论(0) 推荐(0) 编辑
摘要: author:ashaff kafka的配置分为 broker、producter、consumer三个不同的配置 一 broker 的全局配置 最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。 系统相关 #每一个broker在集群中的唯一标示,要求是正 阅读全文
posted @ 2019-09-02 14:19 ashaff 阅读(4881) 评论(0) 推荐(0) 编辑
摘要: 因为最近线上的Hadoop集群从mrv1升级到mrv2了,监控模板也跟着变动了。线上是200台左右的集群,模块采用了link的方式来添加,即一个模板下link大量的模块,然后主机添加到这个模板里。 这样算下来一台机器差不多有 215个item。 为了增加NM的监控,也采用了link的方式来连接模板, 阅读全文
posted @ 2019-09-02 14:15 ashaff 阅读(1146) 评论(0) 推荐(0) 编辑
摘要: 推荐慕课网视频:http://www.imooc.com/video/10055 另外,关于Storm并发度,已经整理到另一篇博客中,希望对读者有所帮助。 请参考:http://www.cnblogs.com/quchunhui/p/8271349.html Storm的起源。 Storm是开源的、 阅读全文
posted @ 2019-09-02 11:45 ashaff 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 问题分析 问题一:要求日志最好入库;但是,直接入库mysql确实扛不住,批量入库没有问题,done。【批量入库和直接入库性能差异】 问题二:批量入库就需要有高并发的消息队列,决定采用redis list 仿真实现,而且方便回滚。 问题三:日志量毕竟大,保存最近30条足矣,决定用php写个离线统计和清 阅读全文
posted @ 2019-09-02 11:42 ashaff 阅读(1525) 评论(0) 推荐(0) 编辑
摘要: 场景: Nginx+Web服务器可以实现负载均衡,但是一台Nginx也是有限的,如果并非量高的话,在他的上层如何实现负载均衡。 如果是DNS或者CDN的话,建多个机房,势必有多个机房数据同步的问题。 有什么这方面的好的资料吗? 解答: 这方面的资料,基本都是一块一块不完整的。我大概跟你说一个基本架构 阅读全文
posted @ 2019-09-02 11:41 ashaff 阅读(4031) 评论(0) 推荐(0) 编辑
摘要: 基本信息 spock:PRIMARY>db.serverStatus() { "host" :"h6.corp.yongche.org", //主机名 "version" :"2.6.2", //mongodb版本 "process" :"mongod", //mongodb进程,主要有mongod 阅读全文
posted @ 2019-09-02 11:32 ashaff 阅读(3228) 评论(0) 推荐(0) 编辑
摘要: 连接mongo $connection = new MongoClient (); // 连接到 localhost:27017 $connection = new MongoClient ( "mongodb://example.com" ); // 连接到远程服务器 (使用默认端口: 27017 阅读全文
posted @ 2019-09-02 11:20 ashaff 阅读(628) 评论(0) 推荐(0) 编辑
摘要: ngx_lua模块的原理: 1、每个worker(工作进程)创建一个Lua VM,worker内所有协程共享VM;2、将Nginx I/O原语封装后注入 Lua VM,允许Lua代码直接访问;3、每个外部请求都由一个Lua协程处理,协程之间数据隔离;4、Lua代码调用I/O操作等异步接口时,会挂起当 阅读全文
posted @ 2019-09-02 11:09 ashaff 阅读(150) 评论(0) 推荐(0) 编辑