随笔分类 - 大数据处理
摘要：转自：https://shishan100.gitee.io/docs/#/./docs/middleware/page10 目录 1、页缓存技术 + 磁盘顺序写 2、零拷贝技术 3、最后的总结 Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kaf
阅读全文
摘要：kafka学习笔记 "参考文档" Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据（page view、查看内容、搜索内容等）和运营数据（CPU、IO使用率、请求时间、服务器日志等）要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布/订阅的消息系
阅读全文
摘要：Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc：yum install gcc 安装zlib：yum install zib 安装ruby：yum install ruby 安装rubygems：yum install rubygems 安装ruby的redis驱动：gem i
阅读全文
摘要：zookeeper部署及集群测试 环境 三台测试机 操作系统: centos7 ; hostname: c1 ; ip: 192.168.1.80 操作系统: centos7 ; hostname: c2 ; ip: 192.168.1.81 操作系统: centos7 ; hostname: c3
阅读全文
摘要：flume与kafka整合 前提： flume安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800300.html kafka安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800224.html 在上
阅读全文
摘要：CentOS 7部署flume 准备工作： 安装java并设置java环境变量，在 中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin 注意事项 需要启动多个shell脚本交互客户端进行验证，运行中的
阅读全文
摘要：CentOS 7部署Kafka和Kafka集群 注意事项 需要启动多个shell脚本交互客户端进行验证，运行中的客户端不要停止。 准备工作： 安装java并设置java环境变量，在 中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PAT
阅读全文
