04 2018 档案
摘要:参考 flume的http监控参数说明 普通的flume启动命令 日志信息在终端输出,只有去掉这个参数,日志才能在log4j和logback中输出 如果要加上http监控的话 即加上参数,flume.monitoring.type=http 指定了Reporting的方式为http,flume.mo
阅读全文
摘要:参考 : kafka管理器kafka-manager部署安装 下载Kafka Manager,并进行打包,由于Kafka manager是由scala写的,所以需要由sbt的支持 git clone https://github.com/yahoo/kafka-manager cd kafka-ma
阅读全文
摘要:参考: http://www.cnblogs.com/EasonJim/p/7130171.html 安装indicator-sysmonitor sudo add-apt-repository ppa:fossfreedom/indicator-sysmonitor sudo apt-get up
阅读全文
摘要:1. 搭建kafka的时候需要根据数据流量预估kafka集群的规模,aws为其MSK服务(aws上的托管kafka)提供了一个excel表格,可以输入参数来评估集群需要的硬件参数 https://amazonmsk.s3.amazonaws.com/MSK_Sizing_Pricing.xlsx
阅读全文
摘要:参考 ubuntu14 手动安装sbt 1、下载sbt通用平台压缩包:sbt-0.13.5.tgz http://www.scala-sbt.org/download.html 2、建立目录,解压文件到所建立目录 $ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scal
阅读全文
摘要:参考 ubuntu16.04 配置shadowsocks及使用教程,支持chacha20-ietf-poly1305加密方式 安装shadowocks-libev 配置文件 内容 运行shadowocks Centos下安装 参考 步骤 期间遇到 configure: error: mbed T
阅读全文
摘要:GRUB 是一个用于加载和管理系统启动的完整程序。它是Linux 发行版中最常见的 引导程序 bootloader 。引导程序是计算机启动时运行的第一个软件。 1.grub命令行模式 如果进入的grub命令行模式的话,则说明GNU grub找不到正确的引导文件,这时候可以通过命令手动来进行选择,如下
阅读全文
摘要:参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语,参考 Apache kafka 工作原理介
阅读全文
摘要:VCS >Enable Version Control Integration,然后选择git就可以了
阅读全文
摘要:Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume是一个专门设计用来从大量的源,推送数据到Hadoop生态系统中各种各样存储系统中去的,例如HDFS和HB
阅读全文