摘要：
一、通用脚本 当运行streaming任务时,可能会因为某些原因比如代码的bug,以及其他的因素导致streaming程序停止(FINISHED,KILLED,FAILED),虽然我们可以再手动重启一次程序, 但是这样还是比较麻烦的,接下来要做的就是让linux自动监控streaming程序是否停止 阅读全文
摘要：
一、pom <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>k 阅读全文
摘要：
相关链接：https://www.cnblogs.com/fishperson/p/10447033.html / + Dstream.foreachRDD ：每个interval时间段中的RDD Dstream和RDD的关系？ 1对1 补充：只有序列化才能远程传输！！！Connection是昂贵资 阅读全文
摘要：
wc -l 文件 => 文件总行数 wc -L 文件 => 文件行的最大length（包含空格，也算作length） 阅读全文
摘要：
一、安装 进入目录 cd conf/ cp flume-env.sh.template flume-env.sh vi flume-env.sh 添加 >>> JAVA_HOME=/opt/bigdata/java/jdk180 然后配置环境变量 vi /etc/profile #flume exp 阅读全文
摘要：
阅读全文
摘要：
见：https://www.cnblogs.com/sabertobih/p/14092290.html 数据不丢失 1）从生产端：acks = -1，（ack应答机制）从生产端到节点端，当所有isr集合里的节点备份完毕后返回成功； 2）从节点端：每个partition至少需要一个isr节点（同步） 阅读全文
摘要：
一、生成 dependencies选择 spring web redis reactive 二、目录 三、代码 application.yml service/SalesOrderService @Service public class SalesOrderService { @Autowired 阅读全文
摘要：
借助hbase的读写思路做数仓 hbase读写速度快（与HDFS对比）是基于两方面： 1）用户写（入cache）和（cache）写入硬盘是异步的 2）有-root-和-meta-表，能够快速定位表的位置 => 成为物理化的标准索引 详见：https://www.cnblogs.com/saberto 阅读全文
摘要：
一、概念 压力测试：长时间（24小时），每小时很多用户访问很多次 负载测试：瞬间并发达到极限高峰，能不能顶住 二、实操 1）需要测试的接口为： 2）打开jmeter 3）配置访问参数 “测试计划”右键 => 添加 => 线程（用户）=> 线程组 如下：开1000个线程，每个线程每秒访问5次 “永远” 阅读全文