摘要:
Flink实时项目例程一、项目模块完整例程g... 阅读全文
摘要:
在本次实验中,利用spark、elasticsearch、kafka等相关框架搭建一个实时计算系统。 具体流程如下图所示, 用户访问对应服务,由nginx服务器进行负载均衡访问具体的主机上的服务,访问过程中将产生用户具体的操作日志,该操作日志将由具体服务发送保存到Kafka集群(或者可以写到具体文件 阅读全文
摘要:
在写Flink实例时,遇到将case cla... 阅读全文
摘要:
flinkflink(基于数据流上的有状态计... 阅读全文
解决windows上The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: ------
摘要:
解决Error while instanti... 阅读全文
摘要:
Sparkspark和hadoop的区别:h... 阅读全文
摘要:
基础语法区分大小写 - Scala是区分大小... 阅读全文
摘要:
注: 本文主要针对ES 2.x。 “该给ES分配多少内存?” “JVM参数如何优化?““为何我的Heap占用这么高?”“为何经常有某个field的数据量超出内存限制的异常?““为何感觉上没多少数据,也会经常Out... 阅读全文
摘要:
关于es的现实生成环境可以相应修改配置内容。cluster.name: elasticsearchnode.name: bigdata01network.host: 172.16.58.21http.port:... 阅读全文
摘要:
组件:flume-1.8、hadoop-2.6.0、kafka-2.10-0.10.2.1目的:flume消费kafka数据,以时间戳的形式创建文件,保存到hdfsSINKS.HDFS配置说明: channel ... 阅读全文