05 2021 档案

logstach kafka
摘要：logstash和logtail一样，是负责收集数据的。 日志的处理; 所以logstash把数据导入到kafka，然后flink再从kafka中去 flink完成之后 单机上启动kafka https://cloud.tencent.com/developer/article/1624740 fl 阅读全文
posted @ 2021-05-30 16:24 honpey 阅读(49) 评论(0) 推荐(0) 编辑
kafka是一个消息系统
摘要：https://kafka.apache.org/quickstart#quickstart_send kafka是一个消息管理系统，这个系统中存放的一些本地的日志，这个系统很适合用来作为flink的数据源，为处理日志提供一个统一的高吞吐、低延迟的平台，是一个互联网分布式框架的大规模发布订阅框架。 阅读全文
posted @ 2021-05-29 17:05 honpey 阅读(70) 评论(0) 推荐(0) 编辑
启动一个最简单的spark作业
摘要：首先肯定先是把整个算法包给打出来，打出来之后，打印出来之后，是要通过一个工具，将这个作业提交给整个spark集群 首先一个spark是怎么启动这些作业的，首先就是一个最简单的例子，看一下spark里面是怎么去执行的 SparkContext: Added JAR file:///home/hon/D 阅读全文
posted @ 2021-05-25 08:04 honpey 阅读(171) 评论(0) 推荐(0) 编辑
spark 和 fink
摘要：搞spark和flink的这两拨人，对数据的理解已经在很高的位置上了。 spark的方法都是要按照， 全部 eclipse环境终于搭建完成了。 阅读全文
posted @ 2021-05-25 08:03 honpey 阅读(105) 评论(0) 推荐(0) 编辑
说说spark
摘要：spark包括hadoop中的mapreduce，其实都是对数据的建模； 不管底层的资源管理是yarn还是别的，其实spark暴露出来的用户操作界面其实都是一样的，都是一种并行化的处理，只是具体执行的差异 是对数据建模的一种方法，把所有的数据当做了整个程序的一个入口，这是一种数据建模的思维； 整个一 阅读全文
posted @ 2021-05-22 18:45 honpey 阅读(44) 评论(0) 推荐(0) 编辑