honpey - 博客园

2021年6月

摘要：这篇帖子中解决的问题是启动的时候zookeeper冲突的问题 https://www.cnblogs.com/huomei/p/12112800.html 单机版本hbase的安装 https://www.cnblogs.com/xuchen0117/p/12497668.html kafka 链接阅读全文

posted @ 2021-06-09 22:32 honpey 阅读(37) 评论(0) 推荐(0) 编辑

今天的工作是把数据的采集和存储打通

摘要：把数据的采集和存储打通： logstash->kafka->flink->hbase 直接用django中的数据对接到kafka中，直接对接到kafka中，遇到了各种各样的委托更新kafka遇到的第一个比较大的问题 .KafkaTimeoutError: KafkaTimeoutError: Fa 阅读全文

posted @ 2021-06-05 23:41 honpey 阅读(216) 评论(0) 推荐(0) 编辑

安装部署hbase

摘要：最后一个模块来了，hbase，这个模块是什么呢？是基于hadoop这一套文件系统上的数据库系统，bigtable，这套 nc -l 9000 阅读全文

posted @ 2021-06-05 19:20 honpey 阅读(22) 评论(0) 推荐(0) 编辑

2021年5月

logstach kafka

摘要： logstash和logtail一样，是负责收集数据的。日志的处理; 所以logstash把数据导入到kafka，然后flink再从kafka中去 flink完成之后单机上启动kafka https://cloud.tencent.com/developer/article/1624740 fl 阅读全文

posted @ 2021-05-30 16:24 honpey 阅读(49) 评论(0) 推荐(0) 编辑

kafka是一个消息系统

摘要： https://kafka.apache.org/quickstart#quickstart_send kafka是一个消息管理系统，这个系统中存放的一些本地的日志，这个系统很适合用来作为flink的数据源，为处理日志提供一个统一的高吞吐、低延迟的平台，是一个互联网分布式框架的大规模发布订阅框架。阅读全文

posted @ 2021-05-29 17:05 honpey 阅读(70) 评论(0) 推荐(0) 编辑

启动一个最简单的spark作业

摘要：首先肯定先是把整个算法包给打出来，打出来之后，打印出来之后，是要通过一个工具，将这个作业提交给整个spark集群首先一个spark是怎么启动这些作业的，首先就是一个最简单的例子，看一下spark里面是怎么去执行的 SparkContext: Added JAR file:///home/hon/D 阅读全文

posted @ 2021-05-25 08:04 honpey 阅读(171) 评论(0) 推荐(0) 编辑

spark 和 fink

摘要：搞spark和flink的这两拨人，对数据的理解已经在很高的位置上了。 spark的方法都是要按照，全部 eclipse环境终于搭建完成了。阅读全文

posted @ 2021-05-25 08:03 honpey 阅读(105) 评论(0) 推荐(0) 编辑

说说spark

摘要： spark包括hadoop中的mapreduce，其实都是对数据的建模；不管底层的资源管理是yarn还是别的，其实spark暴露出来的用户操作界面其实都是一样的，都是一种并行化的处理，只是具体执行的差异是对数据建模的一种方法，把所有的数据当做了整个程序的一个入口，这是一种数据建模的思维；整个一阅读全文

posted @ 2021-05-22 18:45 honpey 阅读(44) 评论(0) 推荐(0) 编辑

2021年4月

golang server端的epoll

摘要：最近工作中是有网络方面的需求，在这里写一些golang网络server端的一些内容。还是有诸多的点没有想明白； 1）一个server端的例子； 2）epoll，每当有数据的时候就会有这么一个事件么，都是有事件的，这里就是fd的驱动，这里就是fd的驱动，为什么fd忽悠 fd上如果是注册了poll函数，阅读全文

posted @ 2021-04-03 10:35 honpey 阅读(414) 评论(0) 推荐(0) 编辑

2021年1月

err.EIO到底是是个什么东西

摘要： EIO到底是个什么东西？一个http链接上，每时每刻，只能发送一个session的数据，但是 http://www.ruanyifeng.com/blog/2011/11/eof.html EIO到底是写端发送的一个特殊字符，还是读端根据自己的结构体要自己处理的内容，现在来看，应该是读端自己要处理阅读全文

posted @ 2021-01-31 19:38 honpey 阅读(112) 评论(1) 推荐(0) 编辑

公告