摘要: 由于最近要重新开始找工作,在对过往知识进行梳理时,发现好像每一次重新找工作时都要重新去梳理这些知识,感觉每一次都要重来一遍是不是有点得不偿失,为什么不尝试直接做个知识导图,然后去补充知识点,这样既能快速的复习,又能节约时间,效率自然就提高,说干就干,于是就有了这次分享的kafka导图,知识点并非是自 阅读全文
posted @ 2019-12-29 22:21 1亩3分地 阅读(287) 评论(0) 推荐(0)
摘要: 使用maxwell实时同步mysql的binlog日志,host数据存储在mysql8上,maxwell启动时报错:Could not connect to jdbc:mysql://X.X.X.249:3306?connectTimeout=5000&zeroDateTimeBehavior=co 阅读全文
posted @ 2019-05-29 15:17 1亩3分地 阅读(673) 评论(0) 推荐(0)
摘要: 执行spark任务时,每次启动后,少则一个小时,多则两三天左右,任务就会死掉,yarn日志报错见下图: For more detailed output, check application tracking page:http:/xxx:8088/cluster/app/application_1 阅读全文
posted @ 2019-05-20 10:21 1亩3分地 阅读(1695) 评论(0) 推荐(0)
摘要: 简介HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲,HBase不折不扣是一个数据库,与我们熟悉的Oracle、MySQL、MSSQL等一 阅读全文
posted @ 2018-08-07 16:02 1亩3分地 阅读(209) 评论(0) 推荐(0)
摘要: 1 Spark的RDD 提到Spark必说RDD,RDD是Spark的核心,如果没有对RDD的深入理解,是很难写好spark程序的,但是网上对RDD的解释一般都属于人云亦云、鹦鹉学舌,基本都没有加入自己的理解。本文基于Spark原创作者的论文,对Spark的核心概念RDD做一个初步的探讨,希望能帮助 阅读全文
posted @ 2018-08-05 10:20 1亩3分地 阅读(177) 评论(0) 推荐(0)