Live2D

随笔分类 -  大数据

摘要:步骤:建分区表、建临时表、临时表数据写入、临时表写入数据到分区表 1、分区参数介绍 hive.exec.dynamic.partition:是否启动动态分区。默认false。 hive.exec.dynamic.partition.mode:打开动态分区后,动态分区的模式为strict和nonstr 阅读全文
posted @ 2021-09-22 10:28 -涂涂- 阅读(2061) 评论(0) 推荐(0) 编辑
摘要:没有kerberos认证的hive链接比较方便,但是有kerberos认证就需要多做一些事情。 1、pom.xml 依赖: <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <vers 阅读全文
posted @ 2020-09-11 14:37 -涂涂- 阅读(4998) 评论(0) 推荐(0) 编辑
摘要:简单版 https://www.cnblogs.com/Sebastian-Wang/p/6047068.html 复杂版 https://www.cnblogs.com/zhi-leaf/p/11509186.html 阅读全文
posted @ 2020-09-07 11:03 -涂涂- 阅读(644) 评论(0) 推荐(0) 编辑
摘要:wordcount原理图 MAP REDUCE 参考: https://www.pianshen.com/article/865957921/ https://www.jianshu.com/p/9587e994390d 阅读全文
posted @ 2020-08-27 14:58 -涂涂- 阅读(237) 评论(0) 推荐(0) 编辑
摘要:本方案出自《storm应用实践:实时事务处理之策略》,简略的写了一部分,详细的方法就看书吧 1)集群中工作进程冲突: 解决:通过查看stormUI cluster summary中的free slots是否为零(为零表示新拓扑无法部署,没有可用空进程) 2)拓扑停止或者不执行: 一般是因为没有可用空 阅读全文
posted @ 2019-07-08 11:08 -涂涂- 阅读(208) 评论(0) 推荐(0) 编辑
摘要:一、storm nimbus 单节点问题概述 1、storm集群在生产环境部署之后,通常会是如下的结构: 从图中可以看出zookeeper和supervisor都是多节点,任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响,但nimbus和ui都是单节点。u 阅读全文
posted @ 2019-07-07 22:26 -涂涂- 阅读(353) 评论(0) 推荐(0) 编辑
摘要:1、默认情况下: 1个supervisor节点启动4个worker进程。 每一个topology默认占用一个worker进程。 每个worker会启动executor。 每个executor默认启动一个task。 2、并行度 什么是并行度?在 Storm 的设定里,并行度大体分为3个方面: 一般来说 阅读全文
posted @ 2019-07-07 22:15 -涂涂- 阅读(1984) 评论(0) 推荐(0) 编辑
摘要:先上个图: 具体区别: IRichBolt/IBasicBolt 区别IRichBolt和IBasicBolt IRichBolt继承自IBolt和IComponent。IBasicBolt继承自IComponent,和IBolt没有继承关系。 实现IRichBolt的Bolt有:BaseRichB 阅读全文
posted @ 2019-06-13 22:50 -涂涂- 阅读(250) 评论(0) 推荐(0) 编辑
摘要:单机本地运行storm报错: 错误如下: 解决方法: 1、确认是否初始化collector 2、确认是否是运行本地而不是集群的启动方式 open方法 * 1、在任务集群的工作进程内被初始化,提供spout执行所需要的环境 * 2、conf参数是这个spout的strom配置,提供给拓扑与这台主机上的 阅读全文
posted @ 2019-06-11 21:50 -涂涂- 阅读(491) 评论(0) 推荐(0) 编辑
摘要:Fields,个人理解,类似于一张表,你取那些字段以及这些字段所对应的数据给后面的bolt用 这个Field通常和fieldsGrouping分组机制一起使用,这个Field特别难理解,我自己也是在网上看了好多文章,感觉依旧讲的不是很清楚,是似而非,没有抓到重点。这个问题足足困扰了我3-4天时间,一 阅读全文
posted @ 2019-06-11 20:38 -涂涂- 阅读(741) 评论(0) 推荐(0) 编辑
摘要:在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一。从它的名字上看,它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑,Secondary NameNode究竟是做什么的,而且它为什么会出现在HDFS中。 从它的名字来看, 阅读全文
posted @ 2019-06-09 22:46 -涂涂- 阅读(2550) 评论(0) 推荐(1) 编辑
摘要:Storm并行度 wordcount 统计job代码 public class WordCountTopology { private static final String SENTENCE_SPOUT_ID = "sentence-spout"; private static final Str 阅读全文
posted @ 2019-06-04 22:17 -涂涂- 阅读(219) 评论(0) 推荐(0) 编辑
摘要:Kafka参数详解 每个kafka broker中配置文件server.properties默认必须配置的属性如下: broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket. 阅读全文
posted @ 2019-06-03 12:07 -涂涂- 阅读(2609) 评论(0) 推荐(0) 编辑
摘要:flume参数: 此配置定义名为a1的单个代理。a1有一个侦听端口44444上的数据的源,一个缓冲内存中事件数据的通道,以及一个将事件数据记录到控制台的接收器。 根据scource、channel、sink划分 1、Sources Flume中常用的Source有NetCat,Avro,Exec,S 阅读全文
posted @ 2019-06-03 11:00 -涂涂- 阅读(3914) 评论(0) 推荐(0) 编辑
摘要:通过flume收集其他机器上flume的监测数据,发送到本机的kafka进行消费。 环境:slave中安装flume,master中安装flume+kafka(这里用两台虚拟机,也可以用三台以上) 通过监控test.log文件的变化,收集变化信息发送到主机的flume中,再发送到kafka中进行消费 阅读全文
posted @ 2019-06-02 18:04 -涂涂- 阅读(1694) 评论(0) 推荐(0) 编辑
摘要:环境:两台虚拟机( 每台都有flume) 第一台slave作为消息的产生者 第二台master作为消息的接收者 IP(192.168.83.133) 原理:通过监听slave中文件的变化,获取变化信息,发送到另一台电脑。 1、slave上配置conf里面的example.conf(标红的注意下) 2 阅读全文
posted @ 2019-06-01 22:56 -涂涂- 阅读(639) 评论(0) 推荐(0) 编辑
摘要:1,查看kafka topic列表,使用--list参数 2,查看kafka特定topic的详情,使用--topic与--describe参数 列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息 3、Kafka 删除 阅读全文
posted @ 2019-05-30 10:56 -涂涂- 阅读(2297) 评论(0) 推荐(1) 编辑
摘要:为了实现远程kafka通信,我可谓是呕心沥血。期间各种bug各种调,太煎熬了 (T.T) 介绍: 我用一台虚拟机作为远程消息的发送方,用本地电脑主机作为消息的接收方 虚拟机:安装java,kafka,zookeeper 主机:eclipse,注意我没有说在主机上也要安装kafka的 1、虚拟机部署 阅读全文
posted @ 2019-05-24 17:29 -涂涂- 阅读(1368) 评论(0) 推荐(0) 编辑
摘要:Storm主要的应用场景就是流式数据处理,例如实时推荐系统,实时监控系统等。 storm中的相关概念 在storm中,分布式的计算结构指的是一个topology(拓扑),一个topology由流式数据,spouts(流生产者),以及bolts(具体操作者)组成。Storm的topologies和其他 阅读全文
posted @ 2019-05-22 23:09 -涂涂- 阅读(2329) 评论(0) 推荐(1) 编辑
摘要:环境: 1、kafka+zookeeper 2、window平台 3、eclipse 设置: 1、kafka和zookeeper安装,另一篇有介绍(https://www.cnblogs.com/51python/p/10870258.html) 2、eclipse代码(建立maven工程) pom 阅读全文
posted @ 2019-05-22 21:34 -涂涂- 阅读(654) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示