摘要: 1.kafka consumer流程1.1.在启动时或者协调节点故障转移时,消费者发送ConsumerMetadataRequest给bootstrap brokers列表中的任意一个brokers。在ConsumerMetadataResponse中,它接收消费者对应的消费组所属的协调节点的位置信 阅读全文
posted @ 2019-07-24 22:50 西瓜哥119 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 1.Producer流程首先构建待发送的消息对象ProducerRecord,然后调用KafkaProducer.send方法进行发送。KafkaProducer接收到消息后首先对其进行序列化,然后结合本地缓存的元数据信息一起发送给partitioner去确定目标分区,最后追加写入到内存中的消息缓冲 阅读全文
posted @ 2019-07-15 22:35 西瓜哥119 阅读(324) 评论(0) 推荐(0) 编辑
摘要: Apache Maven,是一个软件(特别是Java软件)项目管理及自动构建工具,由Apache软件基金会所提供。基于项目对象模型(缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目,现为独立Apache项目。1.软件下载http 阅读全文
posted @ 2019-07-12 00:25 西瓜哥119 阅读(6862) 评论(0) 推荐(0) 编辑
摘要: 1.主题管理 kafka-topics.sh工具脚本用于对主题操作,如创建、删除、修改、分区数、副本数及主题级别的配置。 1.1创建名为kafka-test主题,有2个副本,3个分区 [hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --c 阅读全文
posted @ 2019-07-07 23:54 西瓜哥119 阅读(466) 评论(0) 推荐(0) 编辑
摘要: Kafka集群安装主节点h201,从节点h202、h2031.安装jdk1.8[hadoop@h201 ~]$ /usr/jdk1.8.0_144/bin/java -version 2.安装zookeeperkafka集群需要 zookeeper支持[hadoop@h201 ~]$ tar -zx 阅读全文
posted @ 2019-07-06 00:28 西瓜哥119 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 一.什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统,是一个分布式的,可划分的,冗余备份的持久性的日志服务。Kafka使用场景:1 日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放 阅读全文
posted @ 2019-07-04 23:38 西瓜哥119 阅读(949) 评论(0) 推荐(1) 编辑
摘要: 通过天气,温度,风速3个特征,建立随机森林,判断特征的优先级结果 天气 温度 风速结果(0否,1是)天气(0晴天,1阴天,2下雨)温度(0热,1舒适,2冷)风速(0没风,1微风,2大风)1 1:0 2:1 3:0结果去打球 1字段:晴天 2字段:温度舒适 3字段:风速没风[hadoop@h201 p 阅读全文
posted @ 2019-06-19 13:55 西瓜哥119 阅读(690) 评论(0) 推荐(0) 编辑
摘要: 1.什么是随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决 策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一 类被选择最多,就预测这个样 阅读全文
posted @ 2019-06-17 23:31 西瓜哥119 阅读(784) 评论(0) 推荐(0) 编辑
摘要: 1.什么是决策树 决策树(decision tree)是一个树结构(可以是二叉树或者非二叉树)。决策树分为分类树和回归树两种,分类树对离散变量做决策树,回归树对连续变量做决策树。 其中每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放在一个类别。 使用 阅读全文
posted @ 2019-06-13 12:17 西瓜哥119 阅读(1234) 评论(0) 推荐(0) 编辑
摘要: 已知10月份10-22日网球场地,会员打球情况通过朴素贝叶斯算法,预测23,24号是否适合打网球。结果,日期,天气 温度 风速结果(0否,1是)天气(0晴天,1阴天,2下雨)温度(0热,1舒适,2冷)风速(0没风,1微风,2大风)训练数据vi p1.txt1,20181010,0 1 00,2018 阅读全文
posted @ 2019-06-11 10:47 西瓜哥119 阅读(669) 评论(0) 推荐(0) 编辑