摘要:
一、使用graph做好友推荐 测试数据 陌上花开 旧事酒浓 多情汉子 APP爱奇艺:10 BS龙德广场:8 多情汉子 满心闯 K韩剧:20 满心闯 喜欢不是爱 不是唯一 APP爱奇艺:10 装逼卖萌无所不能 K欧莱雅面膜:5 计算结果数据 (-397860375,(List(喜欢不是爱, 不是唯一, 阅读全文
摘要:
四 Kafka API 实战 4.1 环境准备 1)在 eclipse 中创建一个 java 工程 2)在工程的根目录创建一个 lib 文件夹 3)解压 kafka 安装包,将安装包 libs 目录下的 jar 包拷贝到工程的 lib 目录下,并 build path。 4)启动 zk 和 kafk 阅读全文
摘要:
三 Kafka 工作流程分析 3.1 Kafka 生产过程(Producer)分析 3.1.1 写入方式 producer 采用推(push)模式将消息发布到 broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障 kafka 阅读全文
摘要:
二 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 node01 node02 node03 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.1.3 虚拟机准备 1)准备 阅读全文
摘要:
数据技术之 Kafka 版本:V1.0 一 Kafka概述 1.1 Kafka 是什么 在流式计算中,Kafka 一般用来缓存数据,SparkStreaming/Flink/Storm 通过消费 Kafka 的数据进行计算。 1)Apache Kafka 是一个开源消息系统,由 Scala 写成。是由 Apache 软件基金会开发的 一个开源消息系统项目。 2)Kafka 最初是由 LinkedI 阅读全文
摘要:
创建topic:./kafka-topics.sh --create --topic JsonData --partitions 3 --replication-factor 1 --zookeeper linux04 删除:bin/kafka-topics.sh --delete --zookee 阅读全文
摘要:
商圈标签 一、使用百度地图开发平台(lbs),根据经纬度查询商圈 注:中国的经纬度范围大约为:维度3.86~53.55,经度73.66~135.05不在范围内的数据可不做处理 第一步:注册百度地图开发平台的账号,申请地址:http://lbsyun.baidu.com/ 第二步:填写注册信息 第三步 阅读全文