摘要：
概念：优秀持久层框架：实体类和SQL语句之间建立映射关系 与hibernate区别 ：自动生成sql语句，并且建立实体类和数据表的映射。 MyBatis基本要素：核心对象 核心配置文件 SQL映射文件 特点： 基于SQL语法 ，简单易学 能了解底层封装过程 SQL语句封装在配置文件中， 便于统一管理 阅读全文
摘要：
DCL ：一个项目创建一个用户，一个项目的对应的数据库只有一个这个用户只能对这个数据库有权限,其他的数据库你操作不了这些操作只有root 用户才有这个本事1.创建用户: create user '用户名'@'指定的ip地址' identified by '密码'; ->用户只能在指定的ip地址登录 阅读全文
摘要：
五 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息 阅读全文
摘要：
一、使用graph做好友推荐 测试数据 陌上花开 旧事酒浓 多情汉子 APP爱奇艺:10 BS龙德广场:8 多情汉子 满心闯 K韩剧:20 满心闯 喜欢不是爱 不是唯一 APP爱奇艺:10 装逼卖萌无所不能 K欧莱雅面膜:5 计算结果数据 (-397860375,(List(喜欢不是爱, 不是唯一, 阅读全文
摘要：
四 Kafka API 实战 4.1 环境准备 1）在 eclipse 中创建一个 java 工程 2）在工程的根目录创建一个 lib 文件夹 3）解压 kafka 安装包，将安装包 libs 目录下的 jar 包拷贝到工程的 lib 目录下，并 build path。 4）启动 zk 和 kafk 阅读全文
摘要：
三 Kafka 工作流程分析 3.1 Kafka 生产过程(Producer)分析 3.1.1 写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 阅读全文
摘要：
二 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 node01 node02 node03 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.1.3 虚拟机准备 1）准备 阅读全文
摘要：
数据技术之 Kafka 版本：V1.0 一 Kafka概述 1.1 Kafka 是什么 在流式计算中，Kafka 一般用来缓存数据，SparkStreaming/Flink/Storm 通过消费 Kafka 的数据进行计算。 1）Apache Kafka 是一个开源消息系统，由 Scala 写成。是由 Apache 软件基金会开发的 一个开源消息系统项目。 2）Kafka 最初是由 LinkedI 阅读全文
摘要：
创建topic：./kafka-topics.sh --create --topic JsonData --partitions 3 --replication-factor 1 --zookeeper linux04 删除：bin/kafka-topics.sh --delete --zookee 阅读全文
摘要：
商圈标签 一、使用百度地图开发平台(lbs),根据经纬度查询商圈 注:中国的经纬度范围大约为:维度3.86~53.55,经度73.66~135.05不在范围内的数据可不做处理 第一步:注册百度地图开发平台的账号,申请地址:http://lbsyun.baidu.com/ 第二步:填写注册信息 第三步 阅读全文
摘要：
spark08 这就是广播变量，每个executor中复用一份数据，在driver端将数据广播出去，在executor端使用 val bd = sc.broadcast(iparr)val proRDD = accRDD.map(t=>{ val province = binarySeach(t,b 阅读全文