2017年3月14日

streaming+kafka 数据来源mysql数据库

摘要: package spark import java.util.Properties import java.util.HashMap import org.apache.kafka.clients.producer._ import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache... 阅读全文

posted @ 2017-03-14 10:29 sunyaxue 阅读(3013) 评论(1) 推荐(0) 编辑

2017年3月13日

sparkStraming存储数据到mysql

摘要: 重复存储问题修复 阅读全文

posted @ 2017-03-13 17:30 sunyaxue 阅读(483) 评论(0) 推荐(0) 编辑

转:Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统

摘要: 转自:https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/ 生产者: 消费者: 阅读全文

posted @ 2017-03-13 15:00 sunyaxue 阅读(265) 评论(0) 推荐(0) 编辑

2017年3月10日

转:【Scala】单例对象与伴生对象

摘要: 转自:http://blog.csdn.net/jasonding1354/article/details/46507595 Scala的单例对象 Scala不能定义静态成员,而是代之定义单例对象(singleton object)。以object关键字定义。 对象定义了某个类的单个实例,包含了你想 阅读全文

posted @ 2017-03-10 11:39 sunyaxue 阅读(407) 评论(0) 推荐(0) 编辑

scala 单例、伴生对象、伴生类

摘要: 单例:使得对象成为系统中的唯一实例 伴生对象: 当单例对象与某个类共享同一个名称时,它就被称为是这个类的伴生对象(companion object)。类和它的伴生对象必须定义在同一个源文件中。类被称为是这个单例对象的伴生类(companion class)。类和它的伴生对象可以互相访问其私有成员。 阅读全文

posted @ 2017-03-10 11:30 sunyaxue 阅读(264) 评论(0) 推荐(0) 编辑

scala jdbc链接mysql

摘要: package spark import java.util.Properties import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkContext, SparkConf} import spark.bean.orders object SelectFromOneTable { ... 阅读全文

posted @ 2017-03-10 10:15 sunyaxue 阅读(894) 评论(0) 推荐(0) 编辑

2017年3月9日

创建数据库指定utf8

摘要: CREATE DATABASE hibernate DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci 阅读全文

posted @ 2017-03-09 17:17 sunyaxue 阅读(283) 评论(0) 推荐(0) 编辑

转: spark:scala读取mysql的4种方法

摘要: 转自:http://blog.csdn.net/liuzongxi/article/details/51764104 Spark:Scala读取MySQL的4种方法 1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/Hbase 阅读全文

posted @ 2017-03-09 17:04 sunyaxue 阅读(6099) 评论(0) 推荐(0) 编辑

maven pom.xml的execution报错

摘要: 解决办法: 1.偏好设置->Maven->Errors/Warnings->Plugin execution not covered by lifecycle configuration 选择Ignore 2.在<plugins>标签外添加一个<pluginManagement>标签。 阅读全文

posted @ 2017-03-09 15:15 sunyaxue 阅读(4757) 评论(0) 推荐(0) 编辑

maven安装scala插件

摘要: 目的:用maven创建一个scala程序 点击Configure,点击Add Remote Catalog Catalog file:http://repo1.maven.org/maven2/archetype-catalog.xml Description:Remote Catalog 点击OK 阅读全文

posted @ 2017-03-09 15:12 sunyaxue 阅读(1035) 评论(0) 推荐(0) 编辑

导航