03 2017 档案

flume自定义source
摘要:package me; import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flume.EventDeliveryException; import org.apache.fl... 阅读全文

posted @ 2017-03-30 16:28 sunyaxue 阅读(3802) 评论(1) 推荐(0)

flume自定义sink之文件
摘要:package me; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import org.apache.flume.Channel; import org.apache.flume.Context;... 阅读全文

posted @ 2017-03-30 13:32 sunyaxue 阅读(2753) 评论(0) 推荐(0)

- Exception follows. org.apache.flume.FlumeException: java.net.BindException: Address already in use
摘要:[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { 阅读全文

posted @ 2017-03-30 11:59 sunyaxue 阅读(1925) 评论(0) 推荐(0)

flume自定义sink之mysql
摘要:package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import org.apache.fl... 阅读全文

posted @ 2017-03-30 11:57 sunyaxue 阅读(2988) 评论(0) 推荐(0)

flume自定义sink
摘要:package me; import org.apache.flume.Channel; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.EventDeliveryException; import org.apache.flume.Transaction; impo... 阅读全文

posted @ 2017-03-30 10:07 sunyaxue 阅读(608) 评论(0) 推荐(0)

查看jar包里面是否看有一个文件
摘要:jar -tf flume-ng-sink-mysql.jar | fgrep MySQLSink 阅读全文

posted @ 2017-03-27 11:59 sunyaxue 阅读(766) 评论(0) 推荐(0)

flume source spooldir
摘要:如果报错类似于 Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue process 换一个文件夹 阅读全文

posted @ 2017-03-22 16:32 sunyaxue 阅读(464) 评论(0) 推荐(0)

flume sink kafka
摘要:开启zookeeper和kafka,创建一个hellotest的topic 查看 阅读全文

posted @ 2017-03-21 13:57 sunyaxue 阅读(905) 评论(0) 推荐(0)

mac配置mysql
摘要:http://www.cnblogs.com/xiaozhiblog/p/5664521.html 阅读全文

posted @ 2017-03-21 12:49 sunyaxue 阅读(89) 评论(0) 推荐(0)

Mac 下卸载mysql
摘要:转自:http://www.cnblogs.com/TsengYuen/archive/2011/12/06/2278574.html 阅读全文

posted @ 2017-03-21 11:49 sunyaxue 阅读(332) 评论(0) 推荐(0)

mysql定时任务
摘要:查看event是否开启 开启event_scheduler 创建存储过程spark.test 创建event spark.e_test 每隔一分钟执行存储过程spark.test 关闭事务任务 开启事务任务 删掉存储过程 插入数据 查询出来的数据 参考:http://blog.csdn.net/tj 阅读全文

posted @ 2017-03-17 11:30 sunyaxue 阅读(207) 评论(0) 推荐(0)

mysql 触发器和自定义函数
摘要:首先自定义一个函数 创建触发器 向spark.userbehaviordatasource插入一条数据 查询spark.userbehavior sorry,不小心插入了两条✧(≖ ◡ ≖✿)嘿嘿 阅读全文

posted @ 2017-03-15 15:38 sunyaxue 阅读(482) 评论(0) 推荐(0)

mysql自定义函数 Unknown system variable 'result'
摘要:set global log_bin_trust_function_creators = 1; 阅读全文

posted @ 2017-03-15 15:27 sunyaxue 阅读(1272) 评论(0) 推荐(0)

mysql 触发器
摘要:创建一个触发器 向spark.userbehaviordatasource中插入一条数据 查询一下spark.userbehavior中的数据 删掉触发器 阅读全文

posted @ 2017-03-15 15:17 sunyaxue 阅读(136) 评论(0) 推荐(0)

mac查看mysql执行日志
摘要:查看mysql版本 错误: -bash: mysql: command not found 进入mysql 开启log 查询log的位置 重启mysql 阅读全文

posted @ 2017-03-15 11:36 sunyaxue 阅读(1864) 评论(0) 推荐(0)

flume 小案例
摘要:转自:http://corejava2008.iteye.com/blog/2218123 创建simple-conf文件 输入 打开另一个终端输入 阅读全文

posted @ 2017-03-14 15:23 sunyaxue 阅读(148) 评论(0) 推荐(0)

streaming+kafka 数据来源mysql数据库
摘要:package spark import java.util.Properties import java.util.HashMap import org.apache.kafka.clients.producer._ import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache... 阅读全文

posted @ 2017-03-14 10:29 sunyaxue 阅读(3048) 评论(1) 推荐(0)

sparkStraming存储数据到mysql
摘要:重复存储问题修复 阅读全文

posted @ 2017-03-13 17:30 sunyaxue 阅读(494) 评论(0) 推荐(0)

转:Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统
摘要:转自:https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/ 生产者: 消费者: 阅读全文

posted @ 2017-03-13 15:00 sunyaxue 阅读(284) 评论(0) 推荐(0)

转:【Scala】单例对象与伴生对象
摘要:转自:http://blog.csdn.net/jasonding1354/article/details/46507595 Scala的单例对象 Scala不能定义静态成员,而是代之定义单例对象(singleton object)。以object关键字定义。 对象定义了某个类的单个实例,包含了你想 阅读全文

posted @ 2017-03-10 11:39 sunyaxue 阅读(433) 评论(0) 推荐(0)

scala 单例、伴生对象、伴生类
摘要:单例:使得对象成为系统中的唯一实例 伴生对象: 当单例对象与某个类共享同一个名称时,它就被称为是这个类的伴生对象(companion object)。类和它的伴生对象必须定义在同一个源文件中。类被称为是这个单例对象的伴生类(companion class)。类和它的伴生对象可以互相访问其私有成员。 阅读全文

posted @ 2017-03-10 11:30 sunyaxue 阅读(288) 评论(0) 推荐(0)

scala jdbc链接mysql
摘要:package spark import java.util.Properties import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkContext, SparkConf} import spark.bean.orders object SelectFromOneTable { ... 阅读全文

posted @ 2017-03-10 10:15 sunyaxue 阅读(908) 评论(0) 推荐(0)

创建数据库指定utf8
摘要:CREATE DATABASE hibernate DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci 阅读全文

posted @ 2017-03-09 17:17 sunyaxue 阅读(291) 评论(0) 推荐(0)

转: spark:scala读取mysql的4种方法
摘要:转自:http://blog.csdn.net/liuzongxi/article/details/51764104 Spark:Scala读取MySQL的4种方法 1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/Hbase 阅读全文

posted @ 2017-03-09 17:04 sunyaxue 阅读(6191) 评论(0) 推荐(0)

maven pom.xml的execution报错
摘要:解决办法: 1.偏好设置->Maven->Errors/Warnings->Plugin execution not covered by lifecycle configuration 选择Ignore 2.在<plugins>标签外添加一个<pluginManagement>标签。 阅读全文

posted @ 2017-03-09 15:15 sunyaxue 阅读(4785) 评论(0) 推荐(0)

maven安装scala插件
摘要:目的:用maven创建一个scala程序 点击Configure,点击Add Remote Catalog Catalog file:http://repo1.maven.org/maven2/archetype-catalog.xml Description:Remote Catalog 点击OK 阅读全文

posted @ 2017-03-09 15:12 sunyaxue 阅读(1055) 评论(0) 推荐(0)

html 和xml
摘要:Eclipse:没有插件.(自己装)(免费) MyEclipse:包含大量插件.(收费) //----------------------------------- HTML概念 HTML==> hyper text mark-up language==>超文本标记语言 超文本: 1.表达能力优于普通文本.声音 .图形等.. 2.超链接 标记语言:标记构成的.(HTML XML X... 阅读全文

posted @ 2017-03-08 13:29 sunyaxue 阅读(170) 评论(0) 推荐(0)

导航