简单明了 - 博客园

2015年10月15日

摘要： def baseLine(sc: SparkContext): Unit = { println("--------------------baseLine start--------------------") var data1Rdd = sc.textFile("/test/bas... 阅读全文

posted @ 2015-10-15 17:45 简单明了阅读(471) 评论(0) 推荐(0) 编辑

2015年9月29日

分类设计

摘要：阅读全文

posted @ 2015-09-29 11:06 简单明了阅读(199) 评论(0) 推荐(0) 编辑

2015年8月27日

LogStash的Filter的使用

摘要：最近在项目中使用LogStash做日志的采集和过滤，感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu... 阅读全文

posted @ 2015-08-27 10:35 简单明了阅读(26761) 评论(1) 推荐(0) 编辑

2015年8月10日

Linux修改/etc/profile不生效的问题

摘要：今天在原来的机器上修改了JDK的路径配置，但死活不生效。后来查了~/.bash_profile文件，里面没有配置。最后查~/.bashrc文件，发现里面有JDK的配置阅读全文

posted @ 2015-08-10 17:16 简单明了阅读(4279) 评论(0) 推荐(0) 编辑

2015年7月30日

Spark往Elasticsearch读写数据

摘要： def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]") sparkConf.set("es.inde... 阅读全文

posted @ 2015-07-30 17:20 简单明了阅读(8887) 评论(0) 推荐(0) 编辑

2015年7月29日

Drools给日志打标签

摘要：一、定义日志模型public class Logger { // 日志编号 private String id; // 目标IP private String targetIp; // 目标端口 private String targetPort; // 源... 阅读全文

posted @ 2015-07-29 18:07 简单明了阅读(1670) 评论(0) 推荐(0) 编辑

Spark ML 文本的分类

摘要：最近一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo，经过1个多月的研究，终于有点成效。val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]")... 阅读全文

posted @ 2015-07-29 10:52 简单明了阅读(1771) 评论(0) 推荐(0) 编辑

2014年11月13日

Linxu 安装Scala

摘要：在安装Scala的时候遇到以下错：Exception in thread "main" java.lang.NoClassDefFoundError: scala.tools.nsc.MainGenericRunner at gnu.java.lang.MainThread.run(libgcj.s... 阅读全文

posted @ 2014-11-13 17:57 简单明了阅读(578) 评论(0) 推荐(0) 编辑