2015年9月2日
001Spark文件分析测试
摘要： 使用spark-1.4.1-bin-hadoop2.6进行处理，测试文件大小为3G，测试结果：1:统计一个文件中某个字符的个数scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count()sc... 阅读全文
posted @ 2015-09-02 08:42 yshy 阅读(199) 评论(0) 推荐(0) 编辑