XGogo - 博客园

2016年8月24日

摘要：转自：http://lastorder.me/dremel-make-simple-with-parquet.html 首先自己的 blog 好久没有写技术相关的东西了，今天又动笔了，好高兴！然后转载请注明出处。最后开始正题: 原文：Dremel made simple with Parquet | 阅读全文

posted @ 2016-08-24 18:43 XGogo 阅读(434) 评论(0) 推荐(0) 编辑

Spark RDD、DataFrame和DataSet的区别

posted @ 2016-08-24 18:20 XGogo 阅读(5885) 评论(0) 推荐(0) 编辑

2016年8月10日

solr进阶九：solr对数字和单个字符的搜索

摘要： solr中配有分词器，但分词器里面有大写转换为小写的过滤器时，数字就会被过滤。比如123中国ABC。123就会被过滤掉了，所以才查1|12|123都会失败。《Solr 数字字符不能搜索的一个问题》这篇博文说得还算详细，我就是学这篇文章的。根据账号来搜索，当账号在数据库中是整型变量时，导入到sol 阅读全文

posted @ 2016-08-10 17:40 XGogo 阅读(888) 评论(0) 推荐(0) 编辑

Solr 数字字符不能搜索的一个问题

摘要：问题一：测试人员告诉我数字不能被搜索。于是开始找原因： <fields> ***<field name="productName" type="text" indexed="true" stored="true" />***</fields>fieldType text配置：<fieldType 阅读全文

posted @ 2016-08-10 17:38 XGogo 阅读(3170) 评论(0) 推荐(0) 编辑

2016年8月1日

Alluxio 内存存储系统部署

摘要：一、文件下载和解压 1）下载地址：http://www.alluxio.org/download 2）解压命令如下： $ wget http://alluxio.org/downloads/files/1.2.0/alluxio-1.2.0-bin.tar.gz$ tar xvfz alluxio 阅读全文

posted @ 2016-08-01 17:47 XGogo 阅读(4156) 评论(3) 推荐(0) 编辑

20个可能你不知道Linux网路工具

摘要：如果要在你的系统上监控网络，那么使用命令行工具是非常实用的，并且对于 Linux 用户来说，有着许许多多现成的工具可以使用，如： nethogs, ntopng, nload, iftop, iptraf, bmon, slurm, tcptrack, cbm, netwatch, collectl 阅读全文

posted @ 2016-08-01 14:53 XGogo 阅读(860) 评论(0) 推荐(0) 编辑

2016年7月30日

pairRDD中算子reduceByKeyLocally

摘要：原型： def reduceByKeyLocally(func: (V, V) => V): Map[K, V] 该函数将RDD[K,V]中每个K对应的V值根据映射函数来运算，运算结果映射到一个Map[K,V]中，而不是RDD[K,V] scala> var rdd1 = sc.makeRDD(Ar 阅读全文

posted @ 2016-07-30 23:14 XGogo 阅读(676) 评论(0) 推荐(0) 编辑

PairRDD中算子reduceByKey图解

摘要： reduceByKey 函数原型： def reduceByKey(func: (V, V) => V): RDD[(K, V)] def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey( 阅读全文

posted @ 2016-07-30 23:09 XGogo 阅读(1861) 评论(0) 推荐(0) 编辑

PairRDD中算子foldByKey图解

摘要： foldByKey 函数原型： def foldByKey(zeroValue: V)(func: (V, V) => V): RDD[(K, V)] def foldByKey(zeroValue: V, numPartitions: Int)(func: (V, V) => V): RDD[(K 阅读全文

posted @ 2016-07-30 22:58 XGogo 阅读(621) 评论(0) 推荐(0) 编辑

PairRDD中算子combineByKey图解

摘要： 1、combineByKey combine 为结合意思。作用：将RDD[(K,V)] => RDD[(K,C)] 表示V的类型可以转成C两者可以不同类型。 def combineByKey[C](createCombiner:V =>C ,mergeValue:(C，V) =>C, merge 阅读全文

posted @ 2016-07-30 22:00 XGogo 阅读(1155) 评论(0) 推荐(0) 编辑

尧字节

明翼

公告