2016年7月1日
用实例讲解Spark Sreaming--转
摘要： 原文地址：http://www.infoq.com/cn/articles/spark-sreaming-practice 本篇文章用Spark Streaming ＋Hbase为列，Spark Streaming专为流式数据处理，对Spark核心API进行了相应的扩展。 什么是Spark Stre 阅读全文
posted @ 2016-07-01 10:52 XGogo 阅读(699) 评论(0) 推荐(0) 编辑
hbase RowFilter如何根据rowkey查询以及实例实现代码 habase模糊查询【转】
摘要： RowFilter用于过滤row key import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; impor 阅读全文
posted @ 2016-07-01 09:30 XGogo 阅读(16677) 评论(0) 推荐(0) 编辑
【HBase】Rowkey设计【转】
摘要： 本章将深入介绍由HBase的存储架构在设计上带来的影响。如何设计表、row key、column等等，尽可能地使用到HBase存储上的优势。 Key设计 HBase有两个基础的主键结构：row key和column key。它们分别用来表征存储的数据和数据的排序顺序。以下的几节将讨论如何通过key设 阅读全文
posted @ 2016-07-01 09:15 XGogo 阅读(1569) 评论(0) 推荐(0) 编辑
2016年6月30日
Spark学习笔记总结-超级经典总结
摘要： Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S 阅读全文
posted @ 2016-06-30 20:22 XGogo 阅读(8741) 评论(0) 推荐(0) 编辑
spark操作HBASE
摘要： 转：https://gist.github.com/wuchong/95630f80966d07d7453b#file-hbasenewapi-scala http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ 阅读全文
posted @ 2016-06-30 20:12 XGogo 阅读(5525) 评论(0) 推荐(0) 编辑
Spark: Best practice for retrieving big data from RDD to local machine
摘要： 've got big RDD(1gb) in yarn cluster. On local machine, which use this cluster I have only 512 mb. I'd like to iterate over values in RDD on my local 阅读全文
posted @ 2016-06-30 20:03 XGogo 阅读(690) 评论(0) 推荐(0) 编辑
2016年6月27日
Spark的基本说明
摘要： 1、关于Application 用户程序，一个Application由一个在Driver运行的功能代码和多个Executor上运行的代码组成（工作在不同的节点上）。 又分成多个Job，每个Job由多个RDD和一些Action操作组成、job本分多个task组，每个task组称为：stage。 每个t 阅读全文
posted @ 2016-06-27 18:00 XGogo 阅读(2062) 评论(1) 推荐(0) 编辑
2016年6月25日
IDEA15 下运行Scala遇到问题以及解决办法
摘要： 为了让Scala运行起来还是很麻烦，为了大家方便，还是记录下来： 1、首先我下载的是IDEA的社区版本，版本号为15. 2、下载安装scala插件： 2.1 进入设置菜单。 2.2 点击安装JetBrains plugin 2.3 输入scala查询插件，点击安装 说明：我的IDEA已经安装，所以这 阅读全文
posted @ 2016-06-25 10:55 XGogo 阅读(42430) 评论(0) 推荐(0) 编辑
2016年6月18日
关于Solr6.0中solrj使用简单例子
摘要： solr6.0的solrJ接口有部分变化，下面列出了简单的使用实例，有需要的朋友可以参考下。 阅读全文
posted @ 2016-06-18 09:08 XGogo 阅读(11691) 评论(0) 推荐(0) 编辑
2016年6月15日
How to Reuse Old PCs for Solr Search Platform?
摘要： 家裡或公司的舊電腦不夠力? 效能慢到想砸爛它們? 朋友或同事有電腦要丟嗎? 我有一個廢物利用的方法, 我收集了四台舊電腦, 組了一個Fully Distributed Mode的Hadoop Cluster, 在Hadoop上架了Hbase, 執行Nutch, 儲存Solr的資料在Hbase。 PC 阅读全文
posted @ 2016-06-15 12:10 XGogo 阅读(220) 评论(0) 推荐(0) 编辑