摘要： 转自http://www.dataguru.cn/forum.php?mod=viewthread&tid=286174随着互联网的快速发展，涌现出了一大批以Facebook，Twitter，人人，微博等为代表的新型社交网站。这些网站用户数量的迅速增长使得海量的用户数据不断被产生出来，而如何有效地对... 阅读全文

摘要： 《Spark GraphX 大规模图计算和图挖掘》http://book.51cto.com/art/201408/450049.htmhttp://www.csdn.net/article/2014-03-28/2819023-Spark-Graphx《Spark亚太研究院系列丛书——Spark实... 阅读全文

摘要： 一、redis实现主从复制-单机测试1、安装redis tar -zxvf redis-2.8.4.tar.gzcd redis-2.8.4make && make install2、配置主从关系需要在slave服务器的redis.conf中配置slaveof 192.168.1.1 6379 #指... 阅读全文

摘要： 问题1：改写DistributedShell程序，使得每个container运行在不同节点上（目前是随机的，可能运行在任意节点上）。问题2：改写DistributedShell程序，使得某个用户指定的命令可以在集群的每个节点上仅执行一次。参考 http://tech.ddvip.com/2014-0... 阅读全文

摘要： 作者:xumingming| 网址:http://xumingming.sinaapp.com/category/storm/作者：量子恒道|网址：http://blog.linezing.com/ 阅读全文

摘要： map(func)对数据集中的元素逐一处理，变为新的元素，但一个输入元素只能有一个输出元素scala> pairData.collect()res6: Array[Int] = Array(1, 2, 3, 4, 5)scala> val pairData = distData.map(a=>(a,... 阅读全文

摘要： 转载自过往记忆（http://www.iteblog.com/）本文链接地址:《Hadoop web页面的授权设定》（http://www.iteblog.com/archives/988）一、相关概念 在默认情况下，Hadoop相关的WEB页面（JobTracker, NameNode, Tas... 阅读全文

摘要： 一、安装ipython下载ipython， https://pypi.python.org/packages/source/i/ipython/ipython-2.2.0.tar.gz#md5=b91d3724f655a8e16d022772f696cfd5cd /app/softwares/ipy... 阅读全文

摘要： 因为Spark是内存当中的计算框架，集群中的任何资源都会让它处于瓶颈，CPU、内存、网络带宽。通常，内存足够的情况之下，网络带宽是瓶颈，这时我们就需要进行一些调优，比如用一种序列化的方式来存储RDD来减少内存使用，这边文章就讲两种方式，数据序列化和内存调优，接下来我们会分几个主题来谈论这个调优问题。... 阅读全文

摘要： 在Java代码中通过JNI调用C函数的步骤如下：第一步：编写Java代码第二步：编译Java代码(javac Java文件)第三步：生成C代码头文件(javah java类名，自动生成)第四步：编写C代码(实现C代码头文件里面的函数)第五步：生成C共享库(使用工具编译生成C共享库，win下面为dll... 阅读全文