会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
逸云丫丫
博客园
首页
博问
闪存
新随笔
订阅
管理
1
2
下一页
2015年4月2日
[转] X-RIME: 基于Hadoop的开源大规模社交网络分析工具
摘要: 转自http://www.dataguru.cn/forum.php?mod=viewthread&tid=286174随着互联网的快速发展,涌现出了一大批以Facebook,Twitter,人人,微博等为代表的新型社交网站。这些网站用户数量的迅速增长使得海量的用户数据不断被产生出来,而如何有效地对...
阅读全文
posted @ 2015-04-02 09:26 逸云丫丫
阅读(759)
评论(0)
推荐(0)
编辑
2015年3月31日
Spark GraphX学习资料
摘要: 《Spark GraphX 大规模图计算和图挖掘》http://book.51cto.com/art/201408/450049.htmhttp://www.csdn.net/article/2014-03-28/2819023-Spark-Graphx《Spark亚太研究院系列丛书——Spark实...
阅读全文
posted @ 2015-03-31 11:24 逸云丫丫
阅读(570)
评论(0)
推荐(0)
编辑
redis实现主从复制-单机测试
摘要: 一、redis实现主从复制-单机测试1、安装redis tar -zxvf redis-2.8.4.tar.gzcd redis-2.8.4make && make install2、配置主从关系需要在slave服务器的redis.conf中配置slaveof 192.168.1.1 6379 #指...
阅读全文
posted @ 2015-03-31 10:51 逸云丫丫
阅读(5545)
评论(0)
推荐(0)
编辑
2015年3月30日
Hadoop技术内幕(YARN)第4章问题部分答案
摘要: 问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上)。问题2:改写DistributedShell程序,使得某个用户指定的命令可以在集群的每个节点上仅执行一次。参考 http://tech.ddvip.com/2014-0...
阅读全文
posted @ 2015-03-30 16:43 逸云丫丫
阅读(194)
评论(0)
推荐(0)
编辑
2015年3月25日
storm学习途径
摘要: 作者:xumingming| 网址:http://xumingming.sinaapp.com/category/storm/作者:量子恒道|网址:http://blog.linezing.com/
阅读全文
posted @ 2015-03-25 15:12 逸云丫丫
阅读(158)
评论(0)
推荐(0)
编辑
2015年3月23日
Spark中的RDD操作简介
摘要: map(func)对数据集中的元素逐一处理,变为新的元素,但一个输入元素只能有一个输出元素scala> pairData.collect()res6: Array[Int] = Array(1, 2, 3, 4, 5)scala> val pairData = distData.map(a=>(a,...
阅读全文
posted @ 2015-03-23 09:53 逸云丫丫
阅读(837)
评论(0)
推荐(0)
编辑
2015年3月20日
【转】Hadoop web页面的授权设定
摘要: 转载自过往记忆(http://www.iteblog.com/)本文链接地址:《Hadoop web页面的授权设定》(http://www.iteblog.com/archives/988)一、相关概念 在默认情况下,Hadoop相关的WEB页面(JobTracker, NameNode, Tas...
阅读全文
posted @ 2015-03-20 15:20 逸云丫丫
阅读(532)
评论(0)
推荐(0)
编辑
2015年3月19日
源码安装ipython,并在ipython中整合spark
摘要: 一、安装ipython下载ipython, https://pypi.python.org/packages/source/i/ipython/ipython-2.2.0.tar.gz#md5=b91d3724f655a8e16d022772f696cfd5cd /app/softwares/ipy...
阅读全文
posted @ 2015-03-19 17:15 逸云丫丫
阅读(1892)
评论(0)
推荐(0)
编辑
Spark调优
摘要: 因为Spark是内存当中的计算框架,集群中的任何资源都会让它处于瓶颈,CPU、内存、网络带宽。通常,内存足够的情况之下,网络带宽是瓶颈,这时我们就需要进行一些调优,比如用一种序列化的方式来存储RDD来减少内存使用,这边文章就讲两种方式,数据序列化和内存调优,接下来我们会分几个主题来谈论这个调优问题。...
阅读全文
posted @ 2015-03-19 16:38 逸云丫丫
阅读(286)
评论(0)
推荐(0)
编辑
在Java中调用C
摘要: 在Java代码中通过JNI调用C函数的步骤如下:第一步:编写Java代码第二步:编译Java代码(javac Java文件)第三步:生成C代码头文件(javah java类名,自动生成)第四步:编写C代码(实现C代码头文件里面的函数)第五步:生成C共享库(使用工具编译生成C共享库,win下面为dll...
阅读全文
posted @ 2015-03-19 16:28 逸云丫丫
阅读(543)
评论(0)
推荐(0)
编辑
1
2
下一页