摘要: 前段时间用graphX跑一个只有88M的小图,竟然给我报错说内存不够,我说怎么可能呢我可用内存可有2G呢 从网上东搞西搞一些解决方案,终于给我搞定了 其实原因是spark 的 java heap内存默认只给512M,有时候确实是不够用的,这时候只要改下{SPARK_HOME}/conf/spark- 阅读全文
posted @ 2017-08-18 11:56 洋葱丶 阅读(474) 评论(0) 推荐(0) 编辑
摘要: 最近在学习graphX这样的图计算工具,暂且记录下学习成果 用graphX首先是学会用pregel接口: 其中消息发送方向设置的四个可能值分别代表的意思有人喜欢用出边和入边等等形容,但我更喜欢用以下形式去理解: Either: 当Triplet的起点和终点有一个是活跃时发送 Both:当Triple 阅读全文
posted @ 2017-08-18 11:35 洋葱丶 阅读(1044) 评论(0) 推荐(0) 编辑