幻想小说网 酷文学 深夜书屋 叮当小说网 找小说网 无限小说网 红尘小说网

10 2015 档案

Spark排错与优化
摘要:一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启... 阅读全文

posted @ 2015-10-15 17:08 张云临 阅读(279) 评论(0) 推荐(0) 编辑

spark1.5 scala.collection.mutable.WrappedArray$ofRef cannot be cast to ...解决办法
摘要:下面是我在spark user list的求助贴,很快就得到了正确回答,有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem... 阅读全文

posted @ 2015-10-13 10:58 张云临 阅读(383) 评论(0) 推荐(0) 编辑

使用spark与ElasticSearch交互
摘要:使用 elasticsearch-hadoop 包,可在 github 中搜索到该项目项目地址exampleimport org.elasticsearch.spark._import org.elasticsearch.spark.sql._val conf = new Spar... 阅读全文

posted @ 2015-10-09 21:57 张云临 阅读(986) 评论(0) 推荐(0) 编辑

spark standalone模式单节点启动多个executor
摘要:以前为了在一台机器上启动多个executor都是通过instance多个worker来实现的,因为standalone模式默认在一台worker上启动一个executor,造成了很大的不便利,并且会造成不同节点间任务负载不均衡,后来发现了另一种解决方法,方法如下。设置参数设置每个e... 阅读全文

posted @ 2015-10-08 17:55 张云临 阅读(527) 评论(0) 推荐(0) 编辑

LocalStorage在Chrome里的实现
摘要:前段时间我们在实现CanTK-Runtime时,也曾在V8基础上模拟过浏览器的LocaleStorage功能,其实现非常简单:每个domain的数据使用的单独文件存储,因为同一时间只有一个游戏运行,所以文件操作只是放到了后台线程执行。但是Chrome里的实现就非常复杂了,它主要包括... 阅读全文

posted @ 2015-10-03 18:05 张云临 阅读(1192) 评论(0) 推荐(0) 编辑

requestAnimationFrame在Chrome里的实现
摘要:requestAnimationFrame是HTML5游戏和动画必不可少的函数,相对于setTimeout或setInterval它有两个优势,一是它注册的回调函数与浏览器的渲染同步,不用担心Timer的时间间隔太长或太短。二是时间间隔相对与Timer要稳定,requestAnim... 阅读全文

posted @ 2015-10-02 07:19 张云临 阅读(245) 评论(0) 推荐(0) 编辑

游戏震屏效果的实现
摘要:震屏效果在游戏里使用相当广泛的,特别在被物体撞击的时候,震屏效果能大大提高游戏的真实感。我开始以为实现震屏效果很简单,通过正弦函数去设置场景位置偏移量即可,但真正去做时发现还是有一点点挑战。1.通过正弦函数去设置场景位置偏移量,只能实现单独的上下/左右/斜线震动,怎么也无法实现其它... 阅读全文

posted @ 2015-10-01 06:40 张云临 阅读(830) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示