摘要：
shell脚本如下 --master参数要指定为REST URL，不然要报警告。 --supervise如果指定了这个参数那么应用就会故障重启，比如driver节点挂掉了就会在集群中重新选一个节点重启driver。 最后的应用jar包参数我这里使用的是本地文件，由于cluster要求所有节点都能找到 阅读全文
2018年2月10日
摘要：
1、spark应用打包，我喜欢打带依赖的，这样省事。 2、使用spark-submit.bat 提交应用,代码如下: 第一行是读取配置，里面定义了一些变量，之后启动spark-submit.bat 脚本，--class指定main函数的类，路径是以classes为根目录的;master指定了mast 阅读全文
摘要：
使用idea以client方式提交代码到standalone集群非常简单。 1、首先有一个部署好且已经启动的standalone集群 2、将应用打包 （这里两种选择，一种是包里只含应用不含依赖，另一种是包里是有依赖的。） 没图说个JB: 可以看到第一个是不带依赖的包，这个包就比较小，第二个就是带依赖 阅读全文
2018年2月8日
摘要：
本文记录了一次搭建spark-standalone模式集群的过程，我准备了3个虚拟机服务器，三个centos系统的虚拟机。 环境准备: -每台上安装java1.8 -以及scala2.11.x （x代表后面的版本随意） -以及spark2.2.0 注意:scala和spark的版本要匹配，可以查看s 阅读全文
2018年1月5日
摘要：
一、下载安装spark,http://spark.apache.org/，选择合适版本后下载到本地，解压,bin目录下spark-shell文件就是spark命令行交互的入口。 二、下载安装windows平台下的hadoop配置包,https://github.com/srccodes/hadoop 阅读全文
2017年8月8日
摘要：
<scheme name="Ya" version="142" parent_scheme="Darcula"> <option name="FONT_SCALE" value="1.0" /> <metaInfo> <property name="created">2017-08-08T14:59 阅读全文
2017年5月16日
摘要：
简述 游戏中的帧同步是一种客户端与服务器的同步方式，是为了实现高实时性,高同步性的应用而产生的。例如大家喜欢玩的王者荣耀，如果玩家A对玩家B发出了攻击而玩家B过了很久才发现，那么玩家B很可能就来不及做出防御，那这个游戏就没法玩，所以所有玩家的指令一定是要及时地同步到所有玩家的终端上的，而且大家收到的 阅读全文
2017年5月12日
摘要：
kcp协议是传输层的一个具有可靠性的传输层ARQ协议。它的设计是为了解决在网络拥堵情况下tcp协议的网络速度慢的问题。kcp力求在保证可靠性的情况下提高传输速度。kcp协议的关注点主要在控制数据的可靠性和提高传输速度上面，因此kcp没有规定下层传输协议，一般用udp作为下层传输协议，kcp层协议的数 阅读全文
2017年5月11日
摘要：
kcp的流模式，和消息模式 流模式: 更高的网络利用率 更大的传输速度 解析数据相对更复杂 消息模式： 更小的网络利用率 更小的传输速度 解析数据相对更简单 消息模式的示意图 http://www.processon.com/view/link/59357025e4b015d6aa7c429f 流模 阅读全文
2017年5月10日
