udp重发java实现

最近在处理框架通讯方面的问题，通过积累的开发经验，其实在很多情况（尤其是实时大数据量），udp是占有很多优势的；不需要连接，只管发送，理论上要快很多;

另外在穿墙上占有很大优势；

但是最大的一个问题就是丢包；

很多时候我们会结合我们的业务来进行发送与回执，这样的方式应该是最好的；但是也意味着每次都得重来一次；因此花费了一些时间来写这个重发逻辑；当然目前仅是测试；

封装了一个udp重发；其实组播也可以直接使用，只是我还没有完成封装，原理一样，只不过组播封装重发，会浪费网络资源，只要一个节点（把一个接收位置看作一个节点）没有收到其中一个包，就需要发送端发送，所有节点都会接收（并不影响数据完整，在接收端已经封装了接收方式，不会造成数据重复）；不说组播了，回到udp重发；

大体结构：

1.每一次发送都视为session；

1》judpclient为封装的发送端，发送数据时，会自动分包，按照udp65535大小（可以设置）；每次发送分配一个发送端session(同时产生id),每次发送分包时，都会依次产生

一个初始化序列号，按照初始序列号，每包设置一个id,按照此发送打包数据发送

2》同时会发送一个ack发送确认包，防止数据包只有一个被丢包；

3》发送后等待数据返回

4》judpclient关闭只是逻辑关闭

2.接收端

 接收端按照来源IP,端口产生一个接收端session，然后接收数据，组织数据，检查丢包，发送丢包ack;

接收端设计了serversession及buffer,所以不用担心数据重发造成数据重复的问题，该结构读取方式已经直接避免了

3.辅助应用

因为是辅助，无法判断judpclient使用情况，所以利用java特点，在回收对象时设置逻辑关闭；同时控制时间，来判断通讯真实关闭（因为发送端还要监听等待重发）

4.共享session

最开始的设计是不共享的，但是在测试时发现，在极端时候，因为发送端占有端口监听需要时间，重新初始化judpclient对象，会导致端口占用完，无法再分配；所以

最后采用了共享的方式，让多个judpclient实际使用一个真正的udp底层通讯；每个judpclient产生一个id,来判断数据接收时往哪里发送，触发哪个对象的方法；

5.缓存问题解决方式

数据重发就意味着发送的数据需要缓存下来，准备重新发送；这样如果发送大量数据，发送端就可能“爆满”，所以要减少内存使用；

处理方式：做一个简单的数据量统计（不精确，也不需要精确），当这个量达到一定值后，就把数据由内存转移到磁盘中；

                 我自己设计了一个文件保存方式（做了一个文件持久化层），来按照一定方式保存，也实现了文件删除，修改（修改没有必要）；

                里面主要是有个索引维护；同时使用了内存数据库表（如果不实现文件修改是没有必要的，通过异步方式保证文件索引准确，又不影响使用效率）

               最开始我没有使用文件，而是查找了数据库（paldb,fastdb,mapdb等等），但是效果不尽人意，通过磁盘，其实一般磁盘读取在30M/s,而数据库是做不到的；因此我直接采用了文件读取方式；我并不是要做一个文件数据库，所以在实现文件修改时，任然使用了第三方数据库h2,简单直接，索引使用足够了，而且是异步；在数据重发这里，文件修正是没有必要的，实现该功能只是想让模块更加完整而已；

文件保存，也是通过一个简单的计数，每次10M左右的数据一起写入文件；

当接收端数据接收完成后，会回复一个接收完成ack包，发送端解析信息后，会把接收完成的一次会话数据都删除掉；

使用数据库保存的最初代码我并没有删除，只是没有使用而已；

6.遗留问题（需要优化）

通过重新构造，其实最大问题在于我无法控制judpclient的使用，这样会造成很多线程启动，在监听数据返回的信息（丢包，完成），这样造成大量线程存在，虽然应用了线程池，根据现在的测试，发送端cpu 15-35%都是有可能的；阻塞的线程也很多，一旦彻底完成发送，同时退出的线程同样多，但是感觉这样也没有影响测试使用（可能是我的java水平不过关，有的测试结果我感觉很怪）；所以需要缩减线程以及阻塞集合；

7.共享session分配

  专门有个管理池分配，其实就是定一个最大个数，使用完了就再产生一个，同时监视是否共享session关闭情况

8.其它辅助实现

 使用了guava的缓存及eventbus;

数据发送打包与解析配套（接收端也可以正常使用）

9.源码

eclipse编译；现在已经上传git;

地址：https://github.com/jinyuttt/jyudp.git

我也会上传到csdn,不过可能超过大小；