[开源]CSharpFlink（NET 5.0开发）分布式实时计算框架，PC机10万数据点秒级计算测试说明

github地址：https://github.com/wxzz/CSharpFlink
gitee地址：https://gitee.com/wxzz/CSharpFlink

参考：[开源地址] 放弃Flink，.NET5.0开发CSharpFlink，简要设计、部署及二次开发说明。

---

 1         计算机硬件配置

     CPU：4核 I5-7400 2.7GHz,内存：16G，随机数据点时间窗口和计算算子，主节点CPU和内存使用情况：15%-35%、1500MB-2048MB, 工作节点CPU和内存使用情况：0.1%-2.5%、18MB-30MB。运行效果，如下图：

2         计算节点及任务配置

     本机部署1个主节点，10个计算节点。主节点生成10万个数据点的计算任务，每个数据点1秒钟产生一个新数据，计算时间窗口的最大值、最小值、平均值或和值。

     聚合计算类型：

计算统计:CSharpFlink.Core.Window.Operator.Avg:25003
计算统计:CSharpFlink.Core.Window.Operator.Max:24892
计算统计:CSharpFlink.Core.Window.Operator.Sum:25133
计算统计:CSharpFlink.Core.Window.Operator.Min:24972

     数据点时间窗口统计：

窗口统计:60秒窗口:25015
窗口统计:5秒窗口:24976
窗口统计:3600秒窗口:25130
窗口统计:300秒窗口:24879

    如下图：

3         配制文件参数

     如下图：

 

（1）MaxDegreeOfParallelism：任务并行度，主节点生成任务、工作节点处理任务依赖这个参数。

（2）MasterListenPort：主节点侦听端口，用于工作节点主动连接。

（3）MasterIp：主节点IP，用于工作节点主动连接。

（4）NodeType：节点运行模式，包括：Master、Slave和Both。

（5）RemoteInvokeInterval：远程调用工作节点间隔时间，单位：毫秒。

（6）RepeatRemoteInvokeInterval：调用工作节点失败后，重新调用工作节点间隔时间，单位：毫秒。

（7）SlaveExcuteCalculateInterval：工作节点执行计算任务间隔时间，单位：毫秒。

（8）MaxFrameLength：主节点和工作节点之间传输数据最大数据侦，单位：字节。

（9）WorkerPower：工作节点能力系数，大于1，会连续发送多个任务。

4         部署结构示意

        “mastercache”是主节点计算任务的缓存，完成即时让计算节点消费掉，部署结构示意，如下图：

 5         测试演示

          测试演示，如下图：

---

 物联网&大数据技术 QQ群：54256083

 物联网&大数据合作 QQ群：727664080

 网站：http://www.ineuos.net

 联系QQ：504547114

 合作微信：wxzz0151

 官方博客：https://www.cnblogs.com/lsjwq

 iNeuOS工业互联网操作系统 公众号