高并发推送数据之Kafka（.Net、Java）消息队列
.NET VS工具添加程序包源 在NuGet包管理中选择程序包源为上面添加的私有仓库。 搜索Data.Pipelines并安装。 在app.congif或者web.config中添加Kafka配置
<appSettings> <add key="kafka.ip" value="172.20.105.205"/> <add key="kafka.prot" value="9092"/> </appSettings>
/// <summary> /// 实时数据综合推送 /// </summary> /// <param name="listTemp"></param> public void RealTimeDataPush(List<T_SJZX_SZZDJC_CYXXInfo> listTemp, List<T_SJZX_SZZDJC_JCJGInfo> listTempDetail) { var listData = new List<Dictionary<string, object>>(); foreach (var item in listTemp) { var d = new Dictionary<string, object>(); d.Add("XH", item.XH);//序号 d.Add("DXMC", item.DXMC);//对象名称 d.Add("DXBH", item.DXBH);//对象编号 d.Add("CDBH", item.CDBH);//测点编号 d.Add("CDMC", item.CDMC);//测点名称 d.Add("XZQDM", item.XZQDM);//行政区代码 d.Add("SSXZQ", item.SSXZQ);//所属行政区 d.Add("JCSJ", item.JCSJ.Value.ToString("yyyy-MM-dd HH:mm:ss"));//监测时间 //d.Add("JCN", item.JCN);//监测年 //d.Add("JCY", item.JCY);//监测月 //d.Add("JCR", item.JCR);//监测日 //d.Add("JCXS", item.JCXS);//监测小时 d.Add("SFZX", item.SFZX);//是否在线 if (!string.IsNullOrEmpty(item.ZXBZBH)) d.Add("ZXBZBH", item.ZXBZBH);//执行标准编号 else d.Add("ZXBZBH", ""); if (!string.IsNullOrEmpty(item.ZXBZMC)) d.Add("ZXBZMC", item.ZXBZMC);//执行标准名称 else d.Add("ZXBZMC", ""); if (!string.IsNullOrEmpty(item.SZLB)) d.Add("SZLB", item.SZLB);//水质类别 else d.Add("SZLB", ""); if (!string.IsNullOrEmpty(item.SFCB)) d.Add("SFCB", item.SFCB);//是否超标 else d.Add("SFCB", ""); if (!string.IsNullOrEmpty(item.CBXM)) d.Add("CBXM", item.CBXM);//超标项目 else d.Add("CBXM", ""); //d.Add("YQBM", item.YQBM);//仪器编码 //d.Add("YQMC", item.YQMC);//仪器名称 //d.Add("YQXH", item.YQXH);//仪器型号 //d.Add("YQZT", item.YQZT);//仪器状态 d.Add("ORGID", item.ORGID);//机构代码 d.Add("CJR", item.CJR);//创建人 d.Add("CJSJ", item.CJSJ.Value.ToString("yyyy-MM-dd HH:mm:ss"));//创建时间 d.Add("GXR", item.GXR);//更新人 d.Add("SJLY", item.SJLY);//数据来源 d.Add("SJZT", item.SJZT);//数据状态 d.Add("GXSJ", item.GXSJ.Value.ToString("yyyy-MM-dd HH:mm:ss"));//更新时间 #region 明细 var listData2 = new List<Dictionary<string, object>>(); var listTempDetail2 = listTempDetail.Where(p => p.CYXH == item.XH); foreach (var item2 in listTempDetail2) { var d2 = new Dictionary<string, object>(); d2.Add("XH", item2.XH);//序号 d2.Add("CYXH", item2.CYXH);//采样序号 if (!string.IsNullOrEmpty(item2.FXXMDM)) d2.Add("FXXMDM", item2.FXXMDM);//分析项目编号 else d2.Add("FXXMDM", ""); if (!string.IsNullOrEmpty(item2.FXXMMC)) d2.Add("FXXMMC", item2.FXXMMC);//分析项目名称 else d2.Add("FXXMMC", ""); d2.Add("BCJG", item2.BCJG);//报出结果 d2.Add("BCJGBS", item2.BCJGBS);//报出结果表示 d2.Add("BCJGDW", item2.BCJGDW);//报出结果单位 if (!string.IsNullOrEmpty(item2.BZSX)) d2.Add("BZSX", item2.BZSX);//标准上限 else d2.Add("BZSX", ""); if (!string.IsNullOrEmpty(item2.BZXX)) d2.Add("BZXX", item2.BZXX);//标准下限 else d2.Add("BZXX", ""); if (!string.IsNullOrEmpty(item2.SFCB)) d2.Add("SFCB", item2.SFCB);//是否超标 else d2.Add("SFCB", ""); if (!string.IsNullOrEmpty(item2.CBBS)) d2.Add("CBBS", item2.CBBS);//超标倍数 else d2.Add("CBBS", ""); if (!string.IsNullOrEmpty(item2.SZLB)) d2.Add("SZLB", item2.SZLB);//水质类别 else d2.Add("SZLB", ""); if (!string.IsNullOrEmpty(item2.SZLB)) d2.Add("YQSBXH", item2.YQSBXH);//仪器编码 else d2.Add("YQSBXH", ""); d2.Add("ORGID", item2.ORGID);//机构代码 d2.Add("CJR", item2.CJR);//创建人 d2.Add("CJSJ", item2.CJSJ.Value.ToString("yyyy-MM-dd HH:mm:ss"));//创建时间 d2.Add("GXR", item2.GXR);//更新人 d2.Add("SJLY", item2.SJLY);//数据来源 d2.Add("SJZT", item2.SJZT);//数据状态 d2.Add("GXSJ", item2.GXSJ.Value.ToString("yyyy-MM-dd HH:mm:ss"));//更新时间 listData2.Add(d2); } #endregion d.Add("JCJG", listData2); listData.Add(d); } //SZZDZ_CYXX var product = new DataProducer("dfb426e321fc417981858b0927c21016", "XH"); //分页推送 int PageSize = 100; int PageTotal = (int)Math.Ceiling((decimal)listData.Count / PageSize); for (int PageIndex = 0; PageIndex < PageTotal; PageIndex++) { var data = listData.Skip(PageIndex * PageSize).Take(PageSize).ToList(); product.Send(data, r => Console.WriteLine(!r.Error.IsError ? $"Delivered message to {r.TopicPartitionOffset}" : $"Delivery Error: {r.Error.Reason}")); } Assert.IsTrue(true); //Thread.Sleep(500); }
using System; using System.Collections.Generic; using System.Linq; using System.Text; using Confluent.Kafka; //using Newtonsoft.Json; using System.Configuration; using Newtonsoft.Json; namespace Common { class DataProducer { private readonly string _key; private readonly string _dataKeyField; // 从配置读取kafka配置 static string ip = ConfigurationManager.AppSettings["kafka.ip"]; static string port = ConfigurationManager.AppSettings["kafka.port"]; /// <summary> /// 构造方法 /// </summary> /// <param name="key">业务数据队列key</param> /// <param name="dataKeyField">数据主键</param> public DataProducer(string key, string dataKeyField) { this._key = key; this._dataKeyField = dataKeyField; } /// <summary> /// 发送数据 /// </summary> /// <param name="data">数据集</param> /// <param name="callback">发送成功后回调，在发送成功前，不要杀死相关线程，否则可能导致数据丢失</param> public void Send(List<Dictionary<string, object>> data, Action<DeliveryReport<string, string>> callback) { foreach (var datum in data) { var keys = new List<string>(datum.Count); // 找出时候类型的字段 foreach (var entry in datum) { if (entry.Value is DateTime) { keys.Add(entry.Key); } } // 把时间转成long，与Java的getTime()兼容 foreach (var key in keys) { var eeee = (DateTime)datum[key]; // TODO 日期转换 datum[key] = "日期字符串"; } } var topic = this._key; var d = new Dictionary<string, object> { { "data", data }, { "keyField", this._dataKeyField } }; var jsonString = JsonConvert.SerializeObject(d, new JsonSerializerSettings { NullValueHandling = NullValueHandling.Ignore }); // TODO 生成key Send(topic, jsonString.GetHashCode().ToString(), jsonString, callback); } /// <summary> /// 发送消息 /// </summary> /// <param name="topic">KafkaTopic</param> /// <param name="key">消息key</param> /// <param name="value">数据</param> /// <param name="callback">发送完成回调</param> private void Send(string topic, string key, string value, Action<DeliveryReport<string, string>> callback) { if (string.IsNullOrEmpty(ip)) { ip = "172.20.105.205"; } if (string.IsNullOrEmpty(port)) { port = "9092"; } var conf = new ProducerConfig { BootstrapServers = $"{ip}:{port}" }; using (var p = new ProducerBuilder<string, string>(conf).Build()) { // TODO 异常处理，添加日志 p.Produce(topic, new Message<string, string> { Key = key, Value = value }, callback); //Console.WriteLine($"topic: {topic}. key: k, value: " + value); // TODO 异常处理，添加日志 // wait for up to 1 seconds for any inflight messages to be delivered. p.Flush(TimeSpan.FromSeconds(1)); } } } }
JAVA
Maven镜像配置
修改本地maven的settings文件
在mirros下增加mirror：
<mirror> <id>bigdata-center</id> <mirrorOf>*</mirrorOf> <url>http://172.20.105.205:8081/repository/maven-public/</url> </mirror>
集成SDK
Maven引包
<dependency> <groupId>com.tencent.guangdong-eco-environment</groupId> <artifactId>data-pipelines</artifactId> <version>1.0-SNAPSHOT</version> </dependency>
配置
新建kafka配置文件
resources/conf/kafka.properties
配置内容如下：
kafka.ip=172.20.105.205
kafka.port=9092
package com.tencent.eco.data.product; import com.szboanda.platform.common.utils.DateUtils; import org.testng.annotations.Test; import java.text.ParseException; import java.util.ArrayList; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.concurrent.atomic.AtomicBoolean; public class DataProducerTest { @Test public void send() throws ParseException { List<Map<String, Object>> data = new ArrayList<>(); Map<String, Object> d = new HashMap<>(); d.put("XH", "XH1"); d.put("CDBH", "CDBH1"); d.put("JCSJ", DateUtils.parseDate("2019-05-12 12:00","yyyy-MM-dd HH:mm")); d.put("JCXMDH", "w23234"); d.put("JCZ", 12.4); d.put("ORGID", "440000"); d.put("CJR", "tencent"); d.put("CJSJ", new Date()); d.put("XGR", "tencent"); d.put("GXSJ", new Date()); d.put("SJLY", "testQueue"); d.put("SJZT", "I"); data.add(d); Map<String, Object> d1 = new HashMap<>(); d1.put("XH", "XH2"); d1.put("CDBH", "CDBH1"); d1.put("JCSJ", DateUtils.parseDate("2019-05-12 12:00","yyyy-MM-dd HH:mm")); d1.put("JCXMDH", "w23234"); d1.put("JCZ", 12.45); d1.put("ORGID", "440000"); d1.put("CJR", "tencent"); d1.put("CJSJ", new Date()); d1.put("XGR", "tencent"); d1.put("GXSJ", new Date()); d1.put("SJLY", "testQueue"); d1.put("SJZT", "I"); data.add(d1); // 用来控制当前线程等待发送消息后才退出 final AtomicBoolean isSanded = new AtomicBoolean(false); DataProducer producer = new DataProducer("74ef6a7b7adc4e5cb6ee3d741d0e3210", "XH"); // 发送消息 producer.send(data, (metadata, exception) -> { isSanded.set(true); }); // 由于消息是异步发送，在跑单元测试时，需要暂停线程等待消息发送，如果不暂停，消息可能会丢失 try { while (!isSanded.get()) { Thread.sleep(1000); } } catch (InterruptedException e) { e.printStackTrace(); } } }
Maven镜像配置
修改本地maven的settings文件
在mirros下增加mirror：
