WCF传输大数据量DataSet
这几天看了WCF相关的资料,然后就产生一个想法.如何实现WCF实现传输DataSet,这个服务的主要功能是客户端调用服务端的一个函数,这个函数接受一个DataSet的参数,然后再返回一个DataSet,当然这个功能很简单,几行代码就搞定了.可是当如果DataSet内的数据量非常大的时候,那就麻烦了.(暂不讨论传输大数据量的DataSet是否合理),WCF默认最大传输数据量为64K,当然可以实现修改配置文件来传输大数据量,可是不能解决本质的问题,我目前解决这个问题的方式是,把一个DataSet序列化为一个字节,然后把这些字节进行压缩,然后每次发送一小段字节回去,接受到这个些字节以后然后在解压缩,再反序列化为为DataSet,这样就实现了,传入一个DataSet然后再返回一个DataSet,这样的话,就需要用到WCF的双向通信,使用回调函数
首先客户端调用服务端的函数SayHelloTo(),
此时就会调用客户端的回调函数
getData()函数内可以编写需要上传的DataSet,我这里是生成20W条记录.通过回调函数就会把这20W条数据传入服务端,回调结束了,DataSet也就传入了服务端了.(我这里服务端没有任何处理这个DataSet就直接返回这个DataSet会客户端),客户端继续执行他的逻辑,此时的逻辑是把刚才传入的服务端的Dataset再返回给客户端
全部代码已经打包,vs2008中文版编译通过!
如果谁还能提供更好的方法希望能公布出来,让大家共享!我也想知道一下哦.!
我也是WCF的一个初学者!
下载
目前我还有问题没有解决
就是实现使用IIS来公布这个服务(就是Http),现在是使用netTcpBinding协议,我在使用WSDualHttpBinding协议的时候配置老是失败,如果谁能配置成功,希望能发一份代码给我,还有就是如何把它封装成一个通用的方法来使用!否则以后每次这样通讯都要写如此多代码很麻烦!
(问题已经决了)
DuplexChannelFactory<IHello> channelFactory = new DuplexChannelFactory<IHello>(new InstanceContext(new ClientCallBack()), "defaultEndpoint");
IHello getHello = channelFactory.CreateChannel();
//传入DataSet到服务端
getHello.SayHelloTo();
IHello getHello = channelFactory.CreateChannel();
//传入DataSet到服务端
getHello.SayHelloTo();
首先客户端调用服务端的函数SayHelloTo(),
public void SayHelloTo()
{
//读取客户端传入的DataSet
#region 服务端的数据
ICallback callback = OperationContext.Current.GetCallbackChannel<ICallback>();
int intNum = callback.getTimes() + 1; //获取读取字节流的次数
MemoryStream Mstream = new MemoryStream();
byte[] getbyte;
for (int i = 1; i < intNum; i++)
{
getbyte = callback.getBytes(i);
Mstream.Write(getbyte,0,getbyte.Length);//写到内存中
}
Mstream.Position = 0;
getbyte = new byte[Mstream.Length];
Mstream.Read(getbyte, 0, getbyte.Length);//从内存中读到getbyte中
Mstream.Close();
//反序列化
ServiceData = KCDataFormatter.RetrieveDataSetDecompress(getbyte);
//----------------------------
//此处得到序列化以后的字节,可以再反序列化为DataSet,得到DataSet就可以对个DataSet做处理,删除,修改,
//处理完成再把处理完成的DataSet赋值给ServiceData,就可以了
//----------------------------
#endregion
}
ICallback callback = OperationContext.Current.GetCallbackChannel<ICallback>();{
//读取客户端传入的DataSet
#region 服务端的数据
ICallback callback = OperationContext.Current.GetCallbackChannel<ICallback>();
int intNum = callback.getTimes() + 1; //获取读取字节流的次数
MemoryStream Mstream = new MemoryStream();
byte[] getbyte;
for (int i = 1; i < intNum; i++)
{
getbyte = callback.getBytes(i);
Mstream.Write(getbyte,0,getbyte.Length);//写到内存中
}
Mstream.Position = 0;
getbyte = new byte[Mstream.Length];
Mstream.Read(getbyte, 0, getbyte.Length);//从内存中读到getbyte中
Mstream.Close();
//反序列化
ServiceData = KCDataFormatter.RetrieveDataSetDecompress(getbyte);
//----------------------------
//此处得到序列化以后的字节,可以再反序列化为DataSet,得到DataSet就可以对个DataSet做处理,删除,修改,
//处理完成再把处理完成的DataSet赋值给ServiceData,就可以了
//----------------------------
#endregion
}
此时就会调用客户端的回调函数
public class ClientCallBack : ICallback
{
#region ICallBack 成员
//要上传的数据
public void getData()
{
DataSet ds = new DataSet("test");
DataTable table = new DataTable("test");
DataColumn column = new DataColumn("test");
column.DataType = Type.GetType("System.String");
table.Columns.Add(column);
DataRow row;
for (int i = 0; i < 200000; i++)
{
row = table.NewRow();
row["test"] = "Hello";
table.Rows.Add(row);
}
ds.Tables.Add(table);
byte_All = KCDataFormatter.GetBinaryFormatDataCompress(ds);
}
private int i = 1000; //每次读取字节的数量
byte[] byte_All;//获取要上传的字节流
MemoryStream Mstream;//流
public byte[] getBytes(int intNum)
{
int j = 1000;
byte[] buffer;
if (intNum < iti) //判断是否是最后一次循环
{
buffer = new byte[1000];
}
else
{
int nn = byte_All.Length - ((iti - 1) * 1000);
buffer = new byte[nn];
j = nn;
}
int iold = (i * (intNum - 1)); //记录上一次的字节位置
Mstream = new MemoryStream();
Mstream.Write(byte_All, iold, j);//从byte_All中的第iolld开始写入j(最多不超过)个到内存中
buffer = Mstream.ToArray();
Mstream.Close();
Mstream.Dispose();
return buffer;
}
private int iti = 0; //初始化循环次数
public int getTimes() //将数据流分为多少部分
{
getData();
int temp = byte_All.Length / 1000;
int intNum = byte_All.Length % 1000 != 0 ? temp + 1 : temp;
iti = intNum;
return intNum;
}
#endregion
}
{
#region ICallBack 成员
//要上传的数据
public void getData()
{
DataSet ds = new DataSet("test");
DataTable table = new DataTable("test");
DataColumn column = new DataColumn("test");
column.DataType = Type.GetType("System.String");
table.Columns.Add(column);
DataRow row;
for (int i = 0; i < 200000; i++)
{
row = table.NewRow();
row["test"] = "Hello";
table.Rows.Add(row);
}
ds.Tables.Add(table);
byte_All = KCDataFormatter.GetBinaryFormatDataCompress(ds);
}
private int i = 1000; //每次读取字节的数量
byte[] byte_All;//获取要上传的字节流
MemoryStream Mstream;//流
public byte[] getBytes(int intNum)
{
int j = 1000;
byte[] buffer;
if (intNum < iti) //判断是否是最后一次循环
{
buffer = new byte[1000];
}
else
{
int nn = byte_All.Length - ((iti - 1) * 1000);
buffer = new byte[nn];
j = nn;
}
int iold = (i * (intNum - 1)); //记录上一次的字节位置
Mstream = new MemoryStream();
Mstream.Write(byte_All, iold, j);//从byte_All中的第iolld开始写入j(最多不超过)个到内存中
buffer = Mstream.ToArray();
Mstream.Close();
Mstream.Dispose();
return buffer;
}
private int iti = 0; //初始化循环次数
public int getTimes() //将数据流分为多少部分
{
getData();
int temp = byte_All.Length / 1000;
int intNum = byte_All.Length % 1000 != 0 ? temp + 1 : temp;
iti = intNum;
return intNum;
}
#endregion
}
getData()函数内可以编写需要上传的DataSet,我这里是生成20W条记录.通过回调函数就会把这20W条数据传入服务端,回调结束了,DataSet也就传入了服务端了.(我这里服务端没有任何处理这个DataSet就直接返回这个DataSet会客户端),客户端继续执行他的逻辑,此时的逻辑是把刚才传入的服务端的Dataset再返回给客户端
//获取服务端返回的DataSet
int intNum = getHello.serviceTime() + 1; //获取读取字节流的次数
MemoryStream Mstream = new MemoryStream();
byte[] getbyte;
for (int i = 1; i < intNum; i++)
{
getbyte = getHello.DownByte(i);
Mstream.Write(getbyte, 0, getbyte.Length);//写到内存中
}
Mstream.Position = 0;
getbyte = new byte[Mstream.Length];
Mstream.Read(getbyte, 0, getbyte.Length);//从内存中读到getbyte中
Mstream.Close();
//反序列化
DataSet ds = KCDataFormatter.RetrieveDataSetDecompress(getbyte);
这里就得到了服务端返回的DataSet.int intNum = getHello.serviceTime() + 1; //获取读取字节流的次数
MemoryStream Mstream = new MemoryStream();
byte[] getbyte;
for (int i = 1; i < intNum; i++)
{
getbyte = getHello.DownByte(i);
Mstream.Write(getbyte, 0, getbyte.Length);//写到内存中
}
Mstream.Position = 0;
getbyte = new byte[Mstream.Length];
Mstream.Read(getbyte, 0, getbyte.Length);//从内存中读到getbyte中
Mstream.Close();
//反序列化
DataSet ds = KCDataFormatter.RetrieveDataSetDecompress(getbyte);
全部代码已经打包,vs2008中文版编译通过!
如果谁还能提供更好的方法希望能公布出来,让大家共享!我也想知道一下哦.!
我也是WCF的一个初学者!
下载
目前我还有问题没有解决
就是实现使用IIS来公布这个服务(就是Http),现在是使用netTcpBinding协议,我在使用WSDualHttpBinding协议的时候配置老是失败,如果谁能配置成功,希望能发一份代码给我,还有就是如何把它封装成一个通用的方法来使用!否则以后每次这样通讯都要写如此多代码很麻烦!
(问题已经决了)