读pcap文件，bcp入库，一个小项目的备忘录

数据量很大，每天几十G的pcap文件。思路是这样的：读出pcap文件中的数据，拼成字符串，写到文件里，用bcp方式入库。库是sql server。

遇到的问题：

1。读pcap文件。Pcap文件中包含客户端用udp方式发送出的数据。用到SharpPcap。代码不贴了，链接的地址上有很详细的例子。读出的每个包中，前42个字节不是数据，应该是地址等乱七八糟的东西，这之后才是用udp发出的数据。读出的字节需要转换成别的数据类型的时候，用BitConverter.ToUInt16之类的方式。如果是包含中文的字符串，可以用Encoding.UTF8.GetString得到字符串。注意算好各种数据类型的长度。

2.  写bcp方式入库的文件。开始的时候用StreamWriter直接写文件，导入到库里中文都是乱码。换成BinaryWriter w=new BinaryWriter(fs,Encoding.Default)，Encoding.Default.GetBytes(decodedStr)，问题解决。

3.  Bcp的设置。数据库配置：

EXEC sp_configure 'show advanced options', 1 
go
RECONFIGURE 
go
sp_configure  xp_cmdshell,1
go
RECONFIGURE 
Go

导入的sql

--导出格式文件
EXEC master..xp_cmdshell 
'BCP test..t format nul -f G:\t.fmt -c -T'
--导入数据
EXEC master..xp_cmdshell 
'BCP test..tt in G:\test.dat -T -c -f G:\t.fmt -T'

-c表示用\t表示数据元素之间的分隔，\r\n表示一行的结束。

在本机（t510i）上测试，40秒可以导入2m条数据。

Bulk insert比bcp慢的多。