结合SQL Server全文检索对Word内容进行检索的三个方案
SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引
导读:除了利用office提供的API对word文档内容进行检索外,本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。
一、结合Windows索引服务进行全文检索
方案摘要:
1. 改变文件存储时的文件名;
2. 配置索引服务器,并将索引服务器与MS SQL Server关联。
3. 修改SQL语句,将进行全文查询语句的内容加入查询条件中
一个详细的实例,参考这里:http://database.ctocio.com.cn/51/11440551.shtml
优点:可以独立对文件以目录方式物理存放,并且这些文件继续以doc格式存放。
缺点:只能读取,不能写入。
二、结合BLOB数据进行全文检索
方案摘要:将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中,再对表进行全文检索。这是最为常见的一种方案了。
一个简单插入表的示例:
/*********************3w@live.cn****************/
Use Master
Go
IFEXISTS (SELECT name FROM sys.databases WHERE name = N'BlobDataDemoDB')
DROPDATABASE BlobDataDemoDB
GO
USE Master
GO
CREATEDATABASE BlobDataDemoDB
GO
--------启用全文检索
/*********************3w@live.cn****************/
execute sp_fulltext_database 'enable'
go
use blobDataDemoDB
GO
--创建一个包含BlOB列的表
/*********************3w@live.cn****************/
ifOBJECT_ID('SampleBlobTable') isnotnull
droptable SampleBlobTable
go
CREATETABLE SampleBlobTable
(
[PKID]intidentity(1,1) primarykey,
[FileType]Nvarchar(32) null,
[FileName]Nvarchar(255) null,
[FileContent]VARBINARY(MAX) NULL,
[AddTime]datetimedefault(getdate())
)
GO
IFEXISTS (SELECT*FROM sys.objects WHERE
object_id=OBJECT_ID(N'[dbo].[CPP_InsertOneBlobDataToTable]')
AND type in (N'P', N'PC'))
DROPPROCEDURE[dbo].[CPP_InsertOneBlobDataToTable]
GO
--创建一个插入数据到SQL server的存储过程
/*********************3w@live.cn****************/
CREATEPROCEDURE CPP_InsertOneBlobDataToTable
( @FileTypenvarchar(32),
@FileNamenvarchar(255),
@FileContentVARBINARY(MAX)
)
AS
INSERT SampleBlobTable([FileType],[FileName],[FileContent],[AddTime])
VALUES (@FileType,@Filename,@FileContent,getdate())
GO
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Data.SqlClient;
using System.Data;
namespace BlobDataSearchDemo
{
class Program
{
conststring conn =@"Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as;";
staticvoid Main(string[] args)
{
SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\轻舞飞扬.doc", conn);
SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\天龙八部.doc", conn);
SaveDoc2SQLServer(@"D:\2008Data\StreamData\Doc\English.doc", conn);
Console.ReadKey();
}
privatestaticvoid SaveDoc2SQLServer(string filepath, string conn)
{
FileInfo fi =new FileInfo(filepath);
if (fi.Exists)
{
//Open the stream and read it back.
using (FileStream fs = File.OpenRead(filepath))
{
byte[] b =newbyte[fi.Length];
SqlConnection Conn;
SqlCommand cmdUploadDoc;
UTF8Encoding temp =new UTF8Encoding(true);
while (fs.Read(b, 0, b.Length) >0)
{
Conn =new SqlConnection(conn);
//Setting the SqlCommand
cmdUploadDoc =new SqlCommand("CPP_InsertOneBlobDataToTable", Conn);
cmdUploadDoc.CommandType = CommandType.StoredProcedure;
cmdUploadDoc.Parameters.Add("@FileName", SqlDbType.NVarChar, 200).Value = fi.Name;
cmdUploadDoc.Parameters.Add("@FileContent", SqlDbType.VarBinary, 0).Value =b;
cmdUploadDoc.Parameters.Add("@FileType", SqlDbType.NVarChar, 32).Value =
fi.Extension.Replace(".","");
Conn.Open();
cmdUploadDoc.ExecuteNonQuery();
Conn.Close();
}
}
}
}
}
}
查询结果:
注意:
1、在数据库设置全文检索时,必须有一个字段是文档类型,SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。
2、必须设置全文检索的语言,中文为2052,英文为1033。
优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入。
缺点:varbinary(Max)受2G大小限制,而且数据库存入大量的BLOB数据,将变得异常臃肿,检索速度将大大降低。
三、结合FileStream进行全文检索
方案摘要:与方案二类似,只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中,再对表进行全文检索。
在SQL Server 2008 中
– FILESTREAM 数据不支持远程存储
– 不支持数据库快照和数据库镜像
– 某些Katmai的功能不支持FILESTREAM ,例如:
• SQL 加密
• 表值参数
前提:必须安装全文检索并启用FileStream
参考:
http://msdn.microsoft.com/zh-cn/library/bb933993.aspx
http://www.cnblogs.com/downmoon/archive/2010/05/06/1727546.html
http://www.cnblogs.com/downmoon/archive/2010/05/08/1730044.html
优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入,并且克服了方案二的缺点。varbinary(Max)字段只存放索引,而实际的内容存放于数据库外,大小只受NTFS文件夹物理大小的限制。
小结:本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。3w@live.cn