结合SQL Server全文检索对Word内容进行检索的三个方案

SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引

 

导读:除了利用office提供的API对word文档内容进行检索外,本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。

一、结合Windows索引服务进行全文检索

方案摘要:

1. 改变文件存储时的文件名;

2. 配置索引服务器,并将索引服务器与MS SQL Server关联。

3. 修改SQL语句,将进行全文查询语句的内容加入查询条件中

一个详细的实例,参考这里:http://database.ctocio.com.cn/51/11440551.shtml

优点:可以独立对文件以目录方式物理存放,并且这些文件继续以doc格式存放。

缺点:只能读取,不能写入。

二、结合BLOB数据进行全文检索

方案摘要:将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中,再对表进行全文检索。这是最为常见的一种方案了。

一个简单插入表的示例:

-------二进制文件查询示例
/*
********************3w@live.cn****************/
Use Master
Go
IFEXISTS (SELECT name FROM sys.databases WHERE name = N'BlobDataDemoDB')
DROPDATABASE BlobDataDemoDB
GO

USE Master
GO
CREATEDATABASE BlobDataDemoDB
GO
--------启用全文检索
/*
********************3w@live.cn****************/
execute sp_fulltext_database 'enable'
go

use blobDataDemoDB
GO
--创建一个包含BlOB列的表
/*
********************3w@live.cn****************/
ifOBJECT_ID('SampleBlobTable') isnotnull
droptable SampleBlobTable
go

CREATETABLE SampleBlobTable
(
[PKID]intidentity(1,1) primarykey,
[FileType]Nvarchar(32) null,
[FileName]Nvarchar(255) null,
[FileContent]VARBINARY(MAX) NULL,
[AddTime]datetimedefault(getdate())
)
GO

IFEXISTS (SELECT*FROM sys.objects WHERE
 
object_id=OBJECT_ID(N'[dbo].[CPP_InsertOneBlobDataToTable]')
AND
type in (N'P', N'PC'))
DROPPROCEDURE[dbo].[CPP_InsertOneBlobDataToTable]
GO
--创建一个插入数据到SQL server的存储过程
/*
********************3w@live.cn****************/
CREATEPROCEDURE CPP_InsertOneBlobDataToTable
(
@FileTypenvarchar(32),
@FileNamenvarchar(255),
@FileContentVARBINARY(MAX)
)
AS
INSERT SampleBlobTable([FileType],[FileName],[FileContent],[AddTime])
VALUES (@FileType,@Filename,@FileContent,getdate())
GO

 

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Data.SqlClient;
using System.Data;

namespace BlobDataSearchDemo
{
class Program
{
conststring conn =@"Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as;";
staticvoid Main(string[] args)
{
SaveDoc2SQLServer(
@"D:\2008Data\StreamData\Doc\轻舞飞扬.doc", conn);
SaveDoc2SQLServer(
@"D:\2008Data\StreamData\Doc\天龙八部.doc", conn);
SaveDoc2SQLServer(
@"D:\2008Data\StreamData\Doc\English.doc", conn);

Console.ReadKey();

}

privatestaticvoid SaveDoc2SQLServer(string filepath, string conn)
{
FileInfo fi
=new FileInfo(filepath);
if (fi.Exists)
{

//Open the stream and read it back.
using (FileStream fs = File.OpenRead(filepath))
{
byte[] b =newbyte[fi.Length];
SqlConnection Conn;
SqlCommand cmdUploadDoc;
UTF8Encoding temp
=new UTF8Encoding(true);
while (fs.Read(b, 0, b.Length) >0)
{
Conn
=new SqlConnection(conn);

//Setting the SqlCommand
cmdUploadDoc =new SqlCommand("CPP_InsertOneBlobDataToTable", Conn);
cmdUploadDoc.CommandType
= CommandType.StoredProcedure;
cmdUploadDoc.Parameters.Add(
"@FileName", SqlDbType.NVarChar, 200).Value = fi.Name;
cmdUploadDoc.Parameters.Add(
"@FileContent", SqlDbType.VarBinary, 0).Value =b;
cmdUploadDoc.Parameters.Add(
"@FileType", SqlDbType.NVarChar, 32).Value =
                          fi.Extension.Replace(
".","");
Conn.Open();
cmdUploadDoc.ExecuteNonQuery();
Conn.Close();
}
}
}
}
}
}


查询结果:

邀月工作室

注意:

1、在数据库设置全文检索时,必须有一个字段是文档类型,SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。

2、必须设置全文检索的语言,中文为2052,英文为1033。

邀月工作室

邀月工作室

优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入。

缺点:varbinary(Max)受2G大小限制,而且数据库存入大量的BLOB数据,将变得异常臃肿,检索速度将大大降低。

三、结合FileStream进行全文检索

方案摘要:与方案二类似,只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中,再对表进行全文检索。

在SQL Server 2008 中
– FILESTREAM 数据不支持远程存储
– 不支持数据库快照和数据库镜像
– 某些Katmai的功能不支持FILESTREAM ,例如:
• SQL 加密
• 表值参数

前提:必须安装全文检索并启用FileStream

邀月工作室

邀月工作室

参考:

http://msdn.microsoft.com/zh-cn/library/bb933993.aspx

http://www.cnblogs.com/downmoon/archive/2010/05/06/1727546.html

http://www.cnblogs.com/downmoon/archive/2010/05/08/1730044.html

优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入,并且克服了方案二的缺点。varbinary(Max)字段只存放索引,而实际的内容存放于数据库外,大小只受NTFS文件夹物理大小的限制。

小结:本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。3w@live.cn

posted @ 2011-04-21 23:00  邀月  阅读(5853)  评论(13编辑  收藏  举报