使用SQL Server 集成服务中结合SharePoint的客户端模型进行SharePoint列表的同步实践！

     前段时间一直在做数据仓库的ETL，已熟练掌握SQL SERVER集成服务开发。最近有个系统集成需求，外部系统（JAVA）通过SharePoint Web服务需要访问SharePoint列表的某几列（不是全部列），因此采用通过列表数据同步到另一个新建的列表（只建需要的几列），再开放新列表权限给外部系统（JAVA）调用，一开始测试的时候，通过在本机的SSIS上安装一个开源的Sharepoint List适配器，就可以进行图形化的配置，可以非常方便的进行列表之间的数据同步，此插件SharePoint List Source and Destination的下载网址：http://sqlsrvintegrationsrv.codeplex.com/releases/view/17652 ，注意有两个版本，请对应SSIS的安装版本，如下图：

    

      安装成功后会在SSIS数据流中控制流项中出现，如下图：

       

    但是最终部署到数据仓库生产机的时候，发现此插件的NTLM的用户验证过不去（但在本机执行很正常），数据仓库生产机没有安装Sharepoint的组件和加入到Farm中，只安装了一个SQL SERVER产品套件（操作系统是windows 2008，而我本机的操作系统是Windwos 2008 R2)，两者的环境存在很大差异，由于需求时间较紧，没有进一步去研究失败的原因，改为通过Sharepoint 客户端托管模型的编程方式实现，之前使用SSIS的时候就感觉到SSIS具有强大的脚本任务功能，可以实现非常复杂的一些操作，因此初步设想在SSIS通过脚本任务的方式进行列表数据同步，通过一天时间的研究和测试最终完美实现了这一功能，下面来介绍一下具体实现过程：

      1、在本机或Sharepoint服务器上打开C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\ISAP目前，拷贝Microsoft.SharePoint.Client.dll和Microsoft.SharePoint.Client.Runtime.dll到数据仓库生产机的d盘lib目录下，这两个DLL是客户端访问Sharepoint的必要组件。

       2、由于数据仓库生产机没有安装Sharepoint，因此这两个DLL相当于是外部的DLL，无法在SSIS脚本中直接引用，但通过搭建相应的环境，在SSIS可以正常引用这两个DLL，注意SSIS引用的外部DLL需要强签名的DLL，否则无法引用，由于Sharepoint本身就是强签名类型机制的，所以引用不存在问题，具体步骤如下:

           （1）、 把这两个DLL 加入到GAC (C:\WINDOWS\assembly)，直接把DLL拉进目录。

          （2）、把这两个DLL拷贝到C:\Program Files\Microsoft SQL Server\10\DTS\PipelineComponents（SQL Server 安装目录）和C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727。

        由于我进行部署和开发的时候，并不是以windows的系统管理员的账户操作的，并不能已拖拉的方式把此两个DLL直接加入到GAC，进行操作的时候提示拒绝访问，应该目前的账户是没有写入的权限，因此换了一种方式进行，通过.net framework sdk的Gacutil.exe工具进行，由于数据仓库生产机并没有安装Vs开发工具，并没有此工具，但本机已安装VS开发工具，因此可以通过拷贝本机上的C:\Program Files (x86)\Microsoft SDKs\Windows\v7.0A到数据仓库生产机即可，执行CMD命令的时以管理员身份方式即可，具体如下：     

       cd C:\Program Files (x86)\Microsoft SDKs\Windows\v7.0A

       gacutil -i D:\Lib\Microsoft.SharePoint.Client.dll

       gacutil -i D:\Lib\Microsoft.SharePoint.Client.Runtime.dll

      

      

      该工具的详细使用方法可以参考：http://msdn.microsoft.com/zh-cn/library/ex0ss12c(v=vs.80).aspx

      注意添加成功后，重启一下数据仓库生产机（否则可能不会生效），就可以在GAC中看到这两个DLL，并能在SSIS引用中显示直接添加DLL了，如下图：

       

      在SSIS中Sharepoint列表同步脚本完整示例代码如下：

/*
   Microsoft SQL Server Integration Services Script Task
   Write scripts using Microsoft Visual C# 2008.
   The ScriptMain is the entry point class of the script.
*/

using System;
using System.Data;
using Microsoft.SqlServer.Dts.Runtime;
using System.Windows.Forms;
using Microsoft.SharePoint.Client;
using SP = Microsoft.SharePoint.Client;
using System.Text;
using System.Collections.Generic;
using System.Linq;


namespace ST_417fe4da0d884d76bc558d917566e204.csproj
{
    [System.AddIn.AddIn("ScriptMain", Version = "1.0", Publisher = "", Description = "")]
    public partial class ScriptMain : Microsoft.SqlServer.Dts.Tasks.ScriptTask.VSTARTScriptObjectModelBase
    {

        #region VSTA generated code
        enum ScriptResults
        {
            Success = Microsoft.SqlServer.Dts.Runtime.DTSExecResult.Success,
            Failure = Microsoft.SqlServer.Dts.Runtime.DTSExecResult.Failure
        };
        #endregion

        /*
        The execution engine calls this method when the task executes.
        To access the object model, use the Dts property. Connections, variables, events,
        and logging features are available as members of the Dts property as shown in the following examples.

        To reference a variable, call Dts.Variables["MyCaseSensitiveVariableName"].Value;
        To post a log entry, call Dts.Log("This is my log text", 999, null);
        To fire an event, call Dts.Events.FireInformation(99, "test", "hit the help message", "", 0, true);

        To use the connections collection use something like the following:
        ConnectionManager cm = Dts.Connections.Add("OLEDB");
        cm.ConnectionString = "Data Source=localhost;Initial Catalog=AdventureWorks;Provider=SQLNCLI10;Integrated Security=SSPI;Auto Translate=False;";

        Before returning from this method, set the value of Dts.TaskResult to indicate success or failure.
        
        To open Help, press F1.
    */

        public void Main()
        {
            // TODO: Add your code here

            string siteUrl = "http://portal.contoso.uat/doc/test1/";
            ClientContext clientContext = new ClientContext(siteUrl);

            System.Net.NetworkCredential nc = new System.Net.NetworkCredential("UserName", "Password", "contoso");
            clientContext.Credentials = nc;

            SP.List oList = clientContext.Web.Lists.GetByTitle("开放给外部系统的清单");


            CamlQuery cqy = CamlQuery.CreateAllItemsQuery();

            ListItemCollection oListItemCtn = oList.GetItems(cqy);

       
            clientContext.Load(oListItemCtn, eachItem => eachItem.Include(item => item, item => item["ID"]));

            clientContext.ExecuteQuery();


            string ls_aa = string.Empty;

            foreach (var lim in oListItemCtn)
            {
                
                foreach (var a in lim.FieldValues)
                {
                    if (a.Key == "ID")
                    {
                        ListItem oListItem = oList.GetItemById(int.Parse(a.Value.ToString()));

                        oListItem.DeleteObject();

                        clientContext.ExecuteQuery();
                    }
                    
                }

            }


            SP.List dList = clientContext.Web.Lists.GetByTitle("业务清单");

            CamlQuery cqyo = CamlQuery.CreateAllItemsQuery();

            ListItemCollection dListItemCtn = dList.GetItems(cqyo);

            clientContext.Load(dListItemCtn);
         
            
            clientContext.ExecuteQuery();

         

            foreach (ListItem lim in dListItemCtn)
            {
              
                    ListItemCreationInformation lic = new ListItemCreationInformation();

                    ListItem oListItem = oList.AddItem(lic);

                    foreach (var a in lim.FieldValues)
                    {

                        if (a.Key == "Title")
                        {
                            oListItem["Title"] = a.Value.ToString();

                        }
                        else if (a.Key == "_x7c7b__x522b_")
                        {
                            oListItem["_x7c7b__x522b_"] = a.Value.ToString();
                        }

                    }

                    oListItem.Update();

                    clientContext.ExecuteQuery();
                }

            Dts.TaskResult = (int)ScriptResults.Success;
        }
    }
}

      通过部署SSIS包就可以实现定时同步Sharepoint列表了，根据不同需求可以开发更为复杂的应用，后续将介绍JAVA如何来调用Sharepoint的数据服务，请予以关注！