第二篇：速卖通产品采集系列 之 产品采集实战

    上一篇 第一篇：速卖通产品采集系列 之 产品采集分析，对速卖通产品采集做了分析，包含要采集产品信息，以及如何采集这些产品信息，这一篇接着来采集实战，相关技术前篇也说过了，不废话直接开项目做。

一, 创建解决方案，编写采集代码

1. 创建解决方案“CollectorSolution”，在其中新建“Collector” 空 ASP.NET MVC 项目，解决方案结构图如下：

2.在“Collector” 项目中，分别新增“CollectingController” 控制器，以及和控制器相关的视图，并将原来默认路由 Home -》 Index 改成 Collecting -》 Index，截图如下：

RouteConfig 修改成如下：

using System.Web.Mvc;
using System.Web.Routing;

namespace Collector
{
    public class RouteConfig
    {
        public static void RegisterRoutes(RouteCollection routes)
        {
            routes.IgnoreRoute("{resource}.axd/{*pathInfo}");

            routes.MapRoute(
                name: "Default",
                url: "{controller}/{action}/{id}",
                defaults: new { controller = "Collecting", action = "Index", id = UrlParameter.Optional }
            );
        }
    }
}

3. 分别新增“CollectionViewModel” ,"CollectedProductViewModel","CollectedProductImageViewModel" 视图模型，和一个存放正则表达式的结构体：“ParseProductPatterns”，代码分别如下

1.> CollectionViewModel

using System.Collections.Generic;

namespace Collector.Models
{
    public class CollectionViewModel
    {
        public CollectionViewModel()
        {
            ProductViews = new List<CollectedProductViewModel>();
        }
        public string CollectionUrl { get; set; }
        public IEnumerable<CollectedProductViewModel> ProductViews { get; set; }
    }
}

2.> CollectedProductViewModel

using System.Collections.Generic;

namespace Collector.Models
{
    public class CollectedProductViewModel
    {
        public CollectedProductViewModel()
        {
            ProductImages = new List<CollectedProductImageViewModel>();
        }
        public string ProductName { get; set; }
        public decimal ProductPrice { get; set; }
        public decimal ProductDiscountPrice { get; set; }
        public string ProductCurrency { get; set; }
        public string ProductColor { get; set; }
        public string ProductSize { get; set; }
        public IEnumerable<CollectedProductImageViewModel> ProductImages { get; set; }
    }
}

3.>CollectedProductImageViewModel

namespace Collector.Models
{
    public class CollectedProductImageViewModel
    {
        public string ImageUrl { get; set; }
        public int Sort { get; set; }
    }
}

4.>ParseProductPatterns

namespace Collector.Models
{
    public struct ParseProductPatterns
    {
        public static string ProductNamePattern = "(?<=<h1 class=\"product-name\" itemprop=\"name\">).*?(?=</h1>)";
        public static string ProductJsnPattern = @"(?<=var skuProducts=).*?(?=;\s*var skuAttrIds=)";
        public static string ProductImageJsonPattern = "(?<=window.runParams.imageBigViewURL=).*?(?=;)";
        public static string ProductCurrencyPattern = "(?<=window.runParams.currencyCode=\").*?(?=\";)";
        public static string ProductColorPattern =
            "(?<=<a data-role=\"sku\" data-sku-id=\"{0}\" id=\"sku-1-{0}\" title=\").*?(?=\")";
        public static string ProductSizePattern =
            "(?<=<a data-role=\"sku\" data-sku-id=\"{0}\" id=\"sku-2-{0}\" href=\"javascript:void\\(0\\)\"\\s+><span>).*?(?=</)";
    }
}

基本上容易理解，我这里就不再一一讲解了。

4. 视图布局设计很简单，如下图 

采集地址 就是速卖通产品地址，这里不支持店铺和类型采集地址。表格就是采集产品信息展示。

5. 控制器和视图代码如下

1.> CollectingController

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text.RegularExpressions;
using System.Web.Mvc;
using Collector.Models;
using Newtonsoft.Json.Linq;
using RestSharp;

namespace Collector.Controllers
{
    public class CollectingController : Controller
    {
        // GET: Collecting
        public ActionResult Index()
        {
            return View();
        }

        [HttpPost]
        public ActionResult Index(CollectionViewModel collectionView)
        {
            collectionView = ColllectWithParse(collectionView);
            return View(collectionView);
        }

        public CollectionViewModel ColllectWithParse(CollectionViewModel collectionView)
        {
            if (collectionView == null || string.IsNullOrEmpty(collectionView.CollectionUrl))
            {
                return collectionView;
            }
            var client = new RestClient(collectionView.CollectionUrl);
            var request = new RestRequest(Method.GET);
            var response = client.Execute(request);
            var htmlContent = response.Content;
            collectionView.ProductViews = ParseProducts(htmlContent);
            return collectionView;
        }

        public IEnumerable<CollectedProductViewModel> ParseProducts(string productHtmlContent)
        {
            var productName = RegexMatchValue(ParseProductPatterns.ProductNamePattern, productHtmlContent);
            var productCuurency = RegexMatchValue(ParseProductPatterns.ProductCurrencyPattern, productHtmlContent);

            var productJson = RegexMatchValue(ParseProductPatterns.ProductJsnPattern, productHtmlContent);

            var prodctJsonArray = JArray.Parse(productJson);
            var products =
                prodctJsonArray.Select(pja =>
                {
                    var colorWithSizeCode = pja["skuPropIds"].ToString().Split(',');
                    var priceJson = pja["skuVal"];
                    var skuPrice = priceJson["skuPrice"];
                    var price = skuPrice == null ? "0" : skuPrice.ToString();
                    var actSkuPrice = priceJson["actSkuPrice"];
                    var discountPrice = actSkuPrice == null ? "0" : actSkuPrice.ToString();
                    return new
                    {
                        ColorCode = colorWithSizeCode.First(),
                        SizeCode = colorWithSizeCode.Last(),
                        Price = Convert.ToDecimal(price),
                        DiscountPrice = Convert.ToDecimal(discountPrice),
                    };
                }).ToList();

            var collectedImages = ParseProducImages(productHtmlContent);

            var collectedProducts = products.Select(p => new CollectedProductViewModel
            {
                ProductName = productName,
                ProductPrice = p.Price,
                ProductDiscountPrice = p.DiscountPrice,
                ProductCurrency = productCuurency,
                ProductColor = SetProductColorWithSize(ParseProductPatterns.ProductColorPattern,p.ColorCode,productHtmlContent),
                ProductSize = SetProductColorWithSize(ParseProductPatterns.ProductSizePattern, p.SizeCode, productHtmlContent),
                ProductImages = collectedImages
            }).ToList();
            return collectedProducts;
        }

        private IEnumerable<CollectedProductImageViewModel> ParseProducImages(string productHtmlContent)
        {
            var imagesJson = RegexMatchValue(ParseProductPatterns.ProductImageJsonPattern, productHtmlContent);
            var imageJsonArray = JArray.Parse(imagesJson);

            var images = imageJsonArray.ToObject<List<string>>();
            return images.Select((t, i) => new CollectedProductImageViewModel
            {
                ImageUrl = t,
                Sort = i
            });
        }

        private string SetProductColorWithSize(string pattern, string colorWithSizeCode,string input)
        {
            var newPattern = string.Format(pattern, colorWithSizeCode);
            return RegexMatchValue(newPattern, input);
        }

        private string RegexMatchValue(string pattern, string input, RegexOptions regexOptions = RegexOptions.IgnoreCase|RegexOptions.Singleline)
        {
            var regex = new Regex(pattern, regexOptions);
            var match = regex.Match(input);
            return match.Value;
        }
    }
}

2.> Collecting->Index 

@model  Collector.Models.CollectionViewModel
<!DOCTYPE html>

<html>
<head>
    <meta name="viewport" content="width=device-width" />
    <title></title>
    <!-- CSS goes in the document HEAD or added to your external stylesheet -->
    <style type="text/css">
        table.gridtable {
            font-family: verdana,arial,sans-serif;
            font-size: 11px;
            color: #333333;
            border-width: 1px;
            border-color: #666666;
            border-collapse: collapse;
        }

            table.gridtable th {
                border-width: 1px;
                padding: 8px;
                border-style: solid;
                border-color: #666666;
                background-color: #dedede;
            }

            table.gridtable td {
                border-width: 1px;
                padding: 8px;
                border-style: solid;
                border-color: #666666;
                background-color: #ffffff;
            }
    </style>
</head>
<body>
    <div>
        @using (Html.BeginForm("Index", "Collecting", FormMethod.Post))
        {
            <table>
                <tr>
                    <td>采集地址：</td>
                    <td>
                        @Html.TextAreaFor(m => m.CollectionUrl, 4, 0, new { style = "width:1500px;" })
                    </td>
                    
                </tr>
                <tr><td colspan="2" style="text-align: right;"><input type="submit" value="开始采集" /></td></tr>
            </table>
        }
    </div>
    <div>
        <table class="gridtable">
            <thead>
                <tr>
                    <th width="5%">编号</th>
                    <th width="5%">图片</th>
                    <th width="30%">产品名称</th>

                    <th width="10%">产品单价</th>
                    <th width="10%">产品参考单价</th>
                    <th width="10%">产品币别</th>
                    <th width="10%">产品颜色</th>
                    <th width="10%">产品大小</th>
                </tr>
            </thead>
            <tbody>
                @{
                    var i = 0;
                    if (Model == null || Model.ProductViews == null)
                    {
                        return;
                    }
                }
                @foreach (var collectedProduct in Model.ProductViews)
                {
                    <tr>
                        <td align="center">@{i++;}@i</td>
                        <td><img src="@collectedProduct.ProductImages.FirstOrDefault().ImageUrl" width="60" height="60" /></td>
                        <td>@collectedProduct.ProductName</td>
                        <td>@collectedProduct.ProductDiscountPrice</td>
                        <td>@collectedProduct.ProductPrice</td>
                        <td>@collectedProduct.ProductCurrency</td>
                        <td>@collectedProduct.ProductColor</td>
                        <td>@collectedProduct.ProductSize</td>
                    </tr>
                }

            </tbody>

        </table>
    </div>
</body>
</html>

这里要说明的是，本篇只是采集的冰山一角的例子，所有没有搞得很复杂，没有严格封装，不管是前端，还是后端，希望大家了解，还有本人不喜好在代码中加注释，在我看来代码就是注释。

二, 测试结果，将MVC项目，部署到IIS，端口号1005，走起看效果。

1. 测试上一篇速卖通产品地址：

http://www.aliexpress.com/store/product/Yoga-Tops-Women-Women-Yoga-Shirts-Womens-Sportswear-Gym-Woman-Running-Shirt-Camisetas-Deporte-Mujer-Gym/1025110_32620359354.html?spm=a2g01.8032156.template-section-container.27.wcM8ES&sdom=3514.555719.493653.0_32620359354

效果截图如下：

刚刚采集发现上一篇写的这个产品地址，速卖通不打折，因此没有了折扣价格。

2.再采集一个地址：

http://www.aliexpress.com/store/product/LEVEL-4-shock-Professional-running-intensive-training-without-rims-snow-sports-bra-open-front-zipper-style/1025110_32357688343.html?spm=2114.12010108.1000013.1.uvJqBj

截图如下

这个产品的产品变体有很多，所有一网页还显示不了。

源码码：https://github.com/haibozhou1011/Collector

总结：

好了，速卖通产品采集系列，就全部结束了，总的来说，采集这个活技术都是大家经常用的，主要是前期分析，抓产品信息规则，每个网站多有规律，大家留心观察就会找到一些蛛丝马迹，就会有所突破。希望大家如果有更好的采集方法，一定要和大家分享。