笨笨图片批量下载器 V0.3 beta[C# | WinForm | 正则表达式 | HttpWebRequest | Async异步编程] new
前言
从【笨笨图片批量抓取下载 V0.2 beta】到【笨笨图片批量下载器 V0.3 beta】时间将近2个月，不是说这个升级版本开发了这么久，实在是懒，呵呵: )再加有时候工作忙、学习，多的时间就不愿意动了，现在都感觉辜负了上一版N多朋友的支持了，不过这将近一个星期时间我按计划完成了这个小软件版的升级开发，并且依然和上两个版本一样保持源代码开源，文章最后有下载地址，以下是这个版本相比上个版本的特点：
1. 加入图片是否重命名。
2. 加入异步线程池控制(? 随后解释)。
3. 加入图片大小限制。
4. 加入支持指定网址内CSS文件内的图片下载。
5. 加入了正则表达式即时配置更改(应变正则表达式缺陷)。
6. 优化部分代码。
7. 修改部分统计错误。
感谢
1. 感谢热心回帖并提供建议的部分网友:Stoneq、liyundong、寻梦E.net、Caspar Jiong 、laoda、lexus 等
2. 感谢Google Code Seach，在我找不到任何我能看懂的中英文资料时(尤其是异步线程池控制)，她提供了我参考代码！！
3. 感谢女朋友在精神上的莫大鼓舞！
正文
1. 和以往一样，先来一张图，然后看图说话:)
说明：界面上V0.3与V0.2差不多，剔除了图片类型复选框，如果你需要下载指定类型的图片的话，可以从 配置->设置正则表达式图片链接分析 里面直接修改匹配图片的正则表达式，最末端就是图片的文件类型了，如:(jpg|jpeg|png|ico|bmp|gif)；状态栏增加了一个实际下载图片数量，可以实时的显示当前下载图片的张数；多了一个[重命名]和[下载页面包含CSS文件内的图片]，后者就不用说明了，但是前者需要说明一下：这个地方是费了我不少时间了，我原先的重命名方案是DateTime.Now.ToString("yyyyMMddHHmmssfff")，后来又加上了new Random().Next(100)和lock，都不对，显示下载图片的数量和文件夹里面的图片数量不符合，并且选择重命名和不选择重命名文件夹实际图片数相差较大，几张到几十张不等，最后改用了System.Guid.NewGuid()至此基本正确符合，所有猜想，DateTime.Now和Random在遇到异步多线程应该会出现脏读吧？！
栏目里面的配置，开始想的时候觉得有那么点画蛇添足的味道，但是觉得有促进和各位朋友正则表达式交流的作用而保留下来了，所以期待牛人给予友情提示:)
2. 接下来贴部分关键代码和讲解，这里只讲异步的代码，源码注释也比较多：
/// <summary>
/// 开始异步分析下载 /// </summary> /// <param name="url"></param>
/// <param name="savePath"></param>
private void AsyncAnalyzeAndDownload(string url, string savePath) {
this.uriString = url; this.savePath = savePath;
初始化全局变量 分析计时开始 using (WebClient wClient = new WebClient())
{ AutoResetEvent waiter = new AutoResetEvent(false); //为异步结果返回传参 wClient.QueryString.Add("url", uriString); wClient.QueryString.Add("IsInclueCssImages", _IsInclueCssImages.ToString()); wClient.Credentials = CredentialCache.DefaultCredentials; wClient.DownloadDataCompleted += new DownloadDataCompletedEventHandler(AsyncURIAnalyze); wClient.DownloadDataAsync(new Uri(uriString), waiter); //waiter.WaitOne(); //阻止当前线程，直到收到信号
} }说明：这里是异步分析和下载的入口，传入网址、保存路径、是否分析在CSS文件内的图片参数。
----------------------------------------------------------------------------------------------------------
/// 异步分析指定网址返回的数据
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
protected void AsyncURIAnalyze(Object sender, DownloadDataCompletedEventArgs e)
{
AutoResetEvent waiter = (AutoResetEvent)e.UserState;
WebClient nWC = sender as WebClient;
bool IsMatchCss = true;
bool IsInclueCssImages = Convert.ToBoolean(nWC.QueryString["IsInclueCssImages"]);
try
{
if (!e.Cancelled && e.Error == null)
{
string dnDir = string.Empty;
string domainName = string.Empty;
string uri = nWC.QueryString["url"];
if (!uri.StartsWith("http://") && !uri.StartsWith("https://"))
uri = string.Concat("http://", uri);
//获得域名 http://www.sina.com
domainName = GetDomain(uri);
//获得域名最深层目录 http://www.sina.com/mail/
dnDir = GetFullPath(domainName, uri);
//获取数据
string pageData = Encoding.UTF8.GetString(e.Result);
//匹配全路径
AnalyzeContent(Regex.Matches(pageData, ImagePattern), domainName, dnDir);
//是否下载页面包含CSS文件内的图片
if (IsInclueCssImages)
{
//匹配CSS文件 //[\w=/]*((\.css){1})
MatchCollection mc = Regex.Matches(pageData, CssPattern, RegexOptions.IgnoreCase);
for (int i = 0, j = mc.Count; i < j; i++)
{
string item = mc[i].Value;
//短路径处理
if (!item.StartsWith("http://") && !item.StartsWith("https://"))
item = (item[0] == '/' ? domainName : dnDir) + item;
using (WebClient wClient = new WebClient())
{
AutoResetEvent are = new AutoResetEvent(false);
wClient.QueryString.Add("url", item);
wClient.QueryString.Add("IsOver", i == j - 1 ? "1" : "0");
wClient.QueryString.Add("IsInclueCssImages", "false");
wClient.Credentials = CredentialCache.DefaultCredentials;
wClient.DownloadDataCompleted += new DownloadDataCompletedEventHandler(AsyncURIAnalyze);
wClient.DownloadDataAsync(new Uri(item), are);
}
}
if (mc.Count == 0)
IsMatchCss = false;
}
}
}
finally
{
//waiter.Set();
if ((IsInclueCssImages && !IsMatchCss) || (!IsInclueCssImages && string.IsNullOrEmpty(nWC.QueryString["IsOver"])) || (!string.IsNullOrEmpty(nWC.QueryString["IsOver"]) && "1" == nWC.QueryString["IsOver"]))
{
lock (slock)
{
#region 分析计时结束
QueryPerformanceCounter(ref count1);
count = count1 - count;
toolStripStatusLabel1.Text = "分析完毕！";
toolStripStatusLabel2.Text = string.Format(" | 分析耗时:{0:#.####}秒", (double)(count) / (double)freq);
#endregion
//分析完毕
isAnalyzeComplete = true;
}
Application.DoEvents();
}
}
}
说明：这部分代码是程序的主体部分之一，如果需要分析CSS文件内的图片，则采用递归调用本方法，AnalyzeContent方法为分析图片链接核心代码，这里发现比较有意思的是可以为下次接受的数据传参，即自己传给自己，这样对于判断是否分析完毕有很大便利性，代码如：wClient.QueryString.Add("url", item);
------------------------------------------------------------------------------------------------------
/// 分析链接
/// </summary>
/// <param name="mc"></param>
/// <param name="domainName"></param>
/// <param name="dnDir"></param>
private void AnalyzeContent(MatchCollection mc, string domainName, string dnDir)
{
List<string> urlList = new List<string>();
foreach (Match mt in mc)
{
string item = mt.Value;
/* 处理图片正则表达式的缺陷，即图片必须带域名，如:
* 当前正则表达式匹配http://www.icoxxx.com
* 匹配结果为http://www.ico
*/
if (item.Length > 8 && item.IndexOf('/', 9) == -1)
continue;
//短路径处理
if (!item.StartsWith("http://") && !item.StartsWith("https://"))
item = (item[0] == '/' ? domainName : dnDir) + item;
//处理../
if (item.IndexOf("../") != -1)
{
List<string> urls = new List<string>();
urls.AddRange(item.Split('/'));
for (int i = 0; i < urls.Count; i++)
if ("..".Equals(urls[i]))
{
urls.RemoveRange(i - 1, 2);
i -= 2;
}
item = Join("/", urls);
}
if (!urlList.Contains(item))
{
urlList.Add(item);
lock (slock)
{
imgUrlList.Add(item);
}
//实时显示分析结果
AddlbShowItem(item);
//边分析边下载
HttpWebRequest hwr = WebRequest.Create(item) as HttpWebRequest;
hwr.AllowWriteStreamBuffering = false;
//hwr.ReadWriteTimeout = 5 * 1000; //默认超时30秒
IAsyncResult res = hwr.BeginGetResponse(new AsyncCallback(AsyncDownLoad), hwr);
//加入线程池控制
ThreadPool.RegisterWaitForSingleObject(res.AsyncWaitHandle, new WaitOrTimerCallback(timeoutCallback), hwr, Timeout, true);
}
}
}
说明：这块代码是分析图片链接的代码，由于正则表达式缺陷，加入了一些处理；加入了线程池控制，说到这里，关于异步线程池的控制几乎没找到中文资料，就在Google Code Seach里面搜索到了以下代码片段：
//加入线程池控制
ThreadPool.RegisterWaitForSingleObject(res.AsyncWaitHandle, new WaitOrTimerCallback(timeoutCallback), hwr, Timeout, true);
具体如何测试是否加入连接池也没有深入的研究了，所以前面提到新加功能时后面打了一个问号，望资深人士帮忙分析下:)
-------------------------------------------------------------------------------------------------------------
/// 异步接受数据
/// </summary>
/// <param name="asyncResult"></param>
public void AsyncDownLoad(IAsyncResult asyncResult)
{
#region 下载计时开始
lock (slock)
{
if (cfreq == 0L)
{
ccount = 0L;
QueryPerformanceFrequency(ref cfreq);
QueryPerformanceCounter(ref ccount);
}
}
#endregion
WebRequest request = (WebRequest)asyncResult.AsyncState;
string url = request.RequestUri.ToString();
int indexItem = this.lbShow.Items.IndexOf(url);
//从未下载的列表中删除已经下载的图片
lock (slock)
{
imgUrlList.Remove(url);
}
try
{
WebResponse response = request.EndGetResponse(asyncResult);
long cLength = response.ContentLength;
if (cLength > 0 && cLength <= FileSize)
{
using (Stream stream = response.GetResponseStream())
{
Image img = Image.FromStream(stream);
img.Save(string.Concat(savePath, "/", GetFileName(url)));
img.Dispose();
stream.Close();
}
//allDone.Set();
//成功下载
if (indexItem >= 0 && indexItem <= this.lbShow.Items.Count)
SetlbShowItem(indexItem, "√ ");
}
else if (cLength == 0L && indexItem >= 0)
SetlbShowItem(indexItem, "× ");
else if (indexItem >= 0)
SetlbShowItem(indexItem, "! "); //表示图片过大或过小
}
catch (Exception)
{
if (indexItem >= 0)
SetlbShowItem(indexItem, "× ");
}
}
说明：这部分代码是异步下载的代码，加入了人性化了多符号标示文件的状态。
代码注释后可讲解的就不多了，比较难的就是异步中同步数据控制，得控制好了并且尽量少，否则对性能能较大影响，大伙有兴趣的话看代码吧:)
结束
感谢能阅读到此处的网友，希望能多多交流关于异步、同步、正则表达式方面的经验，不吝赐教！在下载中可能出现其他意外情况，导致图片已经下载完毕但是下载图片的按钮不可用，状态栏显示正在下载...，持续时间超过1分钟，那么可能是哪里出了BUG，呵呵！可以强制关闭然后重新启动程序下载，或者确认已经下载完毕，状态没法恢复可以从工具->初始化来重置一下。
补充
感谢 Jon.Hong 的批评，确实下载回来执行有问题，原因是因为写文章的时候临时改了几个参数忘了编译测试了，已经更新了下载文件，不过查看源代码直接调试也行！
做这个小软件只有两个目的：
1. 学习交流
2. 希望能帮得到大家
希望和大家多多交流使用到的相关技术，以期能积累更多这方面的经验，谢谢大家支持！！
下载
更新（2009-4-15）
