Google 图片下载工具
毕设做实验需要从网上下几万张图片,以前用师兄做的Flickr下载器,用Flickr的API完成的。但是Flickr上的图片是用户分享居多,通过指定的关键词去搜索,很多时候无法得到满意的图片。在Google、Bing上虽然能得到比较好的搜索结果,但是Google早早地停用了搜索的SDK,CodeProject上的例子是N年前的,试过都不能用了;Bing虽然现在还有SDK,但是看官方的通告,大约是8月份也要停用了,而且现在提供的下载限制每天一张,木有办法,只能自己想招了。
在查看Google图片搜索页面的源码时,发现在<a>的href属性里面包含了图片原始的url,所以就想到解析搜索结果页面的办法,将原始图片的url切出来,然后从url现在原始的图片。url的切割,可以使用正则表达式来完成。
还有一个问题就是搜索结果页面的获取。
看了下搜索结果的url,发现在url里面包含了搜索关键字,以及其他的一些信息,于是想:是不是可以拼接字符串,然后向google发送web请求,返回结果可能就是搜索结果页面吧。
这个url是直接复制浏览器搜索结果的url,然后替换掉q和oq两个参数,其值为搜索关键词。举个例子,关键词是answer,发送请求,保存返回的结果,得到如下页面:
总过有21张图片,可见Google对这种形式的web请求的返回结果做了一些限制,不可以像使用浏览器那样,一次返回很多页,只能一次返回21张。
然后,点了下分页的“2”,看第二页,发现url有了些变化:
关键在于这个start属性!start=21,那应该是说,利用这个属性来做的分页,但是了,又不知道哪个属性指定end,略郁闷。。。但还好了,至少可以说,在拼url的时候,可以通过指定start的值,发送多次请求,得到多个搜索结果分页,虽然笨一点,但是目的还是达到了。
Nice!
最后使用的url如下:
q指定搜索关键词,start索引各个分页的起始位置。
以上就是编程在Google上搜索关键词并下载图片的基本思路。
有几个问题还要记录下:
1、搜索返回页面的问题。
直接向Google发送请求,然后从搜索结果里面用RE分割url,耗费内存资源太多。实验发现,一个搜索返回页面200k,同时下载关键词100个,每个关键词下载200张,也就是10个页面,如果都在内存里完成的话,不算光是存这些东西,就需要大约200M,还要用RE来切割url,实际跑的时候看了下,内存爆了都,我电脑是4G的内存。而且,由于网络的问题,有时候下载过程会中断,想了下,还是先把搜索结果存到本地,然后再切割url。
2、RE切割图片的问题。
RE学的不够好,自己写了几个总是有问题,就在网上找了下面的一个:
这个只能切除url,还需要加一些后缀过滤,才能得到图片的url。还在琢磨怎么写一个高级的RE,直接把图片的url切出来。
3、多线程下载的问题。
因为同时下载100多个关键词的图片,就想多线程来做,撇开网络带宽的问题,希望这样能下载的快一点。初始的时候,每个关键词开启一个线程。但是这样还是慢,每个关键词下载额定200张的图片,需要1-2个小时,当然,是在多个关键词同时下的情况。72个关键词,实际下到8000多张图片,共计下了一晚上,6、7个小时吧。忍不了。。
后来,想着在每个关键词下载过程中,给每个下载链接起一个线程。结果,由于同时起的线程过多,导致线程资源短缺,频繁的有线程挂掉,虽然在一定的阶段里,同等网络条件下,确实下的快了,但是整体上却是慢了。也尝试了ThreadPool,情况类似。
我想的理想情况是,开200个线程,维护一个线程池,有需求就请求线程作业,作业完毕则释放资源,如果当前没有资源,则请求端等待,直到有可用线程。暂时没有实现,最近要再搞一下。
此外,在下载中,还做了log,并对图片重新编号,还有图片名与url的映射字典。
以下附程序代码:
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
2 using System.Collections.Generic;
3 using System.IO;
4 using System.Linq;
5 using System.Threading;
6 using System.Windows.Forms;
7
8 namespace GoogleImageDownload
9 {
10 static class Program
11 {
12 /// <summary>
13 /// 应用程序的主入口点。
14 /// </summary>
15 [STAThread]
16 static void Main()
17 {
18 StreamReader sr = new StreamReader("keywords.txt");
19 string keywordPool = sr.ReadToEnd();
20 sr.Close();
21 string[] keywords = keywordPool.Split(new char[] { ',' });
22 foreach (string keyword in keywords)
23 {
24 GoogleImages bi = new GoogleImages();
25 Thread download = new Thread(new ParameterizedThreadStart(bi.DownLoadImages));
26 download.Name = "Thread_" + keyword;
27 download.Start(keyword);
28 //WaitCallback wc = new WaitCallback(bi.DownLoadImages);
29 //ThreadPool.QueueUserWorkItem(wc, keyword);
30 }
31 }
32 }
33 }
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
2 using System.Collections.Generic;
3 using System.Net;
4 using System.Xml.Linq;
5 using System.IO;
6 using System.Web;
7 using System.Text.RegularExpressions;
8 using System.Threading;
9 using System.Drawing;
10 using System.Text;
11
12 namespace GoogleImageDownload
13 {
14 public class GoogleImages
15 {
16 /// <summary>
17 /// 通过拼url的方式,向google发出请求
18 /// 参数0:查询关键字
19 /// 参数1:从那一条搜索记录开始,每页默认21个,通过设置为0、21、42、63等,获取多张图片
20 /// </summary>
21 private const string IMG_URL = "http://www.google.com.hk/search?q={0}&hl=zh-CN&newwindow=1&safe=strict&biw=1280&" +
22 "bih=699&gbv=2&ie=UTF-8&tbm=isch&ei=2HblT4vrCISwiQeavLhZ&start={1}&sa=N";
23 /// <summary>
24 /// 默认POST 10 页
25 /// </summary>
26 private const int PAGES = 10;
27 /// <summary>
28 /// 提供四种出错信息
29 /// </summary>
30 public static string[] ERRORS = { "GetDownloadInfo", "CreateImageDownloadLink", "SaveToLocal", "RenameImage" };
31 private string logFile = "";
32 private string downloadFolder = "";
33 private string downloadObj = "";
34
35 /// <summary>
36 /// Download images from Google
37 /// </summary>
38 public void DownLoadImages(object Obj)
39 {
40 DateTime tStart = DateTime.Now;
41 this.downloadObj = (string)Obj;
42
43 /// Images:每个关键字为单独的一个文件夹,该文件夹下保存图片
44 /// DownloadInfos:POST得到的Google搜索结果的页面,以及页面中图片的url
45 /// Log:下载图片中出现的异常信息
46 #region 创建保存下载信息的文件夹
47
48 /// 创建图片文件夹
49 if (!Directory.Exists(String.Format(".\\Images\\{0}", downloadObj)))
50 {
51 Directory.CreateDirectory(String.Format(".\\Images\\{0}", downloadObj));
52 }
53 this.downloadFolder = String.Format(".\\Images\\{0}", downloadObj);
54
55 /// 创建下载信息文件夹
56 if (!Directory.Exists(String.Format(".\\DownloadInfos", downloadObj)))
57 {
58 Directory.CreateDirectory(String.Format(".\\DownloadInfos", downloadObj));
59 }
60
61 string resHtmlFile = ".\\DownloadInfos\\" + downloadObj + "_res.txt";
62 if (!File.Exists(resHtmlFile))
63 {
64 File.Create(resHtmlFile);
65 }
66
67 string resImageList = ".\\DownloadInfos\\" + downloadObj + "_img.txt";
68 if (!File.Exists(resImageList))
69 {
70 File.Create(resImageList);
71 }
72
73 /// 创建日志文件夹
74 if (!Directory.Exists(String.Format(".\\Log", downloadObj)))
75 {
76 Directory.CreateDirectory(String.Format(".\\Log", downloadObj));
77 }
78
79 this.logFile = ".\\Log\\" + (string)Obj + ".log";
80 if (!File.Exists(logFile))
81 {
82 File.Create(logFile);
83 }
84
85 #endregion
86
87 /// 确定下载几页,模拟了在搜索结果中手动翻页
88 /// 默认10页,每页大约21张图片
89
90 #region POST 10 个请求,返回10个Google搜索结果页面,所有内容存在一个文本文件里面
91
92 for (int i = 0; i < PAGES; i++)
93 {
94 string url = string.Format(IMG_URL, downloadObj, 21 * i);
95 try
96 {
97 System.Net.HttpWebRequest r = (System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(url);
98 r.AllowAutoRedirect = true;
99 System.Net.CookieContainer c = new System.Net.CookieContainer();
100 r.CookieContainer = c;
101 System.Net.HttpWebResponse res = r.GetResponse() as System.Net.HttpWebResponse;
102 if (res.StatusCode == HttpStatusCode.OK)
103 {
104 System.IO.StreamReader s = new System.IO.StreamReader(res.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));
105 //Response.Write(s.ReadToEnd());
106 Console.WriteLine("start");
107 StreamWriter sw = new StreamWriter(resHtmlFile, true);
108 sw.Write(s.ReadToEnd());
109 Console.WriteLine(downloadObj + " " + i);
110 sw.Close();
111 s.Close();
112 res.Close();
113 }
114 }
115 catch (Exception ex)
116 {
117 PrintException(0, downloadObj, ex.ToString());
118 }
119
120 Console.WriteLine("end");
121 }
122
123 #endregion
124
125 #region 从文本文件中用RE切出图片的url,并下载图片
126
127 StreamReader sr = new StreamReader(resHtmlFile);
128 string result = sr.ReadToEnd();
129 sr.Close();
130
131 /// 一般网址url的RE
132 string strRegex = "(http[s]{0,1}|ftp)://[a-zA-Z0-9\\.\\-]+\\.([a-zA-Z]{2,4})(:\\d+)?(/[a-zA-Z0-9\\.\\-~!@#$%^&*+?:_/=<>]*)?";
133 Regex re = new Regex(strRegex);
134 MatchCollection mactes = re.Matches(result);
135
136 int count = 0;
137 foreach (Match img in mactes)
138 {
139 string tmp = img.Value;
140 /// 割掉RE得到的多余的内容
141 if (tmp.Contains("&"))
142 tmp = tmp.Substring(0, tmp.Length - 4);
143 /// 过滤url,专找图片的url
144 if (tmp.Contains(".jpg") || tmp.Contains(".png") || tmp.Contains(".jpeg") || tmp.Contains(".gif"))
145 {
146 string newFileName = "";
147 string[] split = tmp.Split(new char[]{'/'});
148 /// 给图片分配一个新的名字
149 try
150 {
151 FileInfo fi = new FileInfo(split[split.Length - 1]);
152 newFileName = String.Format("{0}_{1}{2}", this.downloadObj, count.ToString("000"), fi.Extension);
153 count++;
154 /// 输出“newFileName ImageUrl”到DownloadInfos
155 StreamWriter sw2 = new StreamWriter(resImageList, true);
156 sw2.WriteLine(String.Format("{0}\t{1}", newFileName, tmp));
157 sw2.Flush();
158 sw2.Close();
159 }
160 catch (Exception ex)
161 {
162 PrintException(0, split[split.Length - 1], ex.ToString());
163 }
164
165 Console.WriteLine(split[split.Length-1]+" is downloading");
166 /////////////////////
167 // Download Images //
168 /////////////////////
169 SavePhotoFromUrl(newFileName, tmp);
170 //ThreadPool.QueueUserWorkItem(new WaitCallback(this.SavePhotoFromUrl), new string[] { newFileName, tmp });
171 //Thread save = new Thread(new ParameterizedThreadStart(this.SavePhotoFromUrl));
172 //save.Name = "Thread_" + newFileName;
173 //save.Start(new string[] { newFileName, tmp });
174 Console.WriteLine(split[split.Length-1]+" has been downloaded");
175 }
176 }
177
178 #endregion
179
180 /// 输出下载用时
181 DateTime tEnd = DateTime.Now;
182 TimeSpan cost = tEnd - tStart;
183 PrintTime(cost.ToString());
184 }
185
186 /// <summary>
187 /// 通过url将图片保存到本地,指定文件名为FileName
188 /// </summary>
189 public bool SavePhotoFromUrl(string FileName, string Url)
190 //public void SavePhotoFromUrl(Object paras)
191 {
192 //string[] Para = (string[])paras;
193 //string FileName = Para[0];
194 //string Url = Para[1];
195 bool Value = false;
196 WebResponse response = null;
197 Stream stream = null;
198
199 try
200 {
201 HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
202 response = request.GetResponse();
203 stream = response.GetResponseStream();
204 Value = SaveBinaryFile(response, this.downloadFolder + "\\" + FileName);
205 }
206 catch (Exception ex)
207 {
208 PrintException(1, Url, ex.ToString());
209 }
210 return Value;
211 }
212 /// <summary>
213 /// 保存图片到本地
214 /// </summary>
215 /// <param name="response">用来保存图片的Response</param>
216 private bool SaveBinaryFile(WebResponse response, string FileName)
217 {
218 bool Value = true;
219 byte[] buffer = new byte[1024];
220
221 try
222 {
223 if (File.Exists(FileName))
224 {
225 return true;
226 }
227 Stream outStream = System.IO.File.Create(FileName);
228 Stream inStream = response.GetResponseStream();
229
230 int l;
231 do
232 {
233 l = inStream.Read(buffer, 0, buffer.Length);
234 if (l > 0)
235 outStream.Write(buffer, 0, l);
236 }
237 while (l > 0);
238
239 outStream.Close();
240 inStream.Close();
241 }
242 catch (Exception ex)
243 {
244 PrintException(2, FileName, ex.ToString());
245 Value = false;
246 }
247 return Value;
248 }
249
250 /// <summary>
251 /// 在下载过程中打印出错信息
252 /// 三种出错信息:
253 /// 0:GetDownloadInfo 在向Google请求下载信息的时候出错
254 /// 1:CreateImageDownloadLink 在获取图片url后建立连接过程中出错
255 /// 2:SaveToLocal 在建立下载连接后保存到本地过程中出错
256 /// 3: RenameImage 按照标准命名方式重命名文件过程中出错
257 /// </summary>
258 /// <param name="type">出错类型</param>
259 /// <param name="obj">出错对象</param>
260 /// <param name="exceptionInfo">出错信息</param>
261 private void PrintException(int type, string obj, string exceptionInfo)
262 {
263 try
264 {
265 StreamWriter sPrint = new StreamWriter(this.logFile, true);
266 sPrint.WriteLine(String.Format("TYPE:{0}\tOBJECT:[{1,-30}]\nERROR:{2}\n", GoogleImages.ERRORS[type], obj, exceptionInfo));
267 sPrint.Close();
268 }
269 catch (Exception ex)
270 {
271 ;
272 }
273 }
274
275 /// <summary>
276 /// 输出下载所用时间
277 /// </summary>
278 /// <param name="time">下载用时</param>
279 private void PrintTime(string time)
280 {
281 try
282 {
283 StreamWriter sPrint = new StreamWriter(this.logFile, true);
284 sPrint.WriteLine(String.Format("Download Cost:{0}",time));
285 sPrint.Close();
286 }
287 catch (Exception ex)
288 {
289 ;
290 }
291 }
292 }
293 }
附:Google url中各个参数的含义(
http://www.4ucode.com/Study/Topic/1060948):
hl(Interface Language):Google搜索的界面语言
q(Query):查询的关键词
start:显示搜索结果的起始端,如果start=1,则从第2个搜索结果开始显示;如果你想直接看第搜索结果第21页,让start=200即可,由于Google只显示1000条搜索结果记录,start理论取值范围在0–999之间
lr(Language Restrict):搜索内容的语言限定限定只搜索某种语言的网页。如果lr参数为空,则为搜索所有网页
ie(Input Encoding):查询关键词的编码,缺省设置为utf-8,也就是说请求Google搜索时参数q的值是一段utf-8编码的文字
oe(Output Encoding):搜索结果页面的网页编码,缺省设置oe=utf-8
num(Number):搜索结果显示条数,取值范围在10–100条之间,缺省设置num=10
newwindow:是否开启新窗口以显示查询结果,缺省设置newwindow=1,在新窗口打开搜索结果而面
aq(Ascending Query):判断搜索用户是否是第一次查询,如果用户第一次进行查询,则aq=f(First);如若进行过多次查询,则aq=-1,这个的主要作用应该是统计和放置作-弊
as_q(Ascending Search Query):上一次查询关键词
欢迎指教&讨论~