一次爬虫实践学习(C#)
我们经常浏览网页，有时候看到一些精美的图片，想下载下来保存，但是太多，如果一张一张的下载，那太费时了；如果你喜欢看书，看小说，那么浏览小说网站是常有的事，但是有时候我们不能联网，比如农村老家，如果还想看，我们有没有想过一次性保存到手机里。网站上的小说都是一章一个页面，难道要我们一次一个章节复制粘贴保存？这个事我真的干了，为了一本小说，我连续花了三个小时，目不转睛地盯着电脑复制粘贴。还有抓取别人的网站一些有用数据，为我们服务，比如说找工作的事，买彩票的事等等。
现在我要来实现一个下载他趣网站上性感漂亮女性图片，发现这个网站也是通过别人博客得知的。那些图片很不错，养眼，所以对这个网站感兴趣了，也就有动力了。
今天写这个博客就是为了记录一次学习爬虫过程，分享自己遇到一些问题，以及解决问题的方法经验。
常规思路是，首先打开我们要爬取的网站，然后点击审查网页元素，分析HTML结构如下图
然后就开始写代码，初看这肯定要从HTML元素中获取图片链接了。于是我还下载了Jumony 一个提取网页元素的帮助类。
url = "http://www.taqu.cn/community/"; HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url); using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) { // 请求成功的状态码：200 if (response.StatusCode == HttpStatusCode.OK) { using (Stream stream = response.GetResponseStream()) { using (StreamReader reader = new StreamReader(stream)) { string html = reader.ReadToEnd(); var parser = new JumonyParser(); var doc = parser.Parse(html); var lists = doc.Find("#subject_list > ul > li"); foreach (var li in lists) { var img = li.FindFirst("img"); var src =img.Attribute("src").Value(); DownloadImage(src); } //Console.WriteLine(html); } } } else { Console.WriteLine("服务器返回错误：{0}", response.StatusCode); } }
没有想到string html = reader.ReadToEnd(); 获取的是一张算作空白页，根本就没有我审查元素看到的内容，没有我想要的元素，那要怎么办？难道错了？不行呀，于是我又通过这个观察如下图，有图片的请求，也有内容。——原来是ajax请求呀！
再仔细看，不是有请求么，而且有返回数据
点击他趣girl
返回数据
在Headers这一栏里我们可以发现请求头部一些信息，可以请求之后响应一些信息。主要看请求的。
分析得知，在代码里我们要发送请求需要填写哪些内容并注意事项了。代码如下，参考别人的，后面会说明。
public static string GetContent(string method, string url, string postData = "", CookieContainer cookie = null) { HttpWebResponse response = null; HttpWebRequest request = null; if (cookie == null) cookie = new CookieContainer(); // 准备请求... try { // 设置参数 request = WebRequest.Create(url) as HttpWebRequest; request.CookieContainer = cookie; request.AllowAutoRedirect = true; request.Method = method.ToUpper(); request.ContentType = "application/json, text/javascript, */*; q=0.01"; string userAgent = string.Format("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36)");//这个根据电脑不同而改变 request.UserAgent = userAgent; if (method.ToUpper() == "POST") { request.ContentLength = postData.Length; if (!string.IsNullOrEmpty(postData)) { byte[] data = Encoding.Default.GetBytes(postData); request.ContentLength = data.Length; using (Stream outstream = request.GetRequestStream()) { outstream.Write(data, 0, data.Length); } } } //发送请求并获取相应回应数据 response = request.GetResponse() as HttpWebResponse; //直到request.GetResponse()程序才开始向目标网页发送Post请求 using (Stream instream = response.GetResponseStream()) { using (StreamReader sr = new StreamReader(instream, Encoding.Default)) { //返回结果网页（html）代码 string content = sr.ReadToEnd(); return UnicodeToGB(content); } } } catch (Exception ex) { string err = ex.Message; return err; } finally { if (response != null) response.Close(); } }
参考：http://www.cnblogs.com/shoufengwei/p/5654491.html
请求方法是有了，但是返回的数据好像不是汉字哦，是Unicode编码过的数据，于是有了转码这一步
public static string UnicodeToGB(string text) { System.Text.RegularExpressions.MatchCollection mc = System.Text.RegularExpressions.Regex.Matches(text, "\\\\u([\\w]{4})"); if (mc != null && mc.Count > 0) { foreach (System.Text.RegularExpressions.Match m2 in mc) { string v = m2.Value; string word = v.Substring(2); byte[] codes = new byte[2]; int code = Convert.ToInt32(word.Substring(0, 2), 16); int code2 = Convert.ToInt32(word.Substring(2), 16); codes[0] = (byte)code2; codes[1] = (byte)code; text = text.Replace(v, Encoding.Unicode.GetString(codes)); } } else { } return text; }
参考：http://www.cnblogs.com/guardianf/archive/2012/08/21/2649147.html
但是，但是数据是json，我要怎么获取其中的图片请求链接呢？我首先想到的事json转datatable 然后循环依次获得。想法没有错，但是怎么写，我又不会。只有网上找了，一搜真的不少，满怀喜悦之情，复制粘贴，运行，试了不少，不是这里报错，就是转化不成功，一下子失望透顶了。怎么办，怎么办。想到网上一些现成方法，应该只适合作者的项目，没有通用性，一下子就轻松多了。再找找看，说不定有的。
这里举一个报错的转化方法
/// <summary> /// json转换为DataTable /// </summary> /// <param name="json">需要转化的json格式字符串</param> /// <returns></returns> public DataTable updateInfo(string json) { System.Web.Script.Serialization.JavaScriptSerializer jss =new System.Web.Script.Serialization.JavaScriptSerializer(); object[] obj = (object[])jss.DeserializeObject(json); Dictionary<string, object> dic; DataRow dr; DataTable dt = getDataTable(); foreach (object _obj in obj) { dr = dt.NewRow(); dt.Rows.Add(dr); dic = (Dictionary<string, object>)_obj; dr["id"] = dic["id"]; dr["img_url"] = dic["img_url"]; dr["title"] = dic["title"]; } return dt; }
再次改造成功的json转换为DataTable
/// <summary> /// json转换为DataTable /// </summary> /// <param name="json">需要转化的json格式字符串</param> /// <returns></returns> public DataTable updateInfo(string json) { System.Web.Script.Serialization.JavaScriptSerializer jss = new System.Web.Script.Serialization.JavaScriptSerializer(); // KeyValuePair<string, object> obj = (KeyValuePair<string, object>)jss.DeserializeObject(json); var obj = (object)jss.DeserializeObject(json); System.Collections.Generic.Dictionary<string, object> xm = (System.Collections.Generic.Dictionary<string, object>)obj; DataTable dt = getDataTable(); DataRow dr; Dictionary<string, object> dic; object test=""; foreach (var x in xm) { if (x.Key == "info") { System.Collections.Generic.Dictionary<string, object> xm3 = (System.Collections.Generic.Dictionary<string, object>)x.Value; foreach (var y in xm3) { if (y.Key == "data") { var xml = (object [])y.Value; foreach (object _obj in xml) { dr = dt.NewRow(); dt.Rows.Add(dr); dic = (Dictionary<string, object>)_obj; dr["id"] = dic["id"]; dr["img_url"] = dic["img_url"]; dr["title"] = dic["title"]; } } } } } return dt; }
经历大半天寻找，实践运行总算有一个转化成功的了。
#region 将json转换为DataTable /// <summary> /// 将json转换为DataTable 参考 http://www.jb51.net/article/61990.htm /// </summary> /// <param name="strJson">得到的json</param> /// <returns></returns> private DataTable JsonToDataTable(string strJson) { //转换json格式 strJson = strJson.Replace(",\"", "*\"").Replace("\":", "\"#").ToString(); //取出表名 var rg = new Regex(@"(?<={)[^:]+(?=:\[)", RegexOptions.IgnoreCase); string strName = rg.Match(strJson).Value; DataTable tb = null; //去除表名 strJson = strJson.Substring(strJson.IndexOf("[") + 1); strJson = strJson.Substring(0, strJson.IndexOf("]")); //获取数据 rg = new Regex(@"(?<={)[^}]+(?=})"); MatchCollection mc = rg.Matches(strJson); for (int i = 0; i < mc.Count; i++) { string strRow = mc[i].Value; string[] strRows = strRow.Split('*'); //创建表 if (tb == null) { tb = new DataTable(); tb.TableName = strName; foreach (string str in strRows) { var dc = new DataColumn(); string[] strCell = str.Split('#'); if (strCell[0].Substring(0, 1) == "\"") { int a = strCell[0].Length; dc.ColumnName = strCell[0].Substring(1, a - 2); } else { dc.ColumnName = strCell[0]; } tb.Columns.Add(dc); } tb.AcceptChanges(); } //增加内容 DataRow dr = tb.NewRow(); for (int r = 0; r < strRows.Length; r++) { dr[r] = strRows[r].Split('#')[1].Trim().Replace("，", ",").Replace("：", ":").Replace("\"", ""); } tb.Rows.Add(dr); tb.AcceptChanges(); } return tb; } #endregion
现在连接也有了，最后一般是下载了，我们来分析单个链接。
没有了cookie，我们只要一个一个链接请求下载就可以了。于是我有了两个方法，肯定不止这两个了。
方法一，模仿上面那个有cookie的
public void GetContent2(string url, string destFileName, string method) { HttpWebResponse response = null; HttpWebRequest request = null; try { // 设置参数 //request.Host = "183.60.137.147:80"; // request.Address[""] = new Uri(""); request = WebRequest.Create(url) as HttpWebRequest; request.AllowAutoRedirect = true; request.Host = "forumimg01.touchcdn.com"; request.Method = method.ToUpper(); request.Headers["Accept-Encoding"] = "gzip, deflate, sdch"; request.ContentType = "image/webp,image/*,*/*;q=0.8"; string userAgent = string.Format("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36)");//这个根据电脑不同而改变 request.UserAgent = userAgent; //发送请求并获取相应回应数据 response = request.GetResponse() as HttpWebResponse; //直到request.GetResponse()程序才开始向目标网页发送Post请求 using (Stream instream = response.GetResponseStream()) { //返回结果网页（html）代码 using (FileStream fileStream = new FileStream(destFileName, FileMode.Create)) { instream.CopyTo(fileStream);//stream 写入到fileStream中 } } } catch (Exception ex) { string err = ex.Message; } finally { if (response != null) response.Close(); } }
方法二，请求整个网页的
private void DownloadImage2(string objUrl, string destFileName) { // string destFileName = Path.Combine(destDir, Path.GetFileName(objUrl)); HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(objUrl); // 欺骗服务器判断URLReferer // request.Referer = "http://image.baidu.com"; using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) { if (response.StatusCode == HttpStatusCode.OK) { using (Stream stream = response.GetResponseStream()) { using (FileStream fileStream = new FileStream(destFileName, FileMode.Create)) { stream.CopyTo(fileStream);//stream 写入到fileStream中 } } } else { throw new Exception("下载" + objUrl + "失败，错误码：" + response.StatusCode); } } }
下载保存路径方法
private void DownloadImage(string id, string objUrl) { destDir = txtSavePath.Text.Trim(); if (string.IsNullOrEmpty(destDir)) { MessageBox.Show("请选择要保存的文件夹！"); return; } if (!destDir.EndsWith("\\")) { destDir += "\\"; } string destFileName = Path.Combine(destDir, Path.GetFileName(objUrl)); // string urlimg = objUrl + "?imageView/2/w/380/interface/1";这个下载下来是小图，所以不用它才是大图 DownloadImage2(objUrl, destFileName); // GetContent2(objUrl, destFileName, "GET"); }
点击开始执行
private void btnStart_Click(object sender, EventArgs e) { //1到20页 btnStart.Enabled = false; for(int i=0 ;i<20;i++){ getbasedata(i + 1); } }
调用请求方法
public void getbasedata(int num)//num是页码 { string url = string.Format("http://www.taqu.cn/ajax/Forum/getFindListByTab?tab_id=119&limit=10&score=1468547984&page={0}", num); string method = "GET"; DataTable dt = JsonToDataTable(GetContent(method, url)); if (dt.Rows.Count > 0) { foreach (DataRow dr in dt.Rows) { //string urlimg = dr["img_url"].ToString()+ "?imageView/2/w/380/interface/1"; DownloadImage(dr["id"].ToString(), dr["img_url"].ToString().Replace(@"\", ""));//这里@符号阻止转义 //因为json转化为datatable连接变成这样的了——http:\/\/forumimg01.touchcdn.com\/index\/3e637fe0142008158574c24a278d7804.jpg //正确的是——http://forumimg01.touchcdn.com/index/3e637fe0142008158574c24a278d7804.jpg 所以需要替换 } } }
忘了 这个全局的变量 private string destDir; // 目标文件夹
运行的效果
主要和关键代码都放上来了。
窗体代码去这里下载 博客最底端 http://www.cnblogs.com/edisonchou/p/4175190.html
能想到的，都写上了，其实还可以更完善，比如加上IP代理，，一些数据保存到数据库，不过这个工程太大了。这也不是我要写这篇文章的目的，我只要这些图片，这些乐趣。
原来认真做一件事，真的可以获得意想不到的的乐趣，也打开了自己兴趣之门。
原来我也可以做到，不要临渊羡鱼，自己动手一干！
参考：
http://www.cnblogs.com/edisonchou/p/4175190.html
http://www.cnblogs.com/haigege/p/5492177.html
