这不算爬虫吧？！

 ------------------------------------------------------------------------------------------------------------------

因程序需要，需要拿到一个粤语词典（需要找到任一个汉字的粤语拼音），但是在网上找来找去都没有找到现有的词典。

走投无路下，只能对现有粤语词典网站进行知识“掠夺”：），拿到一个对应表。

于是，码了以下代码：

using System;
using System.Text;
using System.Net;
using System.IO;
using System.Threading;

namespace Yueyu_Dic_Crawler
{
    class Program
    {
        static void Main(string[] args)
        {
            string[] array = { "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F" };
            {
                //建立文件，准备输入
                FileStream fs = new FileStream(@"C:\Users\Lian\Desktop\Dic\Dictionary.txt", FileMode.Create);
                StreamWriter sw = new StreamWriter(fs);

                //由于此网站URL的特殊性，不用实现真正意义上的爬虫就可以获取信息
                //只需要更改URL中间的4位就可以遍历60000+汉字的信息
                for (int apple=0;apple<16;apple++)
                    for (int pear = 0; pear < 16; pear++)
                        for (int orange = 0; orange < 16; orange++)
                            for (int peach = 0; peach < 16; peach++)
                            {
                                //没有这个sleep，就要被网站服务器的防护机制给弄炸了:（
                                Thread.Sleep(100);

                                //从0000到FFFF：）
                                string url = "http://www.yueyv.cn/?keyword=%" + array[apple] + array[pear] + "%" + array[orange] + array[peach] + "&submit=%B2%E9+%D1%AF";

                                //Request AND Response
                                HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
                                request.Method = "GET";
                                HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                                //使用StreamReader读取html源代码
                                StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

                                //经观察，第370行存储汉字，第394行存储粤语拼音
                                string hanzi_line;
                                for (int z = 0; z < 369; z++, reader.ReadLine()) ;
                                hanzi_line = reader.ReadLine();
                                string yuepin_line;
                                for (int z = 0; z < 23; z++, reader.ReadLine()) ;
                                yuepin_line = reader.ReadLine();

                                //写入文件
                                sw.Write(hanzi_line + "\t" + yuepin_line + "\r\n");
                                Console.WriteLine(hanzi_line + "\t" + yuepin_line);

                                /*@@@@@@!!!!!!@@@@@@!!!!!!@@@@@@!!!!!!@@@@@@*/

                                //如果不关闭HttpWebResponse，在请求两次后，就收不到回音了= =
                                //应该算是C#的特点吧，很关键，花费了很长很长时间。
                                response.Close();
                            }
                //清空缓冲区
                sw.Flush();
                //关闭流
                sw.Close();
                fs.Close();
            }
        }
    }
}

其实，中间还有一些小细节，比如：

1、实际上只有一部分组合存储着信息，如8000-8FFF的组合中，其实只有8140-8FFE有信息（感谢partner）；

2、大约将0000-FFFF分成了10块，分了10次才爬下来，因为即使sleep，服务器的防护机制有时间也能把你拦住；

3、没有使用正则表达式，就是用excel简单处理了一下结果：）以后肯定要使用正则表达式：）

4、多音字，只收录了它的第一次读音：）

 

从昨天中午有这个想法，到今天晚上实现，感触最深的有两点：

一是，这个时代学习东西太方便了，知识的交互太便捷了！

二是，互联网上存储着多少知识和财富啊！！！！！！！！

 

过几天把这个粤语词典放网上：）应该不犯法吧。。。

 

                                                                                                                              小Lian

                                                                                                                          2017/4/15凌晨