摘要：主要为了学习一下相关的网络蜘蛛，为自己获取信息使用背景 随着Internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。 所谓Internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式。 信息量的增加会带来... 阅读全文

摘要：网页自动登录（提交Post内容）的用途很多，如验证身份、程序升级、网络投票等，以下是用C#实现的方法。 网页自动登录和提交POST信息的核心就是分析网页的源代码（HTML），在C#中，可以用来提取网页HTML的组件比较多，常用的用WebBrowser、WebClient、HttpWebRequest这三个。以下就分别用这三种方法来实现： 1、WebBrowser是个"迷你"浏览器，其特点是Post... 阅读全文

摘要：usingSystem;usingSystem.Data;usingSystem.Configuration;usingSystem.Web;usingSystem.Web.Security;usingSystem.Web.UI;usingSystem.Web.UI.WebControls;usingSystem.Web.UI.WebControls.WebParts;usingSystem.We... 阅读全文

摘要：说一下我对HTML防采集却不防搜索引擎蜘蛛的一些经验： 我开发过几个采集程序，也研究过很多采集程序代码，所以对采集程序的原理还算是稍微有些了解。 先说一下采集原理： 采集程序的主要步骤如下： 一、获取被采集的页面的内容 二、从获取代码中提取所有用的数据 一、获取被采集的页面的内容 我目前所掌握的ASP常用获取被采集的页面的内容方法： 1、用serverXMLHTTP组件获取数据 Function ... 阅读全文

摘要：方法如下：step1：use HttpWebRequest class to request,and use HttpWebResponse get the response.if you read the response, you can get the information including what did in the Page_load function.step2: if you... 阅读全文

摘要：利用WebClient, HttpWebRequest向某址POST数据，这个都很方便，都有的网站需要保持SESSION才能进行下一步想要的操作。保持SESSION，关键在于如何保持住Cookie不变。代码如下： CookieContainer cookie; private void button1_Click(object sender, System.EventArgs e) { HttpW... 阅读全文

摘要：这里涉及到3个页面：MyLogin.aspx，LoginOK.htm，Default.aspx： 1）MyLogin.aspx 页面 MyLogin.aspx 页面是登录页面，如果用户名和密码正确会生成 Session 和 Cookie（LoginSession、LoginCookie），然后转向 LoginOK.htm 页面。 2）LoginOK.htm 页面 LoginOK.htm 页面... 阅读全文

摘要：通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。 　　为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么我们的思路就是： 　　1、发送HttpRequest请求。 　　2、接收HttpResponse... 阅读全文

摘要：public partial class Form1 : Form { Thread newth; public Form1() { InitializeComponent(); } private void buttonGo_Click(object sender, EventArgs e) { CheckForIllegalCrossThreadCalls = false; //简单异步线程控... 阅读全文