学习S5
目录视图
摘要视图
订阅关闭
此文章假设读者已经熟悉在.NET下通过HttpWebRequest/WebClient来操作网页，
但是由于学艺不精或经验不够丰富，仍有很多困惑和疑问?
那么下面就通过一系列演示来解决其中一些问题。
废话不多，先列举一些HTTP/HTTPS操作过程经常遇到的问题：
1、HTTP协议头参数?
示例：
上图是浏览google时通过IE9.0开发者工具抓到的HTTP数据包，如图中所示，HTTP协议头
存在一些固定的键值对；很多人经常搞不清楚这些协议头到底是否必须要？是否必须和浏览器
提交时抓去到的一模一样去提交？
要回答这2个问题，一是需要对HTTP协议有一个简单了解，二是要根据具体应用进行分析；
如：Accept参数，细心一点就会发现请求页面时可能为 text/html 请求图片时就为image/jpeg
当然根据系统环境，还有Application/xml一类等。 那么你需要根据需求………
又比如：user-Agent参数，很明显里面包含的是系统类型与浏览器类型，假设你需要伪造！！
还有如：Accept-Encoding参数，如果大家在使用HttpWebRequest请求网页时也添加了如上图的 Accept-Encoding参数，那自己会很杯具的发现，请求回来的内容需要先gzip解压；该怎么做你应该知道了！！
类似上面提交的三种情况，我们需要的就是经验和灵活应用，作为开发者，我们的优势是可以换位
以一个开发者的角度来思考问题：比如我是否会通过Http Header中的Referer参数头来判断访问者
来路，是否允许它请求；
我的做法就是简单、简单、简单：
StringBuilder bulider = new StringBuilder();
bulider.AppendLine("POST /user/pass_request HTTP/1.1");
bulider.AppendLine("Host: www.*.com");
bulider.AppendLine("User-Agent: Mozilla/5.0 (Windows NT 6.1; IE 9.0)");
bulider.AppendLine("Accept: text");
bulider.AppendLine("Content-Type: application/x-www-form-urlencoded");
bulider.AppendLine(string.Format("Content-Length: {0}\r\n", Encoding.Default.GetBytes(strPost).Length));
bulider.Append(strPost);
需要补充的是Post操作时必须包含Content-Type: application/x-www-form-urlencoded参数；
2、HTTP与HTTPS的区别?
HTTPS相比HTTP是一种安全可靠的连接，打开一个HTTPS连接，我们会发现浏览器都会有相应的提示，
类似这样的，可以通过点击其图标查看安全状态和证书；
那么我们用HttpWebRequest操作HTTPS和HTTP时有什么区别或者不一定的地方呢?
其实大部分地方都是一样的，很多网站在服务器段并没有做非常严格的限制和配置,在做HTTPS操作时甚至不需要添加证书，但是如果遇到必须要使用证书的，那就需要指定HttpWebRequest的Credentials属性；
关于这一点就不详解了，有兴趣的可以关注下苏飞的文章http://www.cnblogs.com/sufei/archive/2011/10/22/2221289.html
另外关注HttpWebRequest操作HTTPS的文章网上也较多，大家可自行搜索！
3、Cookies问题?
HttpwebRequest好的一点是我们不需要去关注Cookies，.NET中提供了CookieContainer类来做 Cookies容器，很好的与HttpWebRequest结合，使得我们不必要自己去处理Cookies，当然一些涉及到修改Cookies内容的时候还是有必要的。
例如一年前我分析过拍拍网->财付通的跳转，它就在Cookies中存放了一个参数导致在跳转过程中不需要重新登录，而直接从HTTP页面访问至HTTPS；
下面在讲Socket操作时就需要特别关注下这个Cookies咯！
4、速度问题?
毫无疑问由于HTTP协议是基于TCP/IP的，而HttpWebRequest在封装过程中的一些处理或多或少的会影响到访问速度；至于影响多少，我在前段时间做一个国外网站操作的时候简单对比了下，HttpWebRequest和Socket原生操作的速度相差大概在5倍以上；
很多时候其实我们并不是很关注速度影响，但是实际应用过程中就会遇到有客户要求的飞速（当然不排除一些客户认为线程越多速度越快）。
简单谈了下以上4个问题，其实还很是很片面，鉴于个人表达能力有限，有些东西还需要大家在实践中去认识了解；下面就来着重看下通过Socket操作HTTP/HTTPS；
前面我们已经知道了简单的HTTP协议，也知道HTTP是基于TCP/IP协议的，对于有网络经验的同学，我们就可以直接写Socket提交HTTP协议，这一步相对比较简单，我们直接看一下代码就OK了：
static byte[] InternalSocketHttp(IPEndPoint endpoint,
HttpArgs args,
HttpMethod method)
{
using (Socket sK = new Socket(AddressFamily.InterNetwork,
SocketType.Stream,
ProtocolType.Tcp))
{
try
{
sK.Connect(endpoint);
if (sK.Connected)
{
byte[] buff = ParseHttpArgs(method, args);
if (sK.Send(buff) > 0)
{
return ParseResponse(endpoint,sK,args);
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
}
return null;
}
其中有2个比较重要的函数一个是ParseHttpArgs（）,另外一个是ParseResponse（）；
先看第一个函数：
static byte[] ParseHttpArgs(HttpMethod method, HttpArgs args)
{
StringBuilder bulider = new StringBuilder();
if (method.Equals(HttpMethod.POST))
{
bulider.AppendLine(string.Format("POST {0} HTTP/1.1",
args.Url));
bulider.AppendLine("Content-Type: application/x-www-form-urlencoded");
}
else
{
bulider.AppendLine(string.Format("GET {0} HTTP/1.1",
args.Url));
}
bulider.AppendLine(string.Format("Host: {0}",
args.Host));
bulider.AppendLine("User-Agent: Mozilla/5.0 (Windows NT 6.1; IE 9.0)");
if (!string.IsNullOrEmpty(args.Referer))
bulider.AppendLine(string.Format("Referer: {0}",
args.Referer));
bulider.AppendLine("Connection: keep-alive");
bulider.AppendLine(string.Format("Accept: {0}",
args.Accept));
bulider.AppendLine(string.Format("Cookie: {0}",
args.Cookie));
if (method.Equals(HttpMethod.POST))
{
bulider.AppendLine(string.Format("Content-Length: {0}\r\n",
Encoding.Default.GetBytes(args.Body).Length));
bulider.Append(args.Body);
}
else
{
bulider.Append("\r\n");
}
string header = bulider.ToString();
return Encoding.Default.GetBytes(header);
}
通过上面的代码，很清晰的我们就能看到ParseHttpArgs其实就是将HttpArgs的一些属性填充为HTTP协议，并返回其二进制内容用于Socket提交，其中值得注意的一点就是在HTTP协议头完毕后实际上需要一个空行，这一点有疑惑的同学请看HTTP协议详解：http://www.cnblogs.com/li0803/archive/2008/11/03/1324746.html
至于ParseResponse函数我们暂时先不讲解，其大致过程是先读取Socket ，读取出Http返回包的协议头，
然后根据不同的协议头进行下一步处理；
-----------------------到此为止，简单的利用Socket进行HTTP操作的例子已经有了，无非就是填充协议，提交数据，解析返回数据；
下面我们来了解下HTTP返回协议头：
HTTP/1.1 200 HTTP/1.1 404 大家都比较熟悉，一个是成功 一个是404无法访问，我们需要关注的是 HTTP/1.1 302 ，对于302的解释大家可以google下.
而我们的任务是需要处理302，在浏览器操作时遇到301 302之类的协议时，一般浏览器会自动帮我们进行跳转，而我们使用HttpWebRequest操作时也可以通过指定AllowAutoRedirect属性来响应重定向；
那么在Socket提交时，可就没有那么智能了，这时候就需要我们自己处理302，否则你会发现你请求的结果和你的预期不一样；
if (header.StartsWith("HTTP/1.1 302"))
{
int start = header
.ToUpper().IndexOf("LOCATION");
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
args.Url = sArry[0].Remove(0, 10);
return Get(endpoint, args, certificates); //注意：302协议需要重定向
}
}
上面这段代码时前面提到的ParseResponse函数的一部分，根据302协议描述，我们知道它有一个Location参数，这个参数内容就是需要重定向的地址，当我们判断到302操作时就需要重新提交；
这里有一个问题插播下：HTTP协议是一种短连接，而我们一般做网络通信做Socket操作时，大多数是长连接操作，那么这里我们遇到302 或者 发起一个请求，这个过程是也应该按照HTTP协议的要求进行短连接，即 连接服务器-> 发起一个HTTP请求->收到一个HTTP请求->断开服务器连接。（所以细心的同学就会发现之前的示例中的using语句以及此处的 Get(*，*，*)方法）
OK，简单的了解了302如何处理，还有重要的一点就是Cookies，很多同学都知道Cookies也是HTTP协议的一个参数，在用Socket提交时也需要指定Cookies，这一点很好理解，服务端会根据Cookies来判断页面跳转之间的状态，那么假设你需要你的提交能被服务端正确判断到，那你必须提交Cookies让服务端知道就是你；
知道了这一点，那我们一些同学在添加Cookies的时候就犯难了，抓包的时候发现Cookies里面类似SessionID的一段随机字符串不知道哪里来的，oh my god,我用浏览器浏览的时候会有这个值，那用Socket的时候怎么办呢，其实在.NET中有一个类SessionIDManager （System.Web.SessionState下）可以帮助我们，
sessionID = sessionIDManager.CreateSessionID(null);
bulider.AppendLine(string.Format("Cookie: Language=en-US;ASP.NET_SessionId={0}",
sessionID));
这下应该明白了吧；
说了这么多，我们还是来看下ParseResponse函数吧（注意：这只是一个简单示例，并不一定完全正确，不完善，请酌情使用）
private static byte[] ParseResponse(IPEndPoint endpoint,
Socket sK,
HttpArgs args)
{
//尝试10秒时间读取协议头
CancellationTokenSource source = new CancellationTokenSource();
Task<string> myTask = Task.Factory.StartNew<string>(
new Func<object, string>(ReadHeaderProcess),
sK,
source.Token);
if (myTask.Wait(10000))
{
string header = myTask.Result;
if (header.StartsWith("HTTP/1.1 302"))
{
int start = header
.ToUpper().IndexOf("LOCATION");
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
args.Url = sArry[0].Remove(0, 10);
return Get(endpoint, args); //注意：302协议需要重定向
}
}
else if (header.StartsWith("HTTP/1.1 200")) //继续读取内容
{
int start = header
.ToUpper().IndexOf("CONTENT-LENGTH");
int content_length = 0;
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
content_length = Convert.ToInt32(sArry[0].Split(':')[1]);
if (content_length > 0)
{
byte[] bytes = new byte[content_length];
if (sK.Receive(bytes) > 0)
{
return bytes;
}
}
}
else
{
//不存在Content-Length协议头
return ParseResponse(sK);
}
}
else
{
return Encoding.Default.GetBytes(header);
}
}
else
{
source.Cancel(); //超时的话，别忘记取消任务哦
}
return null;
}
解析下上面这段代码：
1）异步读取返回的协议头；设定超时时间！！！！！
2）解析协议头 ，200 / 302 /404 等！！！！
示例：
/// <summary>
/// 读取协议头
/// </summary>
/// <param name="args"></param>
/// <returns></returns>
static string ReadHeaderProcess(object args)
{
Socket sK = (Socket)args;
StringBuilder bulider = new StringBuilder();
while (true)
{
byte[] buff = new byte[1];
int read = sK.Receive(buff, SocketFlags.None);
if (read > 0)
{
bulider.Append((char)buff[0]);
}
string temp = bulider.ToString();
if (temp.Contains("\r\n\r\n"))
{
break;
}
}
return bulider.ToString();
}
3）根据不同返回类型做不同操作！！！！
在返回协议中没有判断到Content-Length参数时通过ParseResponse（sK）方法去解析内容，这里需要说明的是这个函数并不完全正确，通过循环读取 判断直到读取到</html> 就认为结束，所以很有可能产生死循环，其代码如下：
/// <summary>
/// 注意：此函数可能产生死循环
/// </summary>
/// <param name="ssl"></param>
/// <returns></returns>
static byte[] ParseResponse(Socket sK)
{
ArrayList array = new ArrayList();
StringBuilder bulider = new StringBuilder();
int length = 0;
while (true)
{
byte[] buff = new byte[1024];
int len = sK.Receive(buff);
if (len > 0)
{
length += len;
byte[] reads = new byte[len];
Array.Copy(buff, 0, reads, 0, len);
array.Add(reads);
bulider.Append(Encoding.Default.GetString(reads));
}
string temp = bulider.ToString();
if (temp.ToUpper().Contains("</HTML>"))
{
break;
}
}
byte[] bytes = new byte[length];
int index = 0;
for (int i = 0; i < array.Count; i++)
{
byte[] temp = (byte[])array[i];
Array.Copy(temp, 0, bytes,
index, temp.Length);
index += temp.Length;
}
return bytes;
}
OK,OK，又说了一大堆关于Socket操作HTTP的东东，其中提到了Cookies 提到了302 提到了HTTP协议，也基本对应与文章开头提到的几个问题；下面我们还要继续关注下Socket如何操作HTTPS;
其实使用Socket操作HTTPS时与HTTP还是有一些不同的，首先证书加载无疑，还有一点就是连接，一般HTTP服务器端口80，而HTTPS服务端口是443，
如果有人妄图通过Socket提交 适用HTTPS协议的加密数据的话，那我没话说，您牛！ 我这里需要讲解的是通过SslStream 加载证书来完成Socket下对HTTPS的操作；
来看下示例代码：
static byte[] InternalSslSocketHttp(IPEndPoint endpoint,
X509CertificateCollection certificates,
HttpArgs args,
HttpMethod method)
{
TcpClient tcp = new TcpClient();
try
{
tcp.Connect(endpoint);
if (tcp.Connected)
{
using (SslStream ssl = new SslStream(tcp.GetStream(),
false,
new RemoteCertificateValidationCallback(ValidateServerCertificate),
null))
{
ssl.AuthenticateAsClient("ServerName",
certificates,
SslProtocols.Tls,
false);
if (ssl.IsAuthenticated)
{
byte[] buff = ParseHttpArgs(method, args); //生成协议包
ssl.Write(buff);
ssl.Flush();
return ParseSslResponse(endpoint, ssl, args, certificates);
}
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
return null;
}
怎么样，是否是似曾相识，跟Socket操作HTTP时结构很相似唉~~ ，不同的是这里使用TcpClient,
这里有个参数是X509CertificateCollection ，
其实这一切都只为了SslStream，有了SslStream 我想大家也都明白了，剩下的事情是差不多的了。
提一点关于ValidateServerCertificate这个函数，有过证书操作经验的同学应该不陌生了，大部分情况下，验证客户端证书也好，服务端证书也好，我们经常是直接返回一个 true~~ （我不知道为啥， 但是我做上一个WCF应用的时候也是这样干的） 所以在有遇到证书检验的时候，大家不妨也直接来个return true试试先;
至于剩下的代码我就不详细说咯：贴一下我自己用到的HttpHelper，其中一些代码是刚写的，有错误的地方还请大家海涵，有需要的就直接copy下去，自己用的时候自己调试吧！
using System;
using System.Collections;
using System.Diagnostics;
using System.IO;
using System.Net;
using System.Net.Security;
using System.Net.Sockets;
using System.Security.Authentication;
using System.Security.Cryptography.X509Certificates;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
/************************************************************************/
/* Author:huliang
* Email:huliang@yahoo.cn
* QQ:12658501
* 说明：转载请注明出处
/************************************************************************/
namespace iGame
{
class HttpArgs
{
public string Url { get; set; }
public string Host { get; set; }
public string Accept { get; set; }
public string Referer { get; set; }
public string Cookie { get; set; }
public string Body { get; set; }
}
static class HttpHelper
{
/// <summary>
/// 提交方法
/// </summary>
enum HttpMethod
{
GET,
POST
}
#region HttpWebRequest & HttpWebResponse
/// <summary>
/// Get方法
/// </summary>
/// <param name="geturl">请求地址</param>
/// <param name="cookieser">Cookies存储器</param>
/// <returns>请求返回的Stream</returns>
public static string Get(string url,
CookieContainer cookies,
Encoding encoding)
{
return InternalHttp(HttpMethod.GET, url, null, cookies, encoding);
}
public static Stream Get(string url,
CookieContainer cookies)
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1;MSIE 6.0;)";
request.CookieContainer = cookies;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
return response.GetResponseStream();
}
/// <summary>
/// Post方法
/// </summary>
/// <param name="posturl">请求地址</param>
/// <param name="bytes">Post数据</param>
/// <param name="cookieser">Cllkies存储器</param>
/// <returns>请求返回的流</returns>
public static string Post(string url,
byte[] bytes,
CookieContainer cookies,
Encoding encoding)
{
return InternalHttp(HttpMethod.POST, url, bytes, cookies, encoding);
}
/// <summary>
/// Http操作
/// </summary>
/// <param name="method">请求方式</param>
/// <param name="url">请求地址</param>
/// <param name="bytes">提交数据</param>
/// <param name="cookieser">Cookies存储器</param>
/// <returns>请求结果</returns>
static string InternalHttp(HttpMethod method,
string url,
byte[] bytes,
CookieContainer cookies,
Encoding encoding)
{
if (string.IsNullOrEmpty(url))
throw new ArgumentNullException("访问url不能为空");
if (method == HttpMethod.POST)
{
if (bytes == null)
throw new ArgumentNullException("提交的post数据不能为空");
}
if (cookies == null)
throw new ArgumentNullException("Cookies存储器不能为空");
try
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = method.ToString();
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1;MSIE 9.0;)";
request.CookieContainer = cookies;
if (method == HttpMethod.POST)
{
request.ContentType = "application/x-www-form-urlencoded";
request.ContentLength = bytes.Length;
using (Stream stream = request.GetRequestStream())
{
stream.Write(bytes, 0, bytes.Length);
stream.Flush();
stream.Close();
}
}
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
if (response.StatusCode == HttpStatusCode.OK)
{
using (StreamReader reader = new StreamReader(response.GetResponseStream(), encoding))
{
return reader.ReadToEnd();
}
}
}
catch (Exception ex)
{
Debug.WriteLine(ex.Message);
}
return null;
}
#endregion
#region Ssl Socket
static bool ValidateServerCertificate(
object sender,
X509Certificate certificate,
X509Chain chain,
SslPolicyErrors sslPolicyErrors)
{
/*
if (sslPolicyErrors == SslPolicyErrors.None)
return true;
Console.WriteLine("Certificate error: {0}", sslPolicyErrors);
return false;
*/
return true;
}
public static byte[] Get(IPEndPoint endpoint, HttpArgs args, X509CertificateCollection certificates)
{
return InternalSslSocketHttp(endpoint, certificates, args, HttpMethod.GET);
}
public static byte[] Post(IPEndPoint endpoint,
HttpArgs args,
X509CertificateCollection certificates)
{
return InternalSslSocketHttp(endpoint, certificates, args, HttpMethod.POST);
}
static byte[] InternalSslSocketHttp(IPEndPoint endpoint,
X509CertificateCollection certificates,
HttpArgs args,
HttpMethod method)
{
TcpClient tcp = new TcpClient();
try
{
tcp.Connect(endpoint);
if (tcp.Connected)
{
using (SslStream ssl = new SslStream(tcp.GetStream(),
false,
new RemoteCertificateValidationCallback(ValidateServerCertificate),
null))
{
ssl.AuthenticateAsClient("ServerName",
certificates,
SslProtocols.Tls,
false);
if (ssl.IsAuthenticated)
{
byte[] buff = ParseHttpArgs(method, args); //生成协议包
ssl.Write(buff);
ssl.Flush();
return ParseSslResponse(endpoint, ssl, args, certificates);
}
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
return null;
}
/// <summary>
/// 解析 Ssl Response
/// </summary>
/// <param name="endpoint"></param>
/// <param name="ssl"></param>
/// <param name="args"></param>
/// <param name="certificates"></param>
/// <returns></returns>
private static byte[] ParseSslResponse(IPEndPoint endpoint,
SslStream ssl,
HttpArgs args,
X509CertificateCollection certificates)
{
//尝试10秒时间读取协议头
CancellationTokenSource source = new CancellationTokenSource();
Task<string> myTask = Task.Factory.StartNew<string>(
new Func<object, string>(ReadSslHeaderProcess),
ssl,
source.Token);
if (myTask.Wait(10000))
{
string header = myTask.Result;
if (header.StartsWith("HTTP/1.1 302"))
{
int start = header
.ToUpper().IndexOf("LOCATION");
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
args.Url = sArry[0].Remove(0, 10);
return Get(endpoint, args, certificates); //注意：302协议需要重定向
}
}
else if (header.StartsWith("HTTP/1.1 200")) //继续读取内容
{
int start = header
.ToUpper().IndexOf("CONTENT-LENGTH");
int content_length = 0;
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
content_length = Convert.ToInt32(sArry[0].Split(':')[1]);
if (content_length > 0)
{
byte[] bytes = new byte[content_length];
if (ssl.Read(bytes, 0, bytes.Length) > 0)
{
return bytes;
}
}
}
else
{
//不存在Content-Length协议头
return ParseSslResponse(ssl);
}
}
else
{
return Encoding.Default.GetBytes(header);
}
}
else
{
source.Cancel(); //超时的话，别忘记取消任务哦
}
return null;
}
/// <summary>
/// 读取协议头
/// </summary>
/// <param name="args"></param>
/// <returns></returns>
static string ReadSslHeaderProcess(object args)
{
SslStream ssl = (SslStream)args;
StringBuilder bulider = new StringBuilder();
while (true)
{
int read = ssl.ReadByte();
if (read != -1)
{
byte b = (byte)read;
bulider.Append((char)b);
}
string temp = bulider.ToString();
if (temp.Contains("\r\n\r\n"))
{
break;
}
}
return bulider.ToString();
}
/// <summary>
/// 注意：此函数可能产生死循环
/// </summary>
/// <param name="ssl"></param>
/// <returns></returns>
static byte[] ParseSslResponse(SslStream ssl)
{
//没有指定协议头，尝试读取至</html>
ArrayList array = new ArrayList();
StringBuilder bulider = new StringBuilder();
int length = 0;
while (true)
{
byte[] buff = new byte[1024];
int len = ssl.Read(buff, 0, buff.Length);
if (len > 0)
{
length += len;
byte[] reads = new byte[len];
Array.Copy(buff, 0, reads, 0, len);
array.Add(reads);
bulider.Append(Encoding.Default.GetString(reads));
}
string temp = bulider.ToString();
if (temp.ToUpper().Contains("</HTML>"))
{
break;
}
}
byte[] bytes = new byte[length];
int index = 0;
for (int i = 0; i < array.Count; i++)
{
byte[] temp = (byte[])array[i];
Array.Copy(temp, 0, bytes,
index, temp.Length);
index += temp.Length;
}
return bytes;
}
#endregion
#region Socket
public static byte[] Get(IPEndPoint endpoint,
HttpArgs args)
{
return InternalSocketHttp(endpoint, args, HttpMethod.GET);
}
public static byte[] Post(IPEndPoint endpoint,
HttpArgs args)
{
return InternalSocketHttp(endpoint, args, HttpMethod.POST);
}
static byte[] InternalSocketHttp(IPEndPoint endpoint,
HttpArgs args,
HttpMethod method)
{
using (Socket sK = new Socket(AddressFamily.InterNetwork,
SocketType.Stream,
ProtocolType.Tcp))
{
try
{
sK.Connect(endpoint);
if (sK.Connected)
{
byte[] buff = ParseHttpArgs(method, args);
if (sK.Send(buff) > 0)
{
return ParseResponse(endpoint,sK,args);
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
}
return null;
}
private static byte[] ParseResponse(IPEndPoint endpoint,
Socket sK,
HttpArgs args)
{
//尝试10秒时间读取协议头
CancellationTokenSource source = new CancellationTokenSource();
Task<string> myTask = Task.Factory.StartNew<string>(
new Func<object, string>(ReadHeaderProcess),
sK,
source.Token);
if (myTask.Wait(10000))
{
string header = myTask.Result;
if (header.StartsWith("HTTP/1.1 302"))
{
int start = header
.ToUpper().IndexOf("LOCATION");
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
args.Url = sArry[0].Remove(0, 10);
return Get(endpoint, args); //注意：302协议需要重定向
}
}
else if (header.StartsWith("HTTP/1.1 200")) //继续读取内容
{
int start = header
.ToUpper().IndexOf("CONTENT-LENGTH");
int content_length = 0;
if (start > 0)
{
string temp = header.Substring(start, header.Length - start);
string[] sArry = Regex.Split(temp, "\r\n");
content_length = Convert.ToInt32(sArry[0].Split(':')[1]);
if (content_length > 0)
{
byte[] bytes = new byte[content_length];
if (sK.Receive(bytes) > 0)
{
return bytes;
}
}
}
else
{
//不存在Content-Length协议头
return ParseResponse(sK);
}
}
else
{
return Encoding.Default.GetBytes(header);
}
}
else
{
source.Cancel(); //超时的话，别忘记取消任务哦
}
return null;
}
/// <summary>
/// 读取协议头
/// </summary>
/// <param name="args"></param>
/// <returns></returns>
static string ReadHeaderProcess(object args)
{
Socket sK = (Socket)args;
StringBuilder bulider = new StringBuilder();
while (true)
{
byte[] buff = new byte[1];
int read = sK.Receive(buff, SocketFlags.None);
if (read > 0)
{
bulider.Append((char)buff[0]);
}
string temp = bulider.ToString();
if (temp.Contains("\r\n\r\n"))
{
break;
}
}
return bulider.ToString();
}
/// <summary>
/// 注意：此函数可能产生死循环
/// </summary>
/// <param name="ssl"></param>
/// <returns></returns>
static byte[] ParseResponse(Socket sK)
{
ArrayList array = new ArrayList();
StringBuilder bulider = new StringBuilder();
int length = 0;
while (true)
{
byte[] buff = new byte[1024];
int len = sK.Receive(buff);
if (len > 0)
{
length += len;
byte[] reads = new byte[len];
Array.Copy(buff, 0, reads, 0, len);
array.Add(reads);
bulider.Append(Encoding.Default.GetString(reads));
}
string temp = bulider.ToString();
if (temp.ToUpper().Contains("</HTML>"))
{
break;
}
}
byte[] bytes = new byte[length];
int index = 0;
for (int i = 0; i < array.Count; i++)
{
byte[] temp = (byte[])array[i];
Array.Copy(temp, 0, bytes,
index, temp.Length);
index += temp.Length;
}
return bytes;
}
#endregion
#region Helper
static byte[] ParseHttpArgs(HttpMethod method, HttpArgs args)
{
StringBuilder bulider = new StringBuilder();
if (method.Equals(HttpMethod.POST))
{
bulider.AppendLine(string.Format("POST {0} HTTP/1.1",
args.Url));
bulider.AppendLine("Content-Type: application/x-www-form-urlencoded");
}
else
{
bulider.AppendLine(string.Format("GET {0} HTTP/1.1",
args.Url));
}
bulider.AppendLine(string.Format("Host: {0}",
args.Host));
bulider.AppendLine("User-Agent: Mozilla/5.0 (Windows NT 6.1; IE 9.0)");
if (!string.IsNullOrEmpty(args.Referer))
bulider.AppendLine(string.Format("Referer: {0}",
args.Referer));
bulider.AppendLine("Connection: keep-alive");
bulider.AppendLine(string.Format("Accept: {0}",
args.Accept));
bulider.AppendLine(string.Format("Cookie: {0}",
args.Cookie));
if (method.Equals(HttpMethod.POST))
{
bulider.AppendLine(string.Format("Content-Length: {0}\r\n",
Encoding.Default.GetBytes(args.Body).Length));
bulider.Append(args.Body);
}
else
{
bulider.Append("\r\n");
}
string header = bulider.ToString();
return Encoding.Default.GetBytes(header);
}
#endregion
}
}
- 顶
- 0
- 踩
- 0
- 上一篇获取本机所有的ADSL连接名称
- 下一篇C#正则表达式匹配任意字符
- 猜你在找
查看评论
- 1楼 xuxubaby 2013-11-18 16:55发表 [回复]
- 文章很好，谢分享。
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
核心技术类目
全部主题 Hadoop AWS 移动游戏 Java Android iOS Swift 智能硬件 Docker OpenStackVPN Spark ERP IE10 Eclipse CRM JavaScript 数据库 Ubuntu NFC WAP jQueryBI HTML5 Spring Apache .NET API HTML SDK IIS Fedora XML LBS UnitySplashtop UML components Windows Mobile Rails QEMU KDE Cassandra CloudStack FTCcoremail OPhone CouchBase 云计算 iOS6 Rackspace Web App SpringSide MaemoCompuware 大数据 aptech Perl Tornado Ruby Hibernate ThinkPHP HBase Pure SolrAngular Cloud Foundry Redis Scala Django Bootstrap
- 文章搜索
- 文章分类
- 阅读排行
- 利用Fiddler 可以抓取HTTPS(35117)
- LAN MAC WAN MAC 和 WLAN MAC的关系(9518)
- c#实现建立拨号连接-PPOE,VPN(异步方式)(6403)
- NNND,杯具了,VB的MD5模块!!(6218)
- C#正则表达式匹配任意字符(5687)
- 关于sqlite的特殊字符转义及通配符(5437)
- 通过Socket进行HttP/HTTPS网页操作(5390)
- 常见SSL证书格式转换(4562)
- VB下载网页文件或图片的几种简易方法(3451)
- c#给用户控件添加事件处理程序(3371)
- 评论排行
- DELPHI 跨进程获取其他程序的DBGrid内容(5)
- 获取本机所有的ADSL连接名称(3)
- 关于sqlite的特殊字符转义及通配符(3)
- 解决方案"System.InvalidOperationException: 配置有 NoSecurityChanges 标志的 AppDomainManager 修改了 AppDomain 的安全状(2)
- VC6中操作excel和word冲突的解决方案(2)
- DOTRAS的断网要这么用(2)
- C#获取百度时间(1)
- 利用Fiddler 可以抓取HTTPS(1)
- 通过Socket进行HttP/HTTPS网页操作(1)
- NNND,杯具了,VB的MD5模块!!(1)
- 推荐文章
- 最新评论
- C#获取百度时间
淋湿的风: 不行。。。。。
- VC6中操作excel和word冲突的解决方案
qq_14901481: 我用的是VS2010，vc6是这样解决的，vs这样就不能解决了，是吗？
- VC6中操作excel和word冲突的解决方案
qq_14901481: 错误 94 error C3861: “InvokeHelper”: 找不到标识符 错误 87 er...
- DELPHI 跨进程获取其他程序的DBGrid内容
hnu_0720: 源代码不能下载啊,大神
- VB 获取 Internet Explorer_Server 里面的内容
KingOfPorcupine: 好谢谢了！！！！！ 抄回来 吃透再自己修改就能用了 多谢前辈
- 解决方案"System.InvalidOperationException: 配置有 NoSecurityChanges 标志的 AppDomainManager 修改了 AppDomain 的安全状
jyj545: 非常不错，我的也好了。感谢
- 利用Fiddler 可以抓取HTTPS
hgguoxl872388: 请问下面第3步是怎么操作的，那个PHP脚本从哪里打开的？操作录像该录像演示了下列操作：1.开启Fid...
- 获取本机所有的ADSL连接名称
wuxin52115288: string phoneBookPath = RasPhoneBook.GetPhoneBookPa...
- 获取本机所有的ADSL连接名称
wuxin52115288: 你好 我也是新用这个的 string phoneBookPath = RasPhoneBook....
- 关于sqlite的特殊字符转义及通配符
endstart: @rztyfx:不错，最后只能分开写了，可我觉得这样好傻，我是想把所有由‘a-z’开头的单词都查出来...
- 网站客服杂志客服微博客服webmaster@csdn.net400-600-2320|北京创新乐知信息技术有限公司 版权所有|江苏乐知网络技术有限公司 提供商务支持
- 京 ICP 证 09002463 号|Copyright © 1999-2014, CSDN.NET, All Rights Reserved
