当采集中的url包含%2F时

请的一次信息抓取的时候,URI中包含%2F,但在URI虽包含的%2F的都转成/,如web.com/%2F 显示的是web//,导致地址出错。有时候如worda%2Fwordb,代表一个关键词,而转换后worda/wordb,成目录了,2次编码也能解决,,很显然,URI把地址给转换或者说是标准化了,但有时候却不对,具说之方法是作者在stackoverflow中找到解方法的。

解决方法:

static void ForceCanonicalPathAndQuery(Uri uri)

{

string paq = uri.PathAndQuery; // need to access PathAndQuery

FieldInfo flagsFieldInfo = typeof(Uri).GetField("m_Flags", BindingFlags.Instance | BindingFlags.NonPublic);

ulong flags = (ulong)flagsFieldInfo.GetValue(uri);

flags &= ~((ulong)0x30); // Flags.PathNotCanonical|Flags.QueryNotCanonical

flagsFieldInfo.SetValue(uri, flags);

}

调试:

Uri uri = new Uri("xxx.com/%2F");
ForceCanonicalPathAndQuery(uri);

 

希望有其它方法...

posted @ 2012-02-23 17:47  rock.dean  阅读(29148)  评论(1编辑  收藏  举报