web爬行器的准备工作

非常幸运毕设的题目是《web爬行器的设计与实现》，有机会接触搜索引擎的相关知识，希望大家多指点，这两周主要看了些论文，两篇中文的，几篇英文的看不过来啊，有这几篇文章：
中文的有：
《基于JAVA技术的搜索引擎的研究与实现》
《搜索引擎系统学习与开发实践总结》
英文的有：
《Effective Web Crawling》这个比较全
《Design and implementation of a high-performance distributed web crawler》
《SPHINX A Framework for Creating Personal, Site-Specific Web Crawlers》
《The Anatomy of a Large-Scale Hypertextual Web Search Engine》google创始人写的，每篇文章都有引用的
《mercator》

那位有好资料的，希望能给俺一份，多谢了，
还找了四个.NET平台的蜘蛛源码，挺不错的。