python 抓取网上OJ试题

学校工作需要,需架设一台内网OJ服务器,采用了开源的hustoj.试题下载了hustoj的freeprblem的xml文件。导入时出现很多错误,不知什么原因。另外要将历年noip复赛试题加上去,但苦于历年noip的xml文件只有3、4个。cogs上有几乎全部的历年noip于是想到了用python+pyquery抓取后转化成xml。至于不选beautifulsoup而选pyquery是感觉pq语法接近jquery,使用起来比较方便,而且速度可能更快!

ver0.9已经完成,但是由于cogs的格式没有统一,自己经验不足,发现有很多错误,有待进一步改进!

ver1.0打算主要改正这些错误,尽量使得试题抓取无误。以后可以考虑数据抓取,导入问题

posted @ 2014-10-31 08:06  Mose  阅读(668)  评论(0编辑  收藏  举报