Pipeline集成运行测试情况
Pipeline集成运行测试报告
开发团队：TeamSHIT
1 测试数据集
为了检验Pipeline Alpha版的开发效果，测试其集成运行情况，我们团队和两个负责开发Crawler的小组协商，制定了一份测试数据集，涵盖问答类网页、文献检索类网页、科普类网页、中英文网页，基本满足Pipeline的测试需求。
该数据集具体包括1个百度知道问答网页、3个计算机领域的文献检索网页、4个百度百科科普网页、4个博客园博问问答网页以及5个伯克利大学相关网页。
Figure 1 Pipeline的主界面以及测试数据集
2 测试情况
本次测试共发现bug4个，其中解决两个，另两个问题Alpha没有在根本上解决，留到Beta版本解决。
3 功能测试
3.1 爬虫文件夹设置问题
测试集：数据存放的文件夹
负责去噪的连昭鹏同学在设计时把爬虫爬取的文件夹存放在F盘根目录下，Pipeline引用这个绝对路径实现对文件的操作(bug1)，但是我觉得这不利于项目集成，而且过多地对用户提要求也不是一种可取的软件开发态度。因此我把这个文件夹放在Pipeline项目工程文件夹里，用相对路径实现对内部文件的操作。
3.2 网页编码问题
测试集：各类网页各1份。测试效果如下：
Figure 2 百度知道网页的去噪结果
Figure 3 文献检索网页的去噪结果
Figure 4 百度百科网页的去噪结果
Figure 5 博客园博问的去噪结果
Figure 6 Berkeley相关网页的去噪结果
可以看到部分网页的去噪效果良好，部分网页的去噪结果直接为空。于是我查看了一下博客园网页的Raw Data，发现它的中文部分出现的都是乱码，出现同样问题的文献检索网页的Raw Data也是同样问题。
Figure 7 博客园博问网页的Raw Data
出现乱码问题是因为在一开始设计时，我们对网页的处理方法是按C#默认的编码方式读写源文件，而网页的普遍编码方式不唯一，因此指定一种编码只能正确处理一部分网页，另一部分的结果变成乱码(bug2)。
解决方法：我们一开始想实现一个编码转换，但是有组员发现如果编码不匹配则Denoising的值一定为空这个特点，我们可以依次按不同的编码分析源文件，如果得到的结果为空则换一种编码分析。目前分析的编码有ANSI、UTF-8，这两种编码已经能正确处理数据集里的五种网页类型，现在的绝大部分网页用上述两种编码也都能解析。
Figure 8 考虑两种编码方式
Figure 9 正确的博客园博问去噪结果
3.3 信息抽取问题
李斌是借助正则表达式匹配实现信息抽取。这种方法对于文本组织形式比较单一的网页效果不错，因为我们可以抽象出一种比较固定的格式完成匹配。然而事实上我们处理的网页类型比较丰富，使用正则表达式必须分析每一种网页才能完成信息抽取，这对于以后系统的扩充性是极为不利的(bug3)。
在Alpha版本中，由于正则表达式实现简单且在处理某一类网页时的效果不错，我们还是选择了用它做信息抽取工作，选定的网页源为博客园的博问。
Figure 10 博问的文本组织形式
可以看到，在一个博问中，问题部分的内容在“[待解决问题]”和“提问于XXXX”之间，而回答部分的内容紧接着“所有回答”。
Figure 11 提取的QA对
针对扩充性这个问题，我们并没有提出一种更好的信息抽取方法解决这个bug，这个问题争取在下一个版本中解决它。
3.4 Final Data存储问题
与数据库的连接部分由隋宇豪负责。数据库使用SQL Server 2008，数据存储功能已实现。
Figure 12 Essay表
所存在的较大问题是每次存入一行数据都要开关一次数据库，对于长时间连续存入的情况，效率显得低下(bug4)。
Figure 13 每次存入一行数据都要调用Connection
第二，数据格式经过几次修改，但还是存在不完善的地方。比如Essay表中只有摘要列，虽然因为版权等一些问题不太合适将整个论文保存下来，但是可以考虑在表中加入链接列，用来给出论文的一个URL。
第三，算法没有判断数据库内是否存在相同数据。
我们会再详细讨论出现的各种问题，并罗列出来，并争取将其在BETA版中一一改进。
4 信息数据库
任务：10K webpages In DB。
截至到截图时共4194个QA对。
