-
作业链接 结对第二次—文献摘要热词统计及进阶需求
-
队员
- 221500201_孙文慈 代码测试 上传程序到github仓库 文档编写 查阅资料 进度规划
- 226100125_刘杰 WordCount基础需求和进阶需求主要程序的编写 描述解题思路 设计实现过程 进度规划
-Github
-基础需求(https://github.com/swc221500201/PairProject1-C/)
-进阶需求(https://github.com/swc221500201/PairProject2-C/)
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | ||
| Estimate | 估计这个任务需要多少时间 | 1420 | |
| Development | 开发 | ||
| Analysis | 需求分析 (包括学习新技术) | 60 | 50 |
| Design Spec | 生成设计文档 | 100 | 200 |
| Design Review | 设计复审 | 60 | 80 |
| Coding Standard | 代码规范 (为目前的开发制定合适的规范) | 120 | 180 |
| Design | 具体设计 | 120 | 170 |
| Coding | 具体编码 | 660 | 720 |
| Code Review | 代码复审 | 60 | 120 |
| Test | 测试（自我测试，修改代码，提交修改） | 90 | 100 |
| Reporting | 报告 | ||
| Test Repor | 测试报告 | 60 | 90 |
| Size Measurement | 计算工作量 | 60 | 70 |
| Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 30 | 60 |
| 合计 | 1420 | 1840 |
解题思路
刚刚接触题目之后第一反应就是用c++的文件流操作来挨个读取和分隔单词，并且很快的写出了可以运行的源码，后续单词统计排序功能，自己手动写了一些程序，虽然实现了排序功能，不过在文本大小超过1M以上，速度就明显更不上了，在CSDN和博客园上学习了几篇相关的博客，发现用哈希表是个不错的选择，而C++的map容器又正好适合这个功能，内部的红黑树实现使得插入和排序速度快了不少，经过改进之后速度上有了很大提升。
实现过程
在考虑好实现基础功能和进阶需求之后：
- 针对基础需求：考虑到要尽量做到功能独立即"Core"模块化，于是按要求实现了三个主要函数以及一些辅助的bool判断函数来满足题目需求。因为功能比较简单所以可以在一个源文件中实现。
int countCharacter(string f);//f为要统计的文件路径 返回int类型的字符个数
int countLine(string f);//f为要统计的文件路径 返回int类型的行数
int countWords(string f);//f为要统计的文件路径 返回int类型的单词个数
void sortwordCount(string f, string resultTxt);//排序文件f单词并输出到文件 resultTxt
- 针对进阶需求：相比于基础功能，进阶功能要求多了命令行运行，以及词频统计，权重统计等进一步要求，所以总体上是在基础功能的函数之上重写了一些功能来满足。
void countWordsWithWeight(string f, string resultTxt, int w);//权重统计,f为要统计的文件路径
//w为权重选择 并输出到文件 resultTxt
void countGroupWordsWithLength(string f, string resultTxt, int n);//f为要统计的文件路径 并输出到文件 resultTxt ，n为用户自定义词组长度
.....
以下是使用命令行运行时的主要写法，即把argv[i]挨个判断并执行相关操作
for (int i = 0; i < argc; ++i) {
if (string(argv[i]) == "-i"){
}
else if(){
}
......
}
- 针对爬虫：爬虫原计划使用c++的类库实现，不过代码量实在巨大，后续改用java的jsoup爬取整个html文档，并生成可以修改的DOM文档，在DOM文档中使用正则匹配找到了每一篇论文的href超链接，之后对这个href链接挨个发送请求，从返回的文本中解析出.ptitle等我们需要的数据内容。总的来说不是很难，不过自己分析DOM文档结构的时候比较难找到规律，好在这个网站没有设置反爬虫的陷阱。而且不需要翻页等复杂操作。
改进思路
-
爬虫java
爬虫的爬取速度太慢，爬取全部900多条论文消息需要花费近一分钟，如果能够启用线程应该能大幅度提高速度，不过限制于时间没有实现。
-
基础功能
其实我觉得统计行数，统计单词，统计字符的三个功能可以集中于一个函数，这样可以在分析统计的时候节约两遍的读取时间。不过助教说了这是为了使功能独立。
-
进阶功能
进阶功能基于基础功能，所以还是觉得要改进的是基础功能。
代码说明
基础需求
//f:要进行字符统计的文件路径
//返回值 字符数
//c >= 0 && c <= 127 因为爬取的文件包含法语字符所以用c++的 isascii(c)判断会报错
int countCharacter(string f) {
int ascii = 0;
ifstream read;
read.open(f, ios::in);
char c;
while (!read.eof()) {
read >> c;
if (c >= 0 && c <= 127)
ascii++;
}
read.close();
return ascii;
}
//f:要进行统计的文件路径
//返回值 行数
//eachline.empty()划去空行
int countLine(string f) {
ifstream input(f, ios::in);
string eachline;
int line = 0;
while (getline(input, eachline))
{
if (!eachline.empty())
line++;
}
input.close();
return line;
}
//f:要进行统计的文件路径
//返回值 单词数
//里面的isword()为自定义的单词判断函数 自动过滤不符合题意单词
int countWords(string f) {
int wordNum = 0;
ifstream input;
input.open(f, ios::in);
string aline;
string content;
string::size_type start = 0;
string::size_type end = aline.find_first_of(" ");//空格作为单词分隔符
while (getline(input, aline))
{
//为了避免溢出，保存一个string对象size的最安全的方法就是使用标准库类型string：：size_type
string::size_type start = 0;
string::size_type end = aline.find_first_of(" ");//空格作为单词分隔符
while (end != string::npos) //npos就是这一行到头啦；
{
string content = aline.substr(start, end - start);
if (isword(content))//这个单词从未出现
wordNum++;
start = end + 1;
end = aline.find_first_of(" ", start);//空格作为单词分隔符
}
}
input.close();
return wordNum;
}
//f:要进行统计的文件路径
//返回值 无
//利用map容器来存储统计单词词频 multimap来实现单词字典顺序输
void sortwordCount(string f) {
ofstream out(resultTxt,ios::app);
ifstream input;
input.open(f, ios::in);
string eachline;
map<string, int> mapA; //第一个存单词,第二个存单词出现的次数;
while (getline(input, eachline))
{
//为了避免溢出，保存一个string对象size的最安全的方法就是使用标准库类型string：：size_type
string::size_type start = 0;
string::size_type end = eachline.find_first_of(" ");//空格作为单词分隔符
while (end != string::npos) //npos就是这一行到头啦；
{
string content = eachline.substr(start, end - start);
if (isword(content)) {
tolowerString(content);//把content内容转换为小写 便于输出和统计
//if (!isLetter(content[end])&&!isdigit(content[end]))
// content.erase(content.end());
map<string, int>::iterator it = mapA.find(content);
if (it == mapA.end())//这个单词从未出现
mapA.insert(pair<string, int>(content, 1));//赋值的时候只接受pair类型；
else
++it->second;//单词存在
}
start = end + 1;
end = eachline.find_first_of(" ", start);//空格作为单词分隔符
}
}
multimap<int, string, greater<int> > mapB;//按int排序的multimap
//转移mapA
for (map<string, int>::iterator it1 = mapA.begin(); it1 != mapA.end(); ++it1)
{
mapB.insert(pair<int, string>(it1->second, it1->first));
}
//界面输出前十
int i = 0;
for (map<int, string>::iterator it2 = mapB.begin(); i < 10&&it2!=mapB.end(); ++it2, ++i)
cout <<"<"<<it2->second <<">:"<< it2->first << endl;
//输出排序好的map
for (map<int, string>::iterator it2 = mapB.begin(); it2 != mapB.end(); ++it2)
{
// if ((it2->first) > 1)
out << "<" << it2->second << ">:" << it2->first << endl;
}
out.close();
input.close();
}
进阶需求
词频统计
//f:要进行统计的文件路径
//返回值 无
//实现方法与基础功能里差不多，区别在于过滤了title： 和abstract：
//为了简洁以下只显示关键段代码
void sortwordCount(string f) {
if (isAbstract(eachline.substr(start, end - start)) || isTitle(eachline.substr(start, end - start))) {
start = end + 1;
end = eachline.find_first_of(" ", start);//空格作为单词分隔符
}
}
//f:要进行统计的文件路径 w 是否开启权重统计 0关闭 1开启
//返回值 无
//实现方法与基础功能里差不多，区别在于增加了权重统计功能
void countWordsWithWeight(string f, int w) {
flag = isTitle(eachline.substr(start, end - start));
///不统计title和abstract
if (isAbstract(eachline.substr(start, end - start))||isTitle(eachline.substr(start, end - start))) {
start = end + 1;
end = eachline.find_first_of(" ", start);//空格作为单词分隔符
}
while (end != string::npos) //npos就是这一行到头啦；
{
string content = eachline.substr(start, end - start);
if (isword(content)) {
tolowerString(content);//把content内容转换为小写 便于输出和统计
map<string, int>::iterator it = mapA.find(content);
if (it == mapA.end())//这个单词从未出现
mapA.insert(pair<string, int>(content, 1));//赋值的时候只接受pair类型
else {
if (w == 0 || flag == false)
++it->second;//单词存在
else if (w == 1 && flag == true)
{
it->second+=10;//单词存在+= 10;
}
}
}
start = end + 1;
end = eachline.find_first_of(" ", start);//空格作为单词分隔符
}
}
}
//f:要进行统计的文件路径 n 用户自定义的词组长度
//返回值 无
//实现方法：从流里读取到第n个分隔符后截断
void countGroupWordsWithLength(string f,int n) {
while (getline(input, eachline))
{
//为了避免溢出，保存一个string对象size的最安全的方法就是使用标准库类型string：：size_type
string::size_type start = 0;
string::size_type end = eachline.find_first_of(" ");//空格作为单词分隔符
///不统计title和abstract
if (isAbstract(eachline.substr(start, end - start)) || isTitle(eachline.substr(start, end - start))) {
start = end + 1;
end = eachline.find_first_of(" ", start);//空格作为单词分隔符
}
content = eachline.substr(start, end-start);
for (i = 0; i < content.size() && cntNum < n; ++i) {
if (content[i]==' ')
cntNum++;
}
end = end + i;
}
爬取论文信息
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.Writer;
public class Spiter {
// TODO Auto-generated method stub
public static void main(String[] args) throws IOException {
Document doc=Jsoup.connect("http://openaccess.thecvf.com/CVPR2018.py").maxBodySize(0).get();
Elements listClass = doc.getElementsByAttributeValue("class", "ptitle");
Document paper;
int num=0;
File file=new File("spider.txt");
Writer out=new FileWriter(file);
try {
System.out.print("爬取开始\n");
for(Element element:listClass) {
String link = element.getElementsByTag("a").attr("href");
link="http://openaccess.thecvf.com/"+link;
paper=Jsoup.connect(link).get();
Element Etitle=paper.getElementById("papertitle");
Element Eabstr=paper.getElementById("abstract");
String abstr=Eabstr.text();
String title=Etitle.text();
out.write(num+"\r\n");
out.write("Title: "+title+"\r\n");
out.write("Abstract: "+abstr+"\r\n"); // \r\n即为换行
out.write("\r\n");
out.write("\r\n");
num++;
out.flush(); // 把缓存区内容压入文件
}
System.out.print("爬取结束");
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
out.close();
}
}
测试代码
File *input = fopen("input.txt","r");
File *ans = fopen("ans.txt","r");
String getAns,getInput;
while(!getline(getInput,input)){
getline(getAns,input);
if(!getAns.equal(getInput))
showMessage();
}
cout<<"success"<<endl;
困难
很久没有接触到文件的操作，对于c++的api比较生疏，重新熟悉的过程花了不少时间，另外在爬虫上也花了不少时间。例如Jsoup.connect（）函数会限定一个默认的1M大小，使得我爬取的数据只有500多条，然而其他队伍用python做出来的却有900多条，正当准备重写的时候，队友发现了这个问题，为我们节省了不少时间。以及后期需求不断变更，每次都要重新考虑。不过好在这次的配合默契了不少。
总结
通过这次作业，我们可以说重新学习了一遍c++，对相关知识有了更深入的理解和掌握。完成基础需求后发现时间还比较充裕，便去尝试写了一下进阶需求，在这个过程中接触了爬虫，开始时遇到了一些问题，好在队友间相互配合探讨，成功发现并解决了问题，使我们进一步体会到了合作的优势。
