Fzu软工第二次作业-词频分析
（0）前言：
（1）PSP表格：
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 30 | 40 |
| • Estimate | • 估计这个任务需要多少时间 | 30 | 40 |
| Development | 开发 | 1070 | 1300 |
| • Analysis | • 需求分析 (包括学习新技术) | 150 | 200 |
| • Design Spec | • 生成设计文档 | 50 | 60 |
| • Design Review | • 设计复审 | 30 | 20 |
| • Coding Standard | • 代码规范 (为目前的开发制定合适的规范) | 40 | 20 |
| • Design | • 具体设计 | 200 | 50 |
| • Coding | • 具体编码 | 360 | 330 |
| • Code Review | • 代码复审 | 40 | 360 |
| • Test | • 测试（自我测试，修改代码，提交修改） | 200 | 260 |
| Reporting | 报告 | 110 | 120 |
| • Test Repor | • 测试报告 | 50 | 60 |
| • Size Measurement | • 计算工作量 | 30 | 25 |
| • Postmortem & Process Improvement Plan | • 事后总结, 并提出过程改进计划 | 30 | 35 |
| 合计 | 1210 | 1460 |
（2）解题思路描述：
- 刚拿到题目后，我发现本题只是要求我们实现一个控制台程序，通过命令行参数传入一个文本后，将文本进行解析，分析出文本里的字符数，单词数，有效行数等内容。总体而已，这个程序的基本功能并不是很难。
-由于我对于java的学习比较浅显，现在已经忘的差不多了，所以我用了c++,思路有很多。编程其实并不难，同一个问题有多种实现方法，并且大问题很容易可以拆成小问题，分块解决。 - 例如这题我想了两个思路，一个是先把文件预处理，可以利用fread把文件读取成字符串，之后按照特定的分割符可以利用类似split函数，判断合法的单词，统计字符数。另一个思路是利用ifstream文件流读出txt文件的内容，之后用getline按行读出文件，并且vector存储单词，并且用map按字典序存储单词。
不过存在两个问题：
- 1.用map储存有一个问题，就是map只能按特定的key值存储单词，并不能在此基础上按单词出现的频率排序，因此我用multimap多重映射对单词再次排序,如此一来就可以按单词频率按字典序排序。
- 2.我以前没有用过通过命令行参数传入一个文件名，因此我学习了一下ifstream怎么读取输出文件。
（3）设计实现过程：
- 本项目我采用类进行接口封装，关于类的说明与接口的函数在stdafx.h文件里，关于接口的详细代码内容在stdafx.cpp文件里。
-对于本作业，主要我设计了两个类，一个类是Word类用于进行词频分析以及存储词频分析的结果.另一个类File是用于进行文件的异常测试。
Word类包含了5个函数：
Word();//用于初始化
int Countcharacters(char *argv);//用于统计字符数
int Countlines(char *argv);//用于统计空白行
int Countwords(char *argv);//用于统计单词数
vector<pair<string,int>> Counttop10(char *argv);//统计词频前十的单词
File类包含了2个函数：
File();//用于初始化
int FileTest(char *argv[]);//用于文件异常测试
模块分析：
- Countcharacters函数是用于统计字符数的，主要是根据题意，遍历一次文件里的字符串，判断字符是否是在0到127，属于Ascill码的范围。
- Countlines函数是用于统计空白行，在分析这个功能的时候，需要先理解什么是空白字符串，主要包括tab，空格跟回车三种，只要按行读取，判断该行内是否存在除这三者以外的字符，就可以判断是否是空白行。
- Countwords函数用于统计单词数，我主要是先通过大小写转化，把合法单词所可能用的字符大小写转化，之后用ans作为标记，判断是否存在开头为4个连续的字母的单词，若存在合法单词，则用map进行存储。
- Counttop10用于统计词频前十的单词，属于这次词频分析作业里的核心函数，同样是找出合法单词用map按字典序存储，多重映射的multimap,将key设为单词的词频，按词频进行字典序排序，由于map要求key值唯一，而multimap可以多重映射，因此我使用multimap进行排序，最后用vector和pair存储词频前十的单词。核心代码见(5)
（4）性能分析及改进：
测试文件input.txt内容：
vasdvs
bsbsdb.vasdvs
;casv[vdav/vv
vas.vsv+v
casvsa2000
casvsa1998
as*casvsa2001
123acasv;;;;;
12sav
vasdvs
vdv++
12sav;;fas
b
测试文件结果：
characters: 130
words: 9
lines: 13
<vasdvs>: 3
<bsbsdb>: 1
<casv>: 1
<casvsa1998>: 1
<casvsa2000>: 1
<casvsa2001>: 1
<vdav>: 1
-
我将这个文件循环测试了10000次，性能分析结果如图：
-
从图可以看出Countwords函数占了接近35%的时间，Counttop10占了快20%的时间，总耗时28s,由于我一开始是在执行Countwords过程中，顺便用map存储合法单词，由于题目要求是要三个独立的接口，因此我在调用Counttop10函数时是先执行了一次Countwords函数。因此我把两个进行拆分，做出改进。
-
改进后Countwords函数只用于统计单词个数，Counttop10则是先自行遍历一次文件，查找合法单词后，进行后续操作，改进后性能分析结果如图：
-
改进结果，时间减少了3s，Countwords占用时间大幅度减少。
（5）项目关键代码：
Counttop10函数：
vector<pair<string, int>> Word::Counttop10(char *argv)
{
//利用多重映射的multimap,将单词按词频字典序排序，之后用vector存储前十的单词
mapword.clear(); //先对原本的map初始化
map<string, int>::iterator iter; //迭代器
multimap<int, string> mapint;
multimap<int, string>::iterator iter2;
string name, word;
long ans, num, i, j, wordpos;
vector<pair<string, int>> top10;
ifstream Fileread; //读出文件
Fileread.open(argv, std::ios::in);
if (Fileread.fail()) //异常检测
{
printf("file isn't exist\n");
return top10;
}
while (!Fileread.eof())
{
getline(Fileread, name); //按行读取文件
ans = 0; wordpos = 0;
num = name.size();
for (i = 0; i<num; i++)
{
if (65 <= name[i] && name[i] <= 90)name[i] += 32;//大小写转化
//判断是否为合法单词
if (97 <= name[i] && name[i] <= 122)
{
ans++;
continue;
}
if ('0' <= name[i] && name[i] <= '9')
{
if (ans >= 4)
{
continue;
}
else
{
for (j = i; j<num; j++)
{
if ('0' <= name[j] && name[j] <= '9')
continue;
else if (('a' <= name[j] && name[j] <= 'z') || ('A' <= name[j] && name[j] <= 'Z'))
continue;
else
{
//寻找下一个合法单词的开头
while (j<num)
{
if (('a' <= name[j + 1] && name[j + 1] <= 'z') || ('A' <= name[j + 1] && name[j + 1] <= 'Z'))
{
wordpos = j + 1;
break;
}
else
j++;
} //寻找下一个单词的开头
i = j;
break;
}
} //寻找下一个分隔符
if (j == num)
{
break;
} //寻找不到下一个分隔符
ans = 0;
}
}
else
{
if (ans >= 4)
{
//添加单词
word = name.substr(wordpos, i - wordpos);
iter = mapword.find(string(word));
if (iter != mapword.end())
iter->second += 1;
else
mapword.insert(pair<string, int>(word, 1));
// cout<<"word:"<<word<<endl;
}//获取单词
while (i<num)
{
if (('a' <= name[i + 1] && name[i + 1] <= 'z') || ('A' <= name[i + 1] && name[i + 1] <= 'Z'))
{
wordpos = i + 1;
break;
}
else
i++;
} //寻找下一个合法单词的开头
ans = 0;
}
}
//防止该行以合法单词结尾
if (ans >= 4)
{
word = name.substr(wordpos, i - wordpos);
iter = mapword.find(string(word));
if (iter != mapword.end())
iter->second += 1;
else
{
mapword.insert(pair<string, int>(word, 1));
}
}
}
num = 0;
iter = mapword.begin();
for (; iter != mapword.end(); iter++)
{
mapint.insert(pair<int, string>(-iter->second, iter->first));
}
for (iter2 = mapint.begin(); iter2 != mapint.end(); iter2++)
{
num++;
top10.push_back(make_pair(iter2->second.c_str(), -(iter2->first)));
if (num == 10)
break;
}
Fileread.close();
return top10; //返回一个vector
}
（6）单元测试：
本次作业共设置了10个单元测试点，分别用于测试：
- 测试空白文件
- 测验没有命令行参数
- 测试文件不存在
- 测试单词数字开头的情况
- 测试大小写单词是否能识别
- 测试空白行是否识别
- 测试Countlines函数
- 测试Countwords函数
- 测试Countcharacters函数
- 测试Counttop10函数
单元测试结果：
代码测试覆盖率：
其中stdafx.cpp覆盖率较低的原因是写了一些文件异常处理的代码，如下图：
（7）异常处理：
- 针对异常处理我主要设置了三种情况，一种是命令行无参数，一种是命令行有多个参数，一种是命令行参数地址错误
- FileTest(char *argv[]);//用于文件异常测试
int File::FileTest(char *argv[])
{
if (argv[1] == NULL)
{
printf("no file\n");
return 0;
}
if (argv[2] != NULL)
{
printf("too much\n");
return 0;
}
fstream Fileread;
Fileread.open(argv[1], std::ios::in);
if (Fileread.fail())
{
printf("file isn't exist\n");
return 0;
}
Fileread.close();
return 1;
}
（8）项目小节及个人感想：
- 本实验我是用c++写的，可能由于参加过acm，学习过一些算法的知识，实现代码的基本功能对我并不是很困难，主要难点在于我以前没用使用过vs，对于vs的功能基本上是属于一知半解的，因此我大部分的时候是学习vs的功能。原本接口的封装我是想采用dll封装，后面因为时间原因，临时换回了class封装，感觉这次在代码改进上做的不够，原本想文件预处理，Word再预处理后直接存储ifstream 的指针，这样再后面调用其他函数时，就可以节省一些开销，不过尝试没用成功，准备等之后有时间再查查fstream文件流的详细原理，看看这个方法是否可行再进行尝试。
