WordCount by Java
WordCount by Java
软测第二周作业
该项目github地址如下：
https://github.com/YuQiao0303/WordCount
一、概述
项目WordCount的需求可以概括为：对程序设计语言源文件统计字符数、单词数、行数，统计结果以指定格式输出到默认文件中，以及其他扩展功能，并能够快速地处理多个文件。
具体来说，需求可参见网址：
http://www.cnblogs.com/ningjing-zhiyuan/p/8563562.html
注意，这里认为如果行内有一个非“{”、“}”或“；”且非空格tab等的字符，认为是代码行。
该项目的PSP表格如下：
二、解题思路
刚拿到项目时，感到总体不难，但是需要攻克的技术点很多很杂，算法逻辑可能也比较绕。
具体来说，需要重点解决下面几个大问题：
1.捡起封尘已久的java及MyEclipse基本用法（如何创建项目，String如何使用等）
2.如何读写文件
采用了java读写文件1的基本方法，配合以java读写文件2中使用的异常类，轻松完成功能。
其中用到了如下几个类：
import java.io.File;
import java.io.InputStreamReader;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.IOException;
3.如何递归找到给定文件及其子目录下的所有文件
采用了递归得到所有文件名中的方法。
File类自带两个很好用的方法：
list() 方法：得到路径下所有文件名，不含路径；
&
listFiles()方法：得到路径下所有文件名，含绝对路径。
通过递归调用这两个方法，即可轻松实现要求。
4.如何提取文件后缀名
采用了java通过文件名判断文件类型中的方法。直接找到文件名中最后一个“.”的坐标，然后取子串即可。
fileName.substring(fileName.lastIndexOf(".") + 1, fileName.length()).toLowerCase();
查到的这一资料让我了解了java中String类的substring方法，之后经常用到。
5.如何判断某一行属于代码行/空行还是注释行
起初，我认为在给出了清晰的判定标准后，用很多判定分支即可达到目的。当我为此方法设计了一个小时后，我感到这样的算法，实在太复杂难懂容易错。
后来听到室友偶尔提了一句“好像判断代码行注释行，可以用正则表达式”。
于是百度正则表达式。在菜鸟教程-java正则表达式中简要学习了正则表达式的相关知识。大体而言，是用于匹配符合一定格式的字符串。
有了这个工具，判断的算法就清晰多了。具体实现请看后文。
6.如何给主方法传参数，并通过逻辑达到需求
//主方法
public static void main(String[] args)
{
for(int i=0;i<args.length;i++)
{
//......
}
//......
return 0;
}
明白了如何传参，接下来的思路是遍历参数数组，使用switch语句判断每个参数的具体情况。
具体实现见后文。
7.如何完成停用词表功能
在室友推荐下，参考了java 统计每个单词出现的个数。
主要用到两个方法：
(1) String 类的split(String reg)方法
该方法将正则表达式reg的内容作为分隔符，将字符串按照分隔符分成好几个部分，各部分存放在一个字符串数组中；
方法返回该字符串数组。
于是将正则表达式置为空格，就可以得到输入文件中的单词数组。：
String str[] = line.split(reg1);
(2) TreeMap类的containsKey(String str))方法
该方法返回一个布尔值，若调用它的TreeMap实例中含有str，则返回true，否则返回false。
TreeMap类的功能远不止于此，但此处用到的就是这个“判断是否在集合中”的方法。
只需提前将停用词表进行分割，得到的所有单词放入一个TreeMap对象；再将之前得到的，输入文件的单词数组中的每一单词，都作为参数，判断containsKey的值，即可知道该单词是否要被停用。
8.如何将java程序打包生成exe
直接参考了如何将java程序打包生成exe的方法。
其中，不会像文中那样使用MANIFEST.MF文件，故用了系统默认的MANIFEST.MF文件，同时手动选择主动类的主方法即可。
9.捡起封尘已久的git用法
重学了廖雪峰老师的git教程
常用的git指令如下：
$ git add *
$ git status
$ git commit -m "commit message"
$ git push origin master
同时学习了commit message的写法。
三、程序设计实现过程
由于程序功能不复杂，且参数均是从控制台传给主方法，故只用了一个类。该类类图如下：
下面是各个属性和方法的说明（全部是public static）：
属性说明
String inputFile; //用户输入的文件路径
String outputFile; //输出信息的文件名
String stopList; //停用词表
int chars; //字符数
int words; //单词数
int lines; //行数
int codeLines; //代码行数
int empLines; //空行数
int comLines; //注释行数
boolean needC; //输入参数中是否有“-c”
boolean needW; //输入参数中是否有“-w”
boolean needL; //输入参数中是否有“-l”
boolean needO; //输入参数中是否有“-o”
boolean needS; //输入参数中是否有“-s”
boolean needA; //输入参数中是否有“-a”
boolean needE; //输入参数中是否有“-e”
方法说明
String [] getFileName(String path)
返回 指定路径文件夹path中所有文件名数组（不含路径，含后缀）
void getAllFileName(String path,ArrayList<File> fileName)
递归得到 指定路径文件夹path 及其子文件夹中 所有文件名（含绝对路径，含后缀），结果存入fileName
void s(ArrayList<String> fileNames)
递归得到 指定路径文件夹（由类的static属性inputFile得到） 及其子文件夹中 所有符合用户要求的（也就是符合后缀名的）文件名（含绝对路径，含后缀），结果存入fileNames。
该方法会调用getAllFileName和getFileName方法。
void getBasicInfo(String fileName)
统计指定文件FileName的基本数据：字符数、单词数、行数，将其写入类的static属性chars/words/lines中（不带停用词表）
void getStopList(ArrayList<String> wordsIgnored)
得到指定停用词表stoplist中的单词，放在数组wordsIgnored中
void getBasicInfoWithSL(String fileName)
统计指定文件fileName的基本数据：字符数、单词数、行数，将其写入类的static属性chars/words/lines中（使用停用词表）
void getComInfo(String fileName)
统计指定文件fileName的复杂数据：代码行数、注释行数、空行数，将其写入类的static属性codeLines/comLines/empLines中
void main(String[] args)
主方法，整合所有功能。
四、代码说明
停用词表：
line是已经读取的输入文件的一行内容;
tm是已经放入了停用词的TreeMap实例。
将本行所有单词分割存储在str[]中。
遍历str[]，如果改单词不在停用词表中，则单词数自增。
String reg1 = "\\s+|,+"; //用空格、tab或逗号来分割单词
//String regEmp = "\\s+";
//将读取的文本进行分割
String str[] = line.split(reg1);
for(String s: str)
{
if(!s.equals(""))
{
//判断tm即stopList中中是否已经存在该单词，如果不存在则单词数加一；若存在则不变
if(!tm.containsKey(s)) //tm中是否包含该单词
{
//System.out.println(s);
words++;
}
}
}
代码行/注释行/空行判断
//_________________初始化和变量声明____________________
codeLines=0;
empLines=0;
comLines=0;
int comFlag=0; //每遇到一个“/*”则+1，每遇到一个“*/”则减一；为正说明正处于多行注释之中
String regCom = "(\\s*)(\\{|\\})?(\\s*)(//|/\\*)([\\s\\S]*)"; //单行注释行或多行注释起始行的正则表达式
String regEmp ="(\\s*)(\\{|\\}|;)?(\\s*)"; //空行的正则表达式
这段逻辑主要通过正则表达式进行基本判断；通过comFlag的变化，来判断多行注释。
下面这段代码完成了，统计字符串s中“/”和“/”的功能。
int i=0;
while(i<s.length())
{
if(s.indexOf("/*",i)==i)
{
comFlag++;
i+=2;
}
else if(s.indexOf("*/",i)==i)
{
comFlag--;
//System.out.print("i;m here");
//System.out.print(s.indexOf("*/",i));
//System.out.print(i);
i+=2;
}
else i++;
}
篇幅有限，完整函数请参考本篇开头的github网址。
s()函数中，处理各种形式输入参数
我们将用户输入的路径分为几种情况：
*.c 相对路径，无斜杠
src*.c 相对路径，有反斜杠
D:*.c 绝对路径，有反斜杠
src/*.c 相对路径，有正斜杠
D:/*.c 绝对路径，有反斜杠
测试发现，如果是无斜杠或有正斜杠的情况，main收到的参数将是该路径下，所有符合.c后缀名的文件名；若是含反斜杠，main收到的参数将原封不动的保留字符'*'，但会将“/”自动变为“\”
我们的s()方法：
void s(ArrayList<String> fileNames)
目标是，得到所有符合用户要求的文件名（含绝对路径，含后缀），存在fileNames中。
采用的方法是调用getAllFileName()方法。
getAllFileName(String path,ArrayList<File> fileName)
getAllFileName()会递归得到path路径下的所有文件和子文件夹中的文件名，存在fileName中。
现在的问题就是如何在调用getAllFileName前，得到正确的path参数。
我们直接把inputFile分成含""和不含""的：
若含，则取斜杠之前的子串作为path；
若不含，则取path为“.”，也就是当前路径。
//如果 *.c 前面还有带有\的路径
if(inputFile.indexOf('\\')>-1)
{
//System.out.println(inputFile);
path=inputFile.substring(0,inputFile.lastIndexOf('\\'));
}
//如果参数是 *.c
else path=".";
之后再调用getallfileNames即可。
主函数参数判断
这段代码完成类的static属性赋值的任务。
由于对用户输入有要求，我们直接认为：
o 参数之后输入的字符串，就是outputFile；
-e 之后输入的字符串，就是stopList；
如果一个参数，不是（-小写字母）的形式，且它前一个参数不是-e或-o，则认为该参数是inputFile。
inputFile="";
for(int i=0;i<args.length;i++)
{
//System.out.println(args[i]);
//判断参数情况
switch(args[i])
{
case "-c" : needC=true;break;
case "-w" : needW=true;break;
case "-l" : needL=true;break;
case "-o" : needO=true;outputFile=args[i+1];break;
case "-s" : needS=true;break;
case "-a" : needA=true;break;
case "-e" : needE=true;stopList=args[i+1];break;
default :
if(!args[i-1].equals("-e")&&!args[i-1].equals("-o"))
{
inputFile=args[i];
}
}
}
之后，根据参数情况，调用其他方法，将结果写入字符串outputStr；最后将outputStr写入输出文件（根据是否有-o参数，决定是写入默认的restult.txt还是写入用户给定的文件）
五、测试设计过程
测试用例设计
按照白盒测试方法，重点考虑判断分支为风险较大处。
首先绘制程序图。
这时候发现了新问题：对于有一定规模的程序，若要绘制出 包含了所有判断分支 的程序图，一来工作量大，二来方便易用的绘图工具极其难找，三来画出的图将极其复杂，且且占面积极大，难以分析。
很好奇实际商用软件的测试，是如何解决这个问题的。
而对于我们这次的WC，我的做法是，在设计用户输入的参数时，只考虑主函数中大致框架涉及的分支；而使用边缘测试的思想，设计inputFile和stoplist的内容。在绘制程序图方面，参考了王宇轩同学的画法。
绘制的程序图如下：（所有判定节点向左为yes，向右为no）
可以看到，只需要3个用例，即可穷尽每个分支，达到判定/条件覆盖的要求。
红线是后文中的测试1，绿线是测试2，蓝线是测试3.
具体涉及的测试用例情况如下：（预期结果与实际运行结果完全相同，请看后面的图）
| 编号 | 输入参数 |
|---|---|
| 1 | wc.exe -s -c -a -w D:\testWC\WC*.c -e stoplist.txt -o D:\testWC\output.txt |
| 2 | wc.exe -s -l src*.c |
| 3 | wc.exe -a input1.c |
此外，程序图的环复杂度为9，理论上需要9个独立的测试用例来覆盖每种条件的线性组合。与此同时，考虑不同的文件名输入方式（相对路径，绝对路径）等，设计了剩下7个用例：
| 编号 | 输入参数 |
|---|---|
| 4 | wc.exe -c input1.c |
| 5 | wc.exe -w input1.c |
| 6 | wc.exe -l input1.c |
| 7 | wc.exe -c D:\testWC\input1.c -o D:\testWC\output.txt |
| 8 | wc.exe -a D:\testWC\input1.c |
| 9 | wc.exe -l -s *.c |
| 10 | wc.exe -w D:/testWC/input1.c -e D:/testWC/stoplist.txt |
测试用的输入文件input1.c 和 sub1\input.2 和 sub1\sub2\input3.c的内容均如下：
测试用的停用词表stoplist.txt 内容如下：
测试脚本
直接采用以上10个测试用例，得到测试脚本test.txt内容如下：
wc.exe -s -c -a -w D:\testWC\WC\*.c -e stoplist.txt -o D:\testWC\output.txt
wc.exe -s -l sub1\*.c
wc.exe -a input1.c
wc.exe -c input1.c
wc.exe -w input1.c
wc.exe -l input1.c
wc.exe -c D:\testWC\input1.c -o D:\testWC\output.txt
wc.exe -a D:\testWC\input1.c
wc.exe -l -s *.c
wc.exe -w D:/testWC/input1.c -e D:/testWC/stoplist.txt
注意：由于该脚本测试了输入为绝对路径的情况，故在其他电脑上不可直接运行，上传到GitHub上的脚本是全部采用相对路径的。即：
wc.exe -s -c -a -w *.c -e stoplist.txt -o output.txt
wc.exe -s -l sub1\*.c
wc.exe -a input1.c
wc.exe -c input1.c
wc.exe -w input1.c
wc.exe -l input1.c
wc.exe -c input1.c -o output.txt
wc.exe -a input1.c
wc.exe -l -s *.c
wc.exe -w input1.c -e stoplist.txt
测试结果
测试结果如下：
全部与预期情况相同。通过测试。
测试评价
本次设计的设计用例，从主方法的大框架上，可以达到修正的判定/条件覆盖的要求；对于被统计文件的内容设计，则采用了边缘测试的思想，重点测试了除主方法外其他方法中，判定表达式的边缘情况。
总体来说比较满意。
六、参考文献连接：
java读写文件1
java读写文件2
递归得到所有文件名
java通过文件名判断文件类型
菜鸟教程-java正则表达式
菜鸟教程-java正则表达式
如何将java程序打包生成exe
廖雪峰老师的git教程
commit message的写法
Windows bat脚本如何运行
Written with StackEdit.
