最近做了挺多从不同的网页抓取数据的工作,重复多了之后,有了重构的想法,使用的语言是java。

1. 以前的做法:

因为是一个功能性程序,所以把它当做了过称式程序,没有建立特别的类:

public static void main(String[] args) throws IOException, SQLException {
  fetchData("http://...", "A");
}

private static void fetchData(String url, String timePoint) throws IOException, SQLException {
  String content = getHttpContent(url);   // 网页内容
  Date dataDate = getDataDate(content);   // 时间
  List<MainBoard> boardList = getBoardList(content, dataDate); // 解析数据集
  storeDB(boardList, dataDate, timePoint);  // 写入数据库
}

而一些变量值也写死在程序中:

Connection dbConn = null;
dbConn = DriverManager.getConnection("jdbc:sqlserver://192.168.1.1:123;databaseName=AAAA", "12345", "12345");
Statement stmt = dbConn.createStatement();

用于获取时间的getBoardList()函数内部,通过正则表达式和遍历比较取出数据,返回相关的数据类。

storeDB函数负责写入数据库:

String sql = "delete from TABLE where dataDate='" + simpleDateFormat.format(date) + "' and timePoint='" + timePoint + "'";
stmt.execute(sql);

for (MainBoard board : boardList) {
  String ss = "insert into TABLE values" + "('" + board.getCode() + "'," +
  "'" + board.getStockName() + "'," +
  board.getSH() + "," +
  board.getDollar() + "," +
  "'" + timePoint + "'," +
  "'" + simpleDateFormat.format(board.getDataDate()) + "'," +
    "'" + timeFormat.format(board.getUpdateTime()) + "')";
  stmt.executeUpdate(ss);
}

最初的这个结构基本上可以看成是纯过程化,且没有根据功能放进不同的类文件。如果后续需求需要抓取更多的不同类型的网页,则代码会臃肿、混乱。

每有一个新的格式,上述的getDataDate、getBoardList、storeDB和MainBoard都需要更换,并且会产生空数据类。

2. 重构,抽象:

重复的多了之后,就有了提高代码架构的需求。先补充了理论知识,《重构》和《Head First》结合着看。

在《重构》中看到这么一段描述:

将过程化设计转向对象设计:
1.针对每一个记录类型,转变为只含访问函数的哑数据对象。
2.针对每一处过程化风格,将该处代码提炼到一个独立类中。
3.针对每一段长长的程序,将它分解,再将分解后的函数分别移到它所相关的哑数据类中。
4.重复上述步骤。

原来对象设计是以数据对象为基础,再把与此数据相关的操作或代码提炼成函数,放入此数据对象中。

以前编写程序时,是以过程化为主。

所以思维上的第一个变化是:

把程序抽象的看成是一个数据加工厂,加工厂由许多个模块/部门组合而成。数据看成是一个流,流过程序这个加工厂,被不同部门处理,被转换,但是最终都会有一个存储和展示形式(也就是载体)。

   从更高的层次观察数据的处理是优化结构的重要方式,把相同的步骤/动作抽象出来,把具体的实现细节留给不同的类。

  所以,程序的运行可以分为 数据流 和 对数据流的处理。每次有需求变更时,因为模块的接口是定义好的,修改不同模块的实现即可。

隐约有了抽象的思想后,再次结合程序重新思考代码的组织方式。

观察到哑数据对象,也就是只含有数据变量和相应取值/设值方法的类。结合实践发现把和此数据类相关的操作放入哑数据类中,确实是比较好的组织方式。

比如,上面的storeDB函数接收哑数据Data类作为参数,构造数据库语句。那么这里就可以把这个函数放入Data类中:

class Data {
    // ... 
    public String generateInsertSql() {
     String ss = "insert into TABLE values" + "('" + board.getCode() + "'," +
        "'" + board.getStockName() + "'," +
        board.getSH() + "," +
        board.getDollar() + "," +
        "'" + timePoint + "'," +
        "'" + simpleDateFormat.format(board.getDataDate()) + "'," +
         "'" + timeFormat.format(board.getUpdateTime()) + "')";
      return ss;
   }
}

 思考为什么这个组织方式好于以前的形式?原因之一就是这样更符合人的思维方式。

 再以这样的方式思考组织程序,继而思维产生了第二个变化:

把类看成以数据为中心,附属着对这个数据的各种操作作为函数。而程序就可以看成是各个附带着行为的数据之间的交互。这样以前总结出的数据流就分化为一个个的个体,对数据的加工操作附属于不同的个体。

 感觉似乎摸到了面向对象的门道,决定再去知乎上看看大家的讨论,发现https://www.zhihu.com/question/19701980这篇蛮具有启发意义的。

 进而更进一步认识了面向对象:

一个操作或一件事由谁来完成,强调的是“谁”。由此,程序变化为一群“活物”之间的交互。
“它将对象作为程序的基本单元,将程序和数据封装其中,以提高软件的重用性、灵活性和扩展性”。根本目的是提高软件的重用性、灵活性和扩展性。

 

 回到程序实践,从过程化结构中抽象出三个主体:UrlConstructor,HttpService,SqlConstructor。分别代表产生url字符串、读取网页内容、构造sql语句。UrlConstructor还有一个功能是从网页内容里解析提取目标数据。

 这时流程变为,UrlConstructor构造出url,然后HttpService接收url并取得网页数据,交由UrlConstructor解析处理,并由SqlConstructor产生sql语句,最后又DB对象写入数据库。

 但是这时又产生了一个新的困惑:虽然结构上比以前抽象的一些,但是感觉依然需要一些结构化的语句来处理对象间的交互。如何消除这部分影响?继续学习,发现一个讨论http://bbs.csdn.net/topics/40441744算是解释了心中的疑惑。

 思维再次发生了变化:

 面向对象是一种思维,和语言无关。不是写了顺序执行的代码就是面向过程,面向对象强调的是以什么样的思维来组织程序。

 用c也可以写出面向对象的程序,而组织的不好,用Java写出来的也会是面向过程的程序。所以,如果组织的好,有顺序执行代码也是面向对象的。

 

比较常见的例子就是全局变量,在函数中使用了全局变量也就破坏了类的封装性,就不是面向对象编程了。好的做法是,全局变量都作为参数传入成员函数中,实现封装。这么做也可以方便单元测试,和提高清晰度。

ps. 对于工具类是否使用静态函数:如果不涉及到类变量或者不使用类变量做信息存储,可以使用静态函数,但是不要使用全局变量;另外需要考虑多线程冲突问题。

 上述思维也很好的解释了面向对象的三大要素:封装,继承,多态。封装即把数据和操作当成一个整体,对外只暴露接口。继承和多态是的程序可以方便扩展,调用者无需关注实现细节,进而灵活应对需求变更。这方面的讨论可以看下https://www.zhihu.com/question/20275578里面尤其是“invalid s”的回答。

 至此,终于理解了依赖倒置,依赖注入还有控制反转等一些以前没有领悟的概念。见https://www.zhihu.com/question/31021366核心思想即是面向接口编程。

 在理清了面向对象思想之后,才算是可以初窥设计模式的门径。设计模式的目的是解耦,提高使用率。如装饰器模式、工厂模式、观察者模式等,从面向对象的角度去理解会非常快速。设计模式有几个原则:1.面向接口编程;2.对扩展开放,对修改封闭;3.组合大于继承。使用设计模式往往会遇到一些问题需要权衡各方面做决定。

但是反过来说,并不是面向对象编程就一定要往设计模式上面靠。“设计模式是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结”,设计模式一般都有一个适用场景,超出这个范围,也不见得还有效。

 设计模式之上就是框架的设计,这个暂时不做深究。

 接着再说说重构,重构我认为也可以算是一种思维,需要固化在脑中。并不是面向对象编程才需要重构,所有方式的编程都需要重构,某种意义上编程==重构。

 重构我认为有几个关键思想:1.重复代码移动到统一的地方;2.如果需要修改,目标是只修改某一个地方;3.一个变化只影响一个类;4.一个类只受一个变化的影响。等等~~

 因为“代码首先是为人写的,其次才是为计算机写的”。

 

 最重要的是努力实践,现在我对面向对象思维的理解也才刚开始,以后肯定会回过头反复思考再实践。希望能越来越熟练,高效。

 

 重构的另一个关键地方是测试,包括有单元测试和集成测试。单元测试以函数为目标,重点测试函数的行为是否符合预期,这也侧面反映了封装的好处,封装起来后,单元测试就不用考虑全局变量的因素;集成测试以整个系统为目标,测试系统在接收到可能的输入时,产生的输出和行为是否达到目标要求。

 以前对单元测试不是很重视,独立开发了程序之后,发现单元测试是和正常程序功能同等重要的,必须要做到测试覆盖大部分功能。单元测试的原则是:一个功能一个测试,一个bug一个测试。可以说编写完功能函数只是完成了一半的任务,完成测试功能后才能算真正完成了主要任务。集成测试的编写相对复杂一些,因为需要调用完整的系统,但是一旦完成后,会节省很多系统的测试流程。

 回到重构,重构最好是一小步一小步的修改,每次修改后,同步修改单元测试并进行测试。这样可以大大的减少犯错的可能性。

 

 注释也是程序的重要部分,好的注释可以大大提高理解效率,而函数或者变量名可以承担一部分解释的功能。在注释的时候应该从结构上说明,如“用快速排序算法实现了对象列表的排序”,而不是对每一句代码说明做了什么。因为了解快速排序的人可以快速看懂代码的作用,而反过来通过每一句的注释推出快速排序就比较费事。

 

 最后借着这次重构,记录下关于java正则性能的感想。

 因为写正则表达式一般都会使用到通配符如:

<td .*><a.*>(.*)</a></td>

 而正则并不意味着查找效率就高。通配符可能会导致匹配时间增加,所以一些简单的表达式使用诸如indexOf()这类的函数自己实现的话性能可能会提高一些。从测试结果看,简单表达式自己时间会提高一小部分性能,但是对比读取网页的时间微乎其微。所以如何使用正则?是自己实现还是用复杂的表达式,需要先进行测试,再做决定。

 

 

posted on 2017-01-17 18:30  SimbaStar  阅读(428)  评论(0编辑  收藏  举报