摘要：毕设大部分功能已经完成，目前还在完善一些辅助功能，其中数据库管理就是一个重点，这一主要介绍通过Ext显示数据库的表。一、服务器端的实现 由于之前已经有过实现的经验，因此服务器端的实现已经轻车熟路，下边先介绍这一块。 其实从面向对象的角度来说，特别是采用了SSH框架之后，我们可以直接通过hibernate获取对应表对象的集合，然后将集合发送至前台交给Ext处理。这样看起来挺不错，而且实际实现也不难，但是你仔细查看就会发现个很不爽的事情，每次发送的集合包含了大量的无用数据（甚至绝大多数的数据），为什么会这样呢？表关联的原因。hibernate生成的model会引入关联表的对象（或对象集合）... 阅读全文

摘要：时隔这么久，继续开写。本文系上一篇的补充：爬虫部分技术要点浅析。 本次将主要讨论上次提出的后两个问题：如何处理抽取出来的Url。3、如何处理抽取出来的Url（爬取策略）？ 所谓爬取策略，就是网络爬虫从种子网址开始，应该按照怎样的顺序向下爬取。以下是几种典型的爬取策略（既然是浅析，这里只做介绍，想要深入了解请自行查阅资料）： （1）深度优先策略 看到这个名词估计多数人立马都会明白，该策略的实现思路采用的是图的深度遍历。事实上当我们通常把网络看做一个图，网络中每个页面看做图中节点，这样在考虑遍历的问题时，很自然的就会使用图的遍历方法（其实也就是树的深度优先遍历）。看下图： ... 阅读全文

摘要：为了实现在用户误操作后能够对数据进行修正，打算添加一个数据库管理功能，主要实现对数据表的查询和执行sql语句。费了半天功夫完成以后查询有的表数据正常显示，但是个别表出现如下错误：No Dialect mapping for JDBC type: -1 意思显而易见：没有方言能够与JDBC类型-1映射。难道我数据库字段用了特殊类型，而hibernate不支持？百度之后找到很多同样错误，有的分析发现对于长度过大的varchar（LONGVARCHAR ）映射时会报这个错误，检查数据库发现这些表中都是用了text类型，应该就是这个原因。修改方法一般有两种：一是修改字段类型，二是扩展自定义方言。... 阅读全文