11 2013 档案

基于Heritrix的特定主题的网络爬虫配置与实现
摘要：建议在了解了一定网络爬虫的基本原理和Heritrix的架构知识后进行配置和扩展。相关博文：http://www.cnblogs.com/hustfly/p/3441747.html摘要 随着网络时代的日新月异，人们对搜索引擎，网页的内容，大数据处理等问题有了更多的要求。如何从海量的互联网信息中选取最符合要求的信息成为了新的热点。在这种情况下，网络爬虫框架heritrix出现解决了这个问题。 Heritrix是一个开源的、java开发的、可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。 本文在已经简单分析过heritri 阅读全文
posted @ 2013-11-26 22:19 塞北鸿雁飞 阅读(1562) 评论(0) 推荐(1)
HIbernate学习笔记（六） 关系映射之多对多
摘要：六、多对多 - 单向Ø一般的设计中，多对多关联映射，需要一个中间表ØHibernate会自动生成中间表ØHibernate使用many-to-many标签来表示多对多的关联Ø多对多的关联映射，在实体类中，跟一对多一样，也是用集合来表示的。(一) 实例场景：用户与他的角色(一个用户拥有多个角色，一个角色还可以属于多个用户)(二) 对象模型：(三) 关系模型：(四) 实体类Role实体类：public classRole {private intid;privateString name;public intgetId()returnid;}public v 阅读全文
posted @ 2013-11-25 19:45 塞北鸿雁飞 阅读(2040) 评论(0) 推荐(0)
HIbernate学习笔记（五） 关系映射之一对多与多对一
摘要：三、多对一–单向场景：用户和组；从用户角度来，多个用户属于一个组(多对一 关联)使用hibernate开发的思路：先建立对象模型(领域模型)，把实体抽取出来。目前两个实体：用户和组两个实体，多个用户属于一个组，那么一个用户都会对应于一个组，所以用户实体中应该有一个持有组的引用。(一) 对象模型图：(二) 关系模型：(三) 关联映射的本质： 将关联关系映射到数据库，所谓的关联关系是对象模型在内存中一个或多个引用。(四) 实体类User实体类：public classUser {private intid;privateString name;privateGroup group;publicGr 阅读全文
posted @ 2013-11-25 19:43 塞北鸿雁飞 阅读(481) 评论(0) 推荐(0)
Hibernate学习笔记（四）关系映射之一对一关联映射
摘要：一、一对一关联映射²两个对象之间是一对一的关系，如Person-IdCard(人—身份证号)²有两种策略可以实现一对一的关联映射Ø主键关联：即让两个对象具有相同的主键值，以表明它们之间的一一对应的关系；数据库表不会有额外的字段来维护它们之间的关系，仅通过表的主键来关联。Ø唯一外键关联：外键关联，本来是用于多对一的配置，但是如果加上唯一的限制之后，也可以用来表示一对一关联关系。对象模型实体类：/**人－实体类*/public classPerson {private intid;privateString name;public intgetId() {r 阅读全文
posted @ 2013-11-25 19:39 塞北鸿雁飞 阅读(764) 评论(1) 推荐(1)
Hibernate学习笔记（三）Hibernate生成表单ID主键生成策略
摘要：一、 Xml方式标签必须配置在标签内第一个位置。由一个字段构成主键，如果是复杂主键标签被映射的类必须定义对应数据库表主键字段。大多数类有一个JavaBeans风格的属性， 为每一个实例包含唯一的标识。 元素定义了该属性到数据库表主键字段的映射。 (1) name (可选): 标识属性的名字(实体类的属性)。(2) type (可选): 标识Hibernate类型的名字(省略则使用hibernate默认类型)，也可以自己配置其它hbernate类型(integer, long, short, float,double, character, byte, boolean, yes_no, true 阅读全文
posted @ 2013-11-25 19:33 塞北鸿雁飞 阅读(1128) 评论(0) 推荐(0)
网络爬虫系统Heritrix的结构分析 （个人读书报告）
摘要：随着网络时代的日新月异，人们对搜索引擎，网页的内容，大数据处理等问题有了更多的要求。如何从海量的互联网信息中选取最符合要求的信息成为了新的热点。在这种情况下，网络爬虫框架heritrix出现解决了这个问题。Heritrix是一个开源的、java开发的、可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。 本文首先介绍网络爬虫程序的概念和作用，分析了heritrix的工作流程，模块划分，然后对源码进行多层次详细的分析，最后通过heritrix进行面向特定主题的网页抓取试验并进行结果分析。 阅读全文
posted @ 2013-11-25 16:30 塞北鸿雁飞 阅读(4299) 评论(5) 推荐(3)
HIbernate学习笔记（二） hibernate对象的三种状态与核心开发接口
摘要：1、在hibernate中持久化对象有三个状态，这个面试时可能会问到：(1)transient瞬时态：在数据库中没有与之匹配的数据，一般就是只new出了这个对象，并且在session缓存中也没有即此对象没有纳入session的管理，此状态的对象不能直接存入数据库（会抛出TransientObjectException）。(2)persistent持久态：在数据库中有与之匹配的数据，并且纳入了session的管理(一般就是执行了save、update、load、 get后的对象)，在提交事务时（清理session缓存时）会和数据库同步更新，持久态对象才可以存入数据库。(3)detached游离态 阅读全文
posted @ 2013-11-20 21:49 塞北鸿雁飞 阅读(388) 评论(0) 推荐(0)
HIbernate学习笔记（一） 了解hibernate并搭建环境建立第一个hello world程序
摘要：Hibernate是一个开放源代码的ORM（对象关系映射）框架，它对JDBC进行了轻量级的封装，Java程序员可以使用面向对象的编程思维来操纵数据库，它通过对象属性和数据库表字段之间的映射关系，将对象持久化到数据库中，可以说Hibernate就是将数据从对象形式转换成表字段后存入数据库的一种框架。hibernate移植非常好，因为它用到了方言配置，可以根据不同的数据库自动发出不同的sql。 1、环境准备： 1)去Hibernate官网下载最新的hibernate文件，笔者版本号为hibernate-release-4.2.3.Final; 2)文档内自带了说明文档，不过只有英... 阅读全文
posted @ 2013-11-20 21:17 塞北鸿雁飞 阅读(839) 评论(0) 推荐(0)
Hibernate4搭建Log4J日志管理（附Log4j.properties配置详解）
摘要：1、首先加入slf4j的jar包，即slf4j-api-1.6.1.jar在hibernate官网下载hibernate-release-4.2.2.Final.zip并解压，在hibernate-release-4.2.2.Final\lib\optional\ehcache目录里slf4j-api-1.6.1.jar2.加入log4j-1.2.15.jar，即slf4的log4j实现在hibernate-release-4.2.2.Final.zip里没有，所有要到网上搜一下下载。3、slf4j怎么将日志转成log4j？加入slf4j-log4j12-1.6.1.jar转换包在hibern 阅读全文
posted @ 2013-11-03 22:07 塞北鸿雁飞 阅读(1242) 评论(0) 推荐(0)
JUnit学习总结
摘要：Junit简介： Junit最初是由Erich Gamma 和 Kent Beck 编写的一个回归测试框架(regression testing framework)，为单元测试（Unit Test）的支持框架。用来编写和执行重覆性的测试。即所谓白盒测试。它包括了以下的特性： 1 对预期结果作断言 2 提供测试装备的生成与销毁 3 易于组织执行测试4 图形与文字界面的测试器Junit的环境配置环境：Eclipse 中配置junit，选择项目Junit4(在Package Explorer中) -> 右击鼠标 -> 选择properties -> 选择Java Build Pa 阅读全文
posted @ 2013-11-03 21:37 塞北鸿雁飞 阅读(569) 评论(0) 推荐(0)
hibernate4.0+版本和3.0+版本的区别总结
摘要：自己总结下hibernate4.1版本中的新特性和hibernate3.3做区别1.数据库方言设置org.hibernate.dialect.MySQL5Dialect在3.3版本中连接MySQL数据库只需要指明MySQLDialect即可。在4.1版本中可以指出MySQL5Dialect2.buildSessionFactory4.1版本中buildSessionFactory()已经被buildSessionFactory(ServiceRegistry ServiceRegistry)取代解决办法：Configuration cfg = new Configuration();cfg.c 阅读全文
posted @ 2013-11-02 13:40 塞北鸿雁飞 阅读(568) 评论(0) 推荐(0)