垂直搜索引擎完整实现
本篇博客是在上一篇《Lucene搜索引擎+HDFS+MR完成垂直搜索》的基础上，在数据收集之后的JSP/Servlet方面，换为SpringMVC框架来实现。
借助SpringMVC技术完成数据库、HDFS、页面的交互，以达到实现垂直搜索引擎。
本篇博客的思想：一是深入数据收集、分析、关键词搜索呈现的流程实现；
一是借此实践学习SpringMVC框架的技术。
首先简单阐述实现垂直搜索引擎的流程：1‘网络爬虫的数据存取到HDFS和数据库中；
2’MR对数据进行分析规约；
3‘SpringMVC实现关键词搜索并呈现到网页（此处为本篇重点阐述）
----->
目录：
1、SpringMVC阐述
2、创建web项目（添加Spring框架支持）
3、配置applicationContext.xml★★
4、配置web.xml文件★★
5、添加log4j.properties文件至src根目录
6、实现DAO操作类
7、修改页面源码
8、编写控制器来自动接收参数，以及进行数据操作★★
9、过滤器解决乱码问题
10、结果显示
11、总结
------>
1、 SpringMVC阐述
SpringMVC是Spring的一个子框架，主要是用来处理MVC设计模式中的View和Control。
MVC：
Model：模型层，也就是数据库操作层。DAO部分代码
View：展示层，也就是页面显示部分。Servlet部分
Controller：控制层，也就是业务逻辑层。JSP部分
使用SpringMVC以后，这三部分代码都会有改变，由Spring来进行调整。
企业用的最多的是SpringMVC + MyBatis。
这里我们就只使用SpringMVC + JDBC来完成。
Spring 在这三层可以有不同的作用：
Model层中Spring可以帮助进行数据源连接池的配置，还可以简化JDBC的操作代码，同时还能帮助完成自动的打开和关闭数据库连接。
View层中，Spring可以帮助我们简化表单提交的参数代码，也可以自动接收Control中返回的数据信息。
Control层中，Spring可以帮助我们自动接收页面提交的参数。
Spring的核心在于配置文件，所有的类的信息基本都要加入到配置文件中或使用Annotation来进行标注。
2、创建web项目（添加Spring框架支持）
【项目整体呈现】
创建一个新的web项目，导入上一篇项目所需的jar包，以及拷贝vo类（DAO接口类）和utils类（关键词查询类）所在的包。
先为项目加入Spring的框架支持。
在项目上点右键，选择MyEclipse，然后找到install Spring … 的选项。
按照固定的步骤加入支持，最后一步时，一定要注意选择好需要的支持库，这里必须用到的是Persistence和Web
3、配置applicationContext.xml
这个文件Spring的配置文件，主要是将各种POJO,JAVA，action配置到XML转交给beanfactory管理，降低耦合度。
主要的配置组件：
<bean id="射影class的名字" class="写的JAVA类"/>
然后就是这些<bean>之间的依赖关系，比如：
<bean id="mySerive" class="org.haha.MyServiceImpl"/>
<bean id="loginAction" class="org.haha.LoginAction" scope="prototype">
<!--依赖注入业务逻辑组件-->
<property name="ms" ref="myService" />
</bean>
以上代码的意思会在loginAction的代码里引用MyServiceImpl类，但是只需要用ms代替就可以
例如：
public String execute() throws Exception{
ms.sayhello();
}
正常情况应该 new MyServiceImpl,但是通过XML配置之后就直接用以上代码就可以实现
new 的效果。
以下是该项目的配置文件呈现：
1 <?xml version="1.0" encoding="UTF-8"?> 2 <beans 3 xmlns="http://www.springframework.org/schema/beans" 4 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 5 xmlns:p="http://www.springframework.org/schema/p" 6 7 xmlns:context="http://www.springframework.org/schema/context" 8 xmlns:mvc="http://www.springframework.org/schema/mvc" 9 10 xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd 11 http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd 12 http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-3.1.xsd"> 13 14 <!-- 加入SpringMVC的库支持 --> 15 <mvc:annotation-driven></mvc:annotation-driven> 16 <!-- 加入Context支持 --> 17 <context:annotation-config></context:annotation-config> 18 <!-- 配置使用Annotation的包范围 --> 19 <context:component-scan base-package="org.liky.sina.dao.impl,org.liky.sina.action"></context:component-scan> 20 21 <!-- 配置数据库连接池 --> 22 <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"> 23 <property name="driverClassName" value="org.gjt.mm.mysql.Driver"></property> 24 <property name="url" value="jdbc:mysql://localhost:3306/sina_news"></property> 25 <property name="username" value="root"></property> 26 <property name="password" value="admin"></property> 27 </bean> 28 29 <!-- 配置一个模板类 --> 30 <bean id="jdbcTemplate" class="org.springframework.jdbc.core.JdbcTemplate"> 31 <property name="dataSource"> 32 <ref bean="dataSource"/> 33 </property> 34 </bean> 35 36 <!-- 配置自动管理连接的一个事务操作支持 --> 37 <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> 38 <property name="dataSource"> 39 <ref bean="dataSource"/> 40 </property> 41 </bean> 42 43 44 <bean id="transactionInterceptor" class="org.springframework.transaction.interceptor.TransactionInterceptor"> 45 <property name="transactionManager"> 46 <ref bean="transactionManager"/> 47 </property> 48 49 <!-- 配置事务处理方式 *表示service中的所有方法都要进行事务处理。PROPAGATION_REQUIRED表示事务处理方式，有以下三种选择： 50 PROPAGATION_REQUIRED:正常事务处理 51 PROPAGATION_REQUIRED_NEWS:每个操作单独进行一个事务处理 52 PROPAGATION_REQUIRED_NEVER:不使用事务，出错后后面的不进行添加 53 --> 54 55 <property name="transactionAttributes"> 56 <props> 57 <prop key="*">PROPAGATION_REQUIRED</prop> 58 </props> 59 </property> 60 61 </bean> 62 63 <!-- 配置事务管理器的作用范围 --> 64 <bean class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator"> 65 <property name="interceptorNames"> 66 <list> 67 <value>transactionInterceptor</value> 68 </list> 69 </property> 70 <property name="beanNames"> 71 <list> 72 <value>*DAOImpl</value> 73 </list> 74 </property> 75 </bean> 76 77 78 79 </beans>
4、配置web.xml文件
这个文件是需要在里面让服务器启动时，可以自动加载spring的配置文件。
代码呈现：
1 <?xml version="1.0" encoding="UTF-8"?> 2 <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 3 xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" 4 xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd" 5 id="WebApp_ID" version="3.0"> 6 <display-name>SinaNewsSpringMVC</display-name> 7 <welcome-file-list> 8 <welcome-file>index.html</welcome-file> 9 </welcome-file-list> 10 <listener> 11 <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class> 12 </listener> 13 <context-param> 14 <param-name>contextConfigLocation</param-name> 15 <param-value>classpath:applicationContext.xml</param-value> 16 </context-param> 17 18 <!-- 手工配置加载SpringMVC的支持库和跳转路径 --> 19 <servlet> 20 <servlet-name>springmvc</servlet-name> 21 <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class> 22 23 <init-param> 24 <param-name>contextConfigLocation</param-name> 25 <param-value>/WEB-INF/classes/applicationContext.xml</param-value> 26 </init-param> 27 <load-on-startup>1</load-on-startup> 28 </servlet> 29 <servlet-mapping> 30 <servlet-name>springmvc</servlet-name> 31 <url-pattern>*.do</url-pattern> 32 </servlet-mapping> 33 34 <!-- 添加过滤器 --> 35 <filter> 36 <filter-name>encoding</filter-name> 37 <filter-class>org.liky.sina.filter.EncodingFilter</filter-class> 38 </filter> 39 <filter-mapping> 40 <filter-name>encoding</filter-name> 41 <url-pattern>/*</url-pattern> 42 </filter-mapping> 43 </web-app>
5、添加log4j.properties文件至src根目录
Log4j，Apache的一个开源项目，作用：
可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIXSyslog守护进程等；
可以控制每一条日志的输出格式；
通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。
此外，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。
1 ### direct log messages to stdout ### 2 log4j.appender.stdout=org.apache.log4j.ConsoleAppender 3 log4j.appender.stdout.Target=System.out 4 log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 5 log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n 6 7 ### direct messages to file hibernate.log ### 8 #log4j.appender.file=org.apache.log4j.FileAppender 9 #log4j.appender.file.File=hibernate.log 10 #log4j.appender.file.layout=org.apache.log4j.PatternLayout 11 #log4j.appender.file.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n 12 13 ### set log levels - for more verbose logging change 'info' to 'debug' ### 14 15 log4j.rootLogger=warn, stdout 16 17 log4j.logger.org.hibernate=info 18 #log4j.logger.org.hibernate=debug 19 20 ### log HQL query parser activity 21 #log4j.logger.org.hibernate.hql.ast.AST=debug 22 23 ### log just the SQL 24 #log4j.logger.org.hibernate.SQL=debug 25 26 ### log JDBC bind parameters ### 27 log4j.logger.org.hibernate.type=info 28 #log4j.logger.org.hibernate.type=debug 29 30 ### log schema export/update ### 31 log4j.logger.org.hibernate.tool.hbm2ddl=debug 32 33 ### log HQL parse trees 34 #log4j.logger.org.hibernate.hql=debug 35 36 ### log cache activity ### 37 #log4j.logger.org.hibernate.cache=debug 38 39 ### log transaction activity 40 #log4j.logger.org.hibernate.transaction=debug 41 42 ### log JDBC resource acquisition 43 #log4j.logger.org.hibernate.jdbc=debug 44 45 ### enable the following line if you want to track down connection ### 46 ### leakages when using DriverManagerConnectionProvider ### 47 #log4j.logger.org.hibernate.connection.DriverManagerConnectionProvider=trace
6、实现DAO操作类
之后启动服务器进行测试，如果启动后没有报错，那就表示环境配置成功，可以正常使用。
下面就开始编写DAO操作。
对于DAO接口是没有变化的，所以可以直接拷贝过来。
这里不需要再编写工厂类，因为Spring可以自动帮助创建对象。
实现类需要交给Spring来进行管理和控制，并且简化jdbc代码操作
代码如下：
1 package org.liky.sina.dao.impl; 2 3 import java.sql.ResultSet; 4 import java.sql.SQLException; 5 import java.util.List; 6 7 import org.liky.sina.dao.INewsDAO; 8 import org.liky.sina.vo.News; 9 import org.springframework.beans.factory.annotation.Autowired; 10 import org.springframework.jdbc.core.JdbcTemplate; 11 import org.springframework.jdbc.core.RowMapper; 12 import org.springframework.jdbc.core.support.JdbcDaoSupport; 13 import org.springframework.stereotype.Component; 14 15 @Component 16 public class NewsDAOImpl extends JdbcDaoSupport implements INewsDAO,RowMapper<News> { 17 18 @Autowired 19 public NewsDAOImpl(JdbcTemplate jdbcTemplate) { 20 super.setJdbcTemplate(jdbcTemplate); 21 } 22 23 24 public void doCreate(News news) throws Exception { 25 String sql="insert into news (id,title,description,url) values (?,?,?,?)"; 26 27 super.getJdbcTemplate().update(sql, news.getId(),news.getTitle(),news.getDescription(),news.getUrl()); 28 } 29 30 public News findById(int id) throws Exception { 31 String sql="select id,title,description,url from news where id=?"; 32 News news=super.getJdbcTemplate().queryForObject(sql,new Object[]{id},this); 33 34 return news; 35 } 36 37 public List<News> findByIds(Integer[] ids, int start, int pageSize) 38 throws Exception { 39 StringBuilder sql = new StringBuilder( 40 "SELECT id,title,description,url FROM new_news WHERE id IN ("); 41 if (ids != null && ids.length > 0) { 42 for (int id : ids) { 43 sql.append(id); 44 sql.append(","); 45 } 46 // 第一个 ? 表示开始的记录数，第二个 ？ 表示每页显示的记录数。 47 String resultSQL = sql.substring(0, sql.length() - 1) 48 + ") LIMIT ?,?"; 49 List<News> allNews = super.getJdbcTemplate().query(resultSQL, 50 new Object[] { start, pageSize }, this); 51 return allNews; 52 } 53 return null; 54 } 55 56 57 public int getAllCount(Integer[] ids)throws Exception{ 58 StringBuilder sql=new StringBuilder("select count(id) from new_news where id in ("); 59 60 if(ids!=null&&ids.length>0){ 61 for(int id:ids){ 62 sql.append(id); 63 sql.append(","); 64 } 65 // 第一个 ? 表示开始的记录数，第二个 ？ 表示每页显示的记录数。 66 String resultSQL = sql.substring(0, sql.length() - 1) + ")"; 67 int count = super.getJdbcTemplate().queryForInt(resultSQL); 68 return count; 69 } 70 return 0; 71 } 72 73 public News mapRow(ResultSet rs, int arg1) throws SQLException { 74 News news=new News(); 75 news.setId(rs.getInt(1)); 76 news.setTitle(rs.getString(2)); 77 news.setDescription(rs.getString(3)); 78 news.setUrl(rs.getString(4)); 79 return news; 80 81 } 82 83 }
7、修改页面源码
表单部分进行一些简单的调整，加入了form标签相关的配置。主要在action的值改为了search.do
【1】index.jsp修改
1 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> 2 <% 3 String path = request.getContextPath(); 4 String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/"; 5 %> 6 7 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> 8 <html> 9 <head> 10 <base href="<%=basePath%>"> 11 <title>新浪新闻热词搜索</title> 12 </head> 13 14 <body> 15 <center> 16 <form action="search.do" method="post"> 17 请输入查询关键字： 18 <input type="text" name="keyword"> 19 <input type="submit" value="查询"> 20 </form> 21 </center> 22 </body> 23 </html>
【2】result.jsp修改
1 <%@page import="org.liky.sina.vo.News"%> 2 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> 3 <% 4 String path = request.getContextPath(); 5 String basePath = request.getScheme() + "://" 6 + request.getServerName() + ":" + request.getServerPort() 7 + path + "/"; 8 %> 9 10 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> 11 <html> 12 <head> 13 <base href="<%=basePath%>"> 14 15 <title>新浪新闻搜索</title> 16 </head> 17 18 <body> 19 <center> 20 <% 21 List<News> allNews = (List<News>)request.getAttribute("allNews"); 22 %> 23 <table width="80%"> 24 <% 25 for (News n : allNews) { 26 27 %> 28 <tr> 29 <td> 30 <a href="<%=n.getUrl() %>" target="_blank"><%=n.getTitle() %></a> <br> 31 <%=n.getDescription() %> 32 <hr/> 33 </td> 34 </tr> 35 <% 36 } 37 38 %> 39 </table> 40 41 <% 42 int cp = (Integer)request.getAttribute("currentPage"); 43 int allPages = (Integer)request.getAttribute("allPages"); 44 %> 45 <form id="split_page_form" action="search.do" method="post"> 46 <input type="hidden" name="currentPage" id="cp" value="<%=cp %>" /> 47 <input type="button" <%=cp == 1?"disabled":"" %> value="首页" onclick="changeCp(1);"> 48 <input type="button" <%=cp == 1?"disabled":"" %> value="上一页" onclick="changeCp(<%=cp - 1 %>);"> 49 <input type="button" <%=cp == allPages?"disabled":"" %> value="下一页" onclick="changeCp(<%=cp + 1 %>);"> 50 <input type="button" <%=cp == allPages?"disabled":"" %> value="尾页" onclick="changeCp(<%=allPages %>);"> 51 第 <%=cp %> 页 / 共 <%=allPages %> 页 52 <br> 53 请输入查询关键字：<input type="text" name="keyword" value="<%=request.getParameter("keyword")%>"> 54 <input type="submit" value="查询"> 55 </form> 56 <script type="text/javascript"> 57 function changeCp(newcp) { 58 // 改变当前页数 59 document.getElementById("cp").value = newcp; 60 // 提交表单 61 document.getElementById("split_page_form").submit(); 62 } 63 </script> 64 65 </center> 66 </body> 67 </html>
8、编写控制器来自动接收参数，以及进行数据操作
之后需要编写SpringMVC的控制器来自动接收参数，并进行数据操作。
代码呈现：
1 package org.liky.sina.action; 2 3 import java.util.List; 4 5 import javax.annotation.Resource; 6 7 import org.liky.sina.dao.INewsDAO; 8 import org.liky.sina.utils.HDFSUtils; 9 import org.liky.sina.vo.News; 10 import org.springframework.stereotype.Controller; 11 import org.springframework.web.bind.annotation.RequestMapping; 12 import org.springframework.web.bind.annotation.RequestParam; 13 import org.springframework.web.servlet.ModelAndView; 14 15 16 @Controller 17 public class NewsAction { 18 private INewsDAO newsdao; 19 20 @RequestMapping(value="/search.do") 21 public ModelAndView search(@RequestParam String keyword,@RequestParam(defaultValue="1") int currentPage){ 22 ModelAndView mv= new ModelAndView(); 23 //一页显示10条数据 24 int pageSize=10; 25 26 try{ 27 Integer[] ids=HDFSUtils.getIdsByKeyword(keyword); 28 //根据这些id查询相应的结果 29 List<News> allNews=newsdao.findByIds(ids, (currentPage-1), pageSize); 30 31 int count=newsdao.getAllCount(ids); 32 //计算一个关键词读取的数据显示总页数 33 int allPages=count/pageSize; 34 if(count%pageSize!=0){ 35 allPages++; 36 } 37 38 //结果传递回页面显示 39 mv.addObject("allNews",allNews); 40 mv.addObject("allPages", allPages); 41 mv.addObject("currentPage", currentPage); 42 43 //切换到页面上 44 mv.setViewName("/result.jsp"); 45 }catch(Exception e){ 46 e.printStackTrace(); 47 } 48 49 return mv; 50 } 51 52 @Resource(name="newsDAOImpl") 53 public void setNewsdao(INewsDAO newsdao){ 54 this.newsdao=newsdao; 55 56 } 57 }
9、过滤器解决乱码问题
测试时会有乱码出现，因此还要编写一个过滤器来处理乱码。
如果是MyEclipse的乱码问题，只需修改：
【1】过滤器代码呈现：
1 package org.liky.sina.filter; 2 /** 3 * 过滤器，解决网页乱码的问题 4 */ 5 import java.io.IOException; 6 7 import javax.servlet.Filter; 8 import javax.servlet.FilterChain; 9 import javax.servlet.FilterConfig; 10 import javax.servlet.ServletException; 11 import javax.servlet.ServletRequest; 12 import javax.servlet.ServletResponse; 13 14 public class EncodingFilter implements Filter { 15 16 @Override 17 public void destroy() { 18 } 19 20 @Override 21 public void doFilter(ServletRequest arg0, ServletResponse arg1, 22 FilterChain arg2) throws IOException, ServletException { 23 //修改编码格式为UTF-8 24 arg0.setCharacterEncoding("UTF-8"); 25 arg2.doFilter(arg0, arg1); 26 } 27 28 @Override 29 public void init(FilterConfig arg0) throws ServletException { 30 // TODO Auto-generated method stub 31 32 } 33 34 }
【2】在web.xml中配置这个过滤器：
1 <filter> 2 <filter-name>encoding</filter-name> 3 <filter-class>org.liky.sina.filter.EncodingFilter</filter-class> 4 </filter> 5 <filter-mapping> 6 <filter-name>encoding</filter-name> 7 <url-pattern>/*</url-pattern> 8 </filter-mapping>
10、结果显示
关于其他的代码在参考《Lucene搜索引擎+HDFS+MR完成垂直搜索》。
运行结果如下：
控制台显示：
浏览器index.jsp显示：
搜索结果 result.jsp 显示,尾部实现了分页功能，并且还可以进行搜索：
11、总结
首先上一篇结尾存在的乱码问题在此处第九部分，给出了过滤器的方法，将编码格式改为UTF-8，已经解决了。
关于垂直搜索引擎，是针对某一个行业的专业搜索引擎（本次项目是对新浪新闻的数据收集，爬取深度为5），是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
本篇用SpringMVC框架的技术完成数据的垂直搜索，相比来说，结构更加清晰，难点在于两个配置文件的修改，以及在代码中使用配置文件。
思路流程：
1、 DAO操作类根据首页搜索框关键词的输入，获取HDFS的id，以便从数据库提取一组信息；
2、 配置文件实现了数据库的连接，并简化了DAO的流程实现；
3、 SpringMVC的控制器自动接收参数，并进行数据操作；
4、 JSP文件接收控制器传递的数据，呈现在结果页面。
本人撰写，转载请注明出处。
