使用DataImportHandler进行简单数据导入还是比较有效的,特别是DIH中针对简单的数据库表,可以把完全导入和增量导入合并成一个语句,非常方便。我的使用方式如下所示
1。配置schema
- <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
- <lst name="defaults">
- <str name="config">/home/tomcat/bin/solr/conf/data-config.xml</str>
- </lst>
- </requestHandler>
2.添加data-config文件
data-config.xml
- <dataConfig>
- <dataSource type="JdbcDataSource"
- driver="com.mysql.jdbc.Driver"
- url="jdbc:mysql://127.0.0.1/db"
- user="root"
- password="pass"
- batchSize="-1"/>
- <document>
- <entity name="id" pk="id"
- query="select id,username,text,cat from hot where '${dataimporter.request.clean}' != 'false' OR timestamp > '${dataimporter.last_index_time}'">
- <field column="id" name="id"/>
- <field column="text" name="text"/>
- <field column="username" name="username_s"/>
- <field column="cat" name="cat_t"/>
- </entity>
- </document>
- </dataConfig>
3.让DIH周期性的运行
修改dataimport.properties文件,这个是自动生成的,同在solr/conf下,添加参数
interval 间隔时间 单位 分钟
syncEnabled=1 打开周期运行
params 其实就是具体调用的url,周期运行就是周期性的访问一个url
- #Wed Dec 28 09:29:42 UTC 2011
- port=8983
- interval=5
- last_index_time=2011-12-28 09\:29\:26
- syncEnabled=1
- webapp=solr
- id.last_index_time=2011-12-28 09\:29\:26
- server=127.0.0.1
- params=/select?qt\=/dataimport&command\=full-import&clean\=false&commit\=true&optimize\=false
到此还并不能周期运行,在solr的wiki中有一段实现这个功能的代码,但并没有加入到solr的发行包中,于是我们需要重新编译这段代码,打包放到webapp/solr/WEB-INF/lib中才行
- <web-app>
- <listener>
- <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>
- </listener>
- ...
- </web-app>
apache-solr-dataimporthandler-scheduler.jar下载见原文链接:http://martin3000.iteye.com/blog/1328833