searchDM - 博客园

2009年10月7日

摘要： LucidGaze for Solr 是由 Lucid 开发的开源 solr 监测工具，提供快照、存储、交互视图、比较各种 solr 性能指标。包括： Record and graph metrics捕获多种 handler 的每秒请求数（Capture requests-per-second），如：StandardRequestHandler捕获每个请求的处理时间（Capture processing time per request）。…… 现来试用下 1、下载 LucidGaze for Solr 1.0 http://www.lucidimagination.com... 阅读全文

posted @ 2009-10-07 16:17 searchDM 阅读(555) 评论(1) 推荐(0) 编辑

solr 增加索引，出现找不到段文件

摘要：在 solr 应用的 slave 机上频繁地提交文档做索引，偶尔出现找不到段文件的错误，一星期到二星期一次，其它两台相同的应用又不会。提交文档时的错误： org.apache.solr.common.SolrException: Internal Server ErrorInternal Server Errorrequest: http://localhost:8080/solr/update?wt=javabin&version=2.2 at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.re... 阅读全文

posted @ 2009-10-07 16:15 searchDM 阅读(1573) 评论(0) 推荐(0) 编辑

2009年9月28日

solr的facet解读

摘要：开发采用更加灵活的solr搜索服务器来实现分层功能。1.QueryResponse类:view plaincopy to clipboardprint?·········10········20········30········40··· 阅读全文

posted @ 2009-09-28 11:09 searchDM 阅读(1605) 评论(0) 推荐(0) 编辑

2009年9月25日

HbaseArchitecture

摘要： HbaseArchitecture HBase架构原文地址：http://wiki.apache.org/hadoop/Hbase/HbaseArchitecture 本文来自博客园逖靖寒 http://gpcuster.cnblogs.com关于HBase，有一篇非常容易入门的文章，可以参考：Understanding HBase and BigTable 介绍为了更好地理解本文所讲的内容，强烈建议您先去阅读Google的论文Bigtable paper。 HBase是一个Apa... 阅读全文

posted @ 2009-09-25 00:25 searchDM 阅读(179) 评论(0) 推荐(0) 编辑

2009年9月16日

DataImport（译）

摘要：大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据，可以一次全部导入，也可以增量导入。概览目标能够读取关系数据库中的数据。通过可配置的方式，能够将数据库中多列、多表的数据生成solr文档能够通过solr文档更新solr 提供通过配置文件就能够导入所有数据的能力能够发现并处理由insert、update带来的变化（我们假定在表中有一个叫做“last-modified的列”）能够配置 “完全导入”和“增量导入”的时间让读取xml文件，并建立索引成为可配置。能够将.. 阅读全文

posted @ 2009-09-16 12:36 searchDM 阅读(562) 评论(0) 推荐(0) 编辑

java.lang.OutOfMemoryError: Java heap space 解决方法

摘要：使用Java程序从数据库中查询大量的数据时出现异常:java.lang.OutOfMemoryError: Java heap space 在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。 JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置. JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。例如：java -jar -Xmn16m -Xms64m -Xmx128m M 阅读全文

posted @ 2009-09-16 12:31 searchDM 阅读(865) 评论(0) 推荐(0) 编辑

hadoop 文件浏览器

摘要：在 Eclipse 环境下进行开发和调试 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/index.html IBM Hadoop Eclipse Plugin http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/mapreduce_plugin.zip 它可以把本地代码在hadoop上运行. 右击main类, 点"Run on hadoop", 它会把类打包成jar上传到服务器, 然后运行. 但有个缺点:main 的输入参数阅读全文

posted @ 2009-09-16 12:29 searchDM 阅读(608) 评论(0) 推荐(0) 编辑

改 hadoop ssh 端口

摘要：启动hadoop，但ssh 端口不是默认的22怎么样？好在它可以配置。在conf/hadoop-env.sh里改下。如： exportHADOOP_SSH_OPTS="-p1234" 阅读全文

posted @ 2009-09-16 12:29 searchDM 阅读(554) 评论(0) 推荐(0) 编辑

Hadoop 的一些学习资料

摘要： infoQ.com的：分布式计算开源框架Hadoop入门实践，作者：岑文初分布式计算开源框架Hadoop介绍Hadoop中的集群配置和使用技巧Hadoop基本流程与应用开发 ibm.com的：用 Hadoop 进行分布式并行编程基本概念与安装部署程序实例与分析部署到分布式环境 Hadoop的0.17版本中文文档：http://www.hadoop.org.cn/document/cn/r0.17.0/ 其它： Hadoop分布式文件系统：架构和设计要点 http://www.hadoop.org.cn/ 官网：http://hadoop.apache.org/ 官方wiki：h... 阅读全文

posted @ 2009-09-16 12:28 searchDM 阅读(495) 评论(0) 推荐(0) 编辑

solr 中文分词 mmseg4j 使用例子

摘要： mmseg4j 第一个版本就可以方便地与 solr 集成，在 google code 上面有简单的说明，第一版的发布博客也有简单的使用说明：中文分词 mmseg4j。为了更清楚说明在 solr 中使用 mmseg4j 中文分词，还是写篇博客吧。目前有两个版本的 mmseg4j，1.7 版比较耗内存（一个词库目录就要 50M 左右），所以在默认jvm内存大小会抛出 OutOfMemoryErroy。我这里示例两个词库目录，所以不用目前最新版 1.7.2。而用 1.6.2 版。下载：mmseg4j-1.6.2 和词库，或就下载一个源码包（包括了词库，从源码构建请看：中文分词 mmseg4j 1 阅读全文

posted @ 2009-09-16 12:27 searchDM 阅读(806) 评论(0) 推荐(0) 编辑

wycg1984

公告