大数据与云计算 - 随笔分类(第6页) - 一天不进步，就是退步

solr源码分析之searchComponent

摘要：上文solr源码分析之数据导入DataImporter追溯中提到了solr的工作流程，其核心是各种handler。handler定义了各种search Component， @Override public void handleRequestBody(SolrQueryRequest req,... 阅读全文

posted @ 2015-08-25 19:10 一天不进步，就是退步阅读(1356) 评论(0) 推荐(0) 编辑

solr源码分析之数据导入DataImporter追溯。

摘要：若要搜索的信息都是被存储在数据库里面的，但是solr不能直接搜数据库，所以只有借助Solr组件将要搜索的信息在搜索服务器上进行索引，然后在客户端供客户使用。1. SolrDispatchFilterSolrDispatchFilter的作用：将请求的url映射到定义在solrconfig.xml... 阅读全文

posted @ 2015-08-24 15:55 一天不进步，就是退步阅读(2392) 评论(0) 推荐(0) 编辑

spark初识

摘要：spark特性：提供了java scala python 和R的api支持。在生产环境上扩展超过8000个节点。可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。高级别的流处理库s... 阅读全文

posted @ 2015-08-21 15:11 一天不进步，就是退步阅读(420) 评论(0) 推荐(0) 编辑

Spark：一个高效的分布式计算系统--转

摘要：原文地址：http://soft.chinabyte.com/database/431/12914931.shtml概述什么是Spark ◆ Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于map reduce算法实... 阅读全文

posted @ 2015-08-21 14:10 一天不进步，就是退步阅读(429) 评论(0) 推荐(0) 编辑

Importing/Indexing database (MySQL or SQL Server) in Solr using Data Import Handler--转载

摘要：原文地址：https://gist.github.com/maxivak/3e3ee1fca32f3949f052Install Solrdownload and install Solr fromhttp://lucene.apache.org/solr/.you can access Solr ... 阅读全文

posted @ 2015-08-21 11:21 一天不进步，就是退步阅读(2140) 评论(0) 推荐(0) 编辑

DIH增量、定时导入并检索数据--转载

摘要：原文地址：http://www.ifunit.com/984/solr%E5%AD%A6%E4%B9%A0%EF%BC%88%E4%BA%94%EF%BC%89dih%E5%A2%9E%E9%87%8F%E3%80%81%E5%AE%9A%E6%97%B6%E5%AF%BC%E5%85%A5%E5%... 阅读全文

posted @ 2015-08-20 10:48 一天不进步，就是退步阅读(502) 评论(0) 推荐(0) 编辑

solr4.2增量索引之同步(修改，删除，新增)--转载

摘要：原文地址：http://www.jiancool.com/article/12743229775/;jsessionid=14E9B3F1BB33399799884B5C8F15DDE1solr增量索引配置1.在进行增量索引前，首先要弄懂几个必要的属性，以及数据库建表事项，和dataimporter... 阅读全文

posted @ 2015-08-20 10:43 一天不进步，就是退步阅读(6680) 评论(0) 推荐(0) 编辑

lucence学习系列之一基本概念

摘要：1. Lucence基本概念Lucence是一个java编写的全文检索类库，使用它可以为一个应用或者站点增加检索功能。它通过增加内容到一个全文索引来完成检索功能。然后允许你基于这个索引去查询，返回结果，结果要么根据查询的相关度来排序要么根据任意字段如文档最后修改日期来排序。增加到Lucence的内容... 阅读全文

posted @ 2015-08-14 14:55 一天不进步，就是退步阅读(2583) 评论(0) 推荐(0) 编辑

Hadoop家族学习路线图--转载

摘要：原文地址：http://blog.fens.me/hadoop-family-roadmap/Sep 6, 2013Tags:Hadoophadoop familyroadmapComments:27 CommentsHadoop家族学习路线图Hadoop家族系列文章，主要介绍Hadoop家族产品，... 阅读全文

posted @ 2015-04-30 14:01 一天不进步，就是退步阅读(502) 评论(0) 推荐(0) 编辑

Java + MongoDB Hello World Example--转载

摘要：原文地址：http://www.mkyong.com/mongodb/java-mongodb-hello-world-example/A simple Java + MongoDB hello world example – how to connect, create database, col... 阅读全文

posted @ 2015-03-23 15:48 一天不进步，就是退步阅读(1096) 评论(0) 推荐(0) 编辑

HDFS Architecture--官方文档

摘要：HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many... 阅读全文

posted @ 2014-08-14 15:03 一天不进步，就是退步阅读(883) 评论(0) 推荐(0) 编辑

HDFS Users Guide--官方文档

摘要：HDFS Users GuidePurposeOverviewPrerequisitesWeb InterfaceShell CommandsDFSAdmin CommandSecondary NameNodeCheckpoint NodeBackup NodeImport CheckpointRe... 阅读全文

posted @ 2014-08-14 15:02 一天不进步，就是退步阅读(602) 评论(0) 推荐(0) 编辑

海量存储系列下--转载，值得一读

摘要：海量存储系列之八http://qing.blog.sina.com.cn/1765738567/693f0847330008ii.html首先来回答一个问题：为什么在磁盘中要使用b+树来进行文件存储呢？原因还是因为树的高度低得缘故，磁盘本身是一个顺序读写快，随机读写慢的系统，那么如果想高效的从磁盘中... 阅读全文

posted @ 2014-07-20 15:07 一天不进步，就是退步阅读(1011) 评论(0) 推荐(0) 编辑

海量存储系列上--转载，值得一读

摘要：海量存储之序言http://qing.blog.sina.com.cn/1765738567/693f0847330005sk.html今天玩微薄的时候有人问我有没有数据存储的相关资料，我想了想。。虽然在这个领域内也算有点积累，以前讲课的ppt有200多页，但毕竟ppt的信息量有限。所以在这里将这个... 阅读全文

posted @ 2014-07-20 14:55 一天不进步，就是退步阅读(717) 评论(0) 推荐(0) 编辑

Steps to Install Hadoop on CentOS/RHEL 6---reference

摘要：http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/#TheApache Hadoopsoftware library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models.Read MoreThis article will help you for step by step install and con 阅读全文

posted @ 2014-02-25 19:25 一天不进步，就是退步阅读(937) 评论(0) 推荐(0) 编辑

作为大数据和云计算学习的一个序吧

摘要：hbase文档地址：http://hbase.apache.org/book/book.htmlopenstack资料http://www.openstack.org/ 阅读全文

posted @ 2013-12-10 09:25 一天不进步，就是退步阅读(359) 评论(0) 推荐(0) 编辑

随笔分类 - 大数据与云计算