09 2014 档案

数据挖掘-分词入门
摘要：谷歌4亿英镑收购人工智能公司DeepMind，百度目前正推进“百度大脑”项目，腾讯、阿里等各大巨头布局深度学习。随着社会化数据大量产生，硬件速度上升、成本降低，大数据技术的落地实现，让冷冰冰的数据具有智慧逐渐成为新的热点。要从数据中发现有用的信息就要用到数据挖掘技术，不过买来的数据挖掘书籍一打开全是... 阅读全文
posted @ 2014-09-30 11:42 李克华 阅读(1587) 评论(2) 推荐(3) 编辑
HBase 专题技术收录
摘要：HBase系列：博客地址：http://www.cnblogs.com/panfeng412/tag/HBase/技术专题文章：HBase中MVCC的实现机制及应用情况HBase在单Column和多Column情况下批量Put的性能对比分析集群应用及运维经验小结HBase一次慢查询请求的问题排查与解... 阅读全文
posted @ 2014-09-30 11:29 李克华 阅读(541) 评论(1) 推荐(0) 编辑
搜索引擎-处理查询
摘要：文章转自：http://blog.csdn.net/hguisu/article/details/7978451我们从用户的角度来看，用户不关心什么索引结构是倒排还是签名文件，也不需要知道相关排序算法。用户提交了查询，就需要获取满意的搜索结果。这个搜索结果就是搜索引擎是否提供有效的服务。1.查询流程... 阅读全文
posted @ 2014-09-30 11:09 李克华 阅读(671) 评论(0) 推荐(0) 编辑
搜索引擎的技术架构
摘要：文章转自：http://blog.csdn.net/hguisu/article/details/79559851. 搜索引擎的分类搜索引擎按其工作方式主要可分为三种：分别是全文搜索引擎（Full Text Search Engine）目录索引类搜索引擎（Search Index/Directory... 阅读全文
posted @ 2014-09-30 11:02 李克华 阅读(5030) 评论(0) 推荐(1) 编辑
搜索引擎-网络爬虫
摘要：文章转自：http://blog.csdn.net/hguisu/article/details/7949844通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件... 阅读全文
posted @ 2014-09-30 11:01 李克华 阅读(928) 评论(0) 推荐(0) 编辑
倒排索引-搜索引擎的基石
摘要：文章转自：http://blog.csdn.net/hguisu/article/details/79697571.概述 在关系数据库系统里，索引是检索数据最有效率的方式,。但对于搜索引起，他它并不能满足其特殊要求：1）海量数据：搜索引擎面对的是海量数据，像Google，百度这样大型的商业搜索引擎索... 阅读全文
posted @ 2014-09-30 10:58 李克华 阅读(2913) 评论(0) 推荐(0) 编辑
搜索引擎-倒排索引基础知识
摘要：文章转自：http://blog.csdn.net/hguisu/article/details/7962350搜索引擎的索引1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系... 阅读全文
posted @ 2014-09-30 10:56 李克华 阅读(2519) 评论(0) 推荐(0) 编辑
ZooKeeper架构设计及其应用要点
摘要：问题导读：1.ZooKeeper的数据模型是什么 ？2.ZooKeeper应用有哪些陷阱 ？3.每个节点（ZNode）中存储的是什么？4.一个ZNode维护了一个状态结构都包含了什么？5.ZNode组成结构是什么？6.Watches的机制是什么？7.ZooKeeper内置了哪4种方式实现ACL？前言... 阅读全文
posted @ 2014-09-29 10:05 李克华 阅读(6076) 评论(0) 推荐(0) 编辑
zookeeper适用场景：zookeeper解决了哪些问题
摘要：问题导读：1.master挂机，传统做法备份必然是以前数据，该如何保证挂机数据与备份数据一致？2.分布式系统如何实现对同一资源的访问，保证数据的强一致性？3.集群中的worker挂了，传统做法是什么？zookeeper又是如何做的？分布式系统的运行是很复杂的，因为涉及到了网络通信还有节点失效等不可控... 阅读全文
posted @ 2014-09-29 10:01 李克华 阅读(28551) 评论(1) 推荐(2) 编辑
ZooKeeper系列4：ZooKeeper API简介及编程
摘要：问题导读：1.ZooKeeper API 共包含几个包？2.如何使用ZooKeeper API 创建zookeeper应用程序？1)ZooKeeper API 简介ZooKeeper API 共包含 5 个包，分别为： org.apache.zookeeper ， org.apache.zookee... 阅读全文
posted @ 2014-09-29 09:57 李克华 阅读(7303) 评论(0) 推荐(0) 编辑
ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作
摘要：问题导读1.ZooKeeper包含哪些常用命令？2.通过什么命令可以列出服务器 watch 的详细信息？3.ZooKeeper包含哪些操作？4.ZooKeeper如何创建zookeeper？常用命令ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令，用来获取 ZooKeep... 阅读全文
posted @ 2014-09-29 09:56 李克华 阅读(156133) 评论(3) 推荐(3) 编辑
ZooKeeper系列2：ZooKeeper的运行
摘要：问题导读1、如何启动ZooKeeper 服务？2、如何启动集群1）单机模式用户可以通过下面的命令来启动 ZooKeeper 服务：zkServer.sh start复制代码这个命令默认情况下执行 ZooKeeper 的 conf文件夹下的 zoo.cfg 配置文件。当运行成功用户会看到类似如下的提示... 阅读全文
posted @ 2014-09-29 09:55 李克华 阅读(4922) 评论(0) 推荐(0) 编辑
ZooKeeper系列1：ZooKeeper的配置
摘要：问题导读：1.zookeeper有哪些配置文件？2.zookeeper最低配置需要哪些配置项？3.zookeeper高级配置需要配置哪些项？ZooKeeper 的功能特性通过 ZooKeeper 配置文件来进行控制管理（ zoo.cfg 配置文件）。 ZooKeeper 这样的设计其实是有它自身的原... 阅读全文
posted @ 2014-09-29 09:53 李克华 阅读(2207) 评论(0) 推荐(1) 编辑
hadoop入门：hadoop使用shell命令总结
摘要：第一部分：Hadoop Bin后面根据项目的实际需要Hadoop Bin包括:Hadoophadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置文件目录）。HADO... 阅读全文
posted @ 2014-09-29 09:43 李克华 阅读(5712) 评论(0) 推荐(0) 编辑
Hadoop Shell命令字典（可收藏）
摘要：可以带着下面问题来阅读：1.chmod与chown的区别是什麽？2.cat将路径指定文件的内容输出到哪里？3.cp能否是不同之间复制？4.hdfs如何查看文件大小？5.hdfs如何合并文件？6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么？8.如何查看文件的创建时间9.查看文件... 阅读全文
posted @ 2014-09-29 09:41 李克华 阅读(3409) 评论(0) 推荐(0) 编辑
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）
摘要：问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist... 阅读全文
posted @ 2014-09-29 09:33 李克华 阅读(810787) 评论(29) 推荐(86) 编辑
谈MongoDB读取连接超时的异常
摘要：今天在现场的哥们发来异常，让我解决，错误信息如下：HTTP Status 500 - Read operation to server 192.168.1.110:20001 failed on database wpdb; nested exception is com.mongodb.Mongo... 阅读全文
posted @ 2014-09-18 18:39 李克华 阅读(34984) 评论(0) 推荐(1) 编辑
HTable和HTablePool使用注意事项
摘要：HTable和HTablePool都是HBase客户端API的一部分，可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况，对二者使用过程中的注意事项做一下概括总结。HTableHTable是HBase客户端与HBase服务端通讯的Java API对象，客户端可以通过HTable对... 阅读全文
posted @ 2014-09-17 08:37 李克华 阅读(2123) 评论(0) 推荐(0) 编辑
hadoop data 相关开源项目（近期学习计划）
摘要：计划学习几个hadoop相关的开源项目：1、spring hadoop2、spring batch3、spring redis4、spring mongo相关项目样例：https://github.com/spring-projects/spring-hadoop-samples 阅读全文
posted @ 2014-09-16 21:13 李克华 阅读(636) 评论(0) 推荐(0) 编辑
Zabbix监控windows部署安装
摘要：Zabbix agent 在windows上安装部署1、 下载与解压地址: http://www.zabbix.com/downloads/2.4.0/zabbix_agents_2.4.0.win.zip解压zabbix_agents_2.4.0.win.zipconf目录存放是agent配置文件... 阅读全文
posted @ 2014-09-12 16:51 李克华 阅读(49116) 评论(2) 推荐(2) 编辑

点击右上角即可分享
微信分享提示