爱如夏花

摘要： PS：Google，无疑是互联网时代最闪亮的明星。截止到今天为止，Google美国主站在Alexa排名已经连续3年第一，Alexa Top100中，各国的Google分站竟然霸占了超过20多个名额，不得不令人感叹Google的强大。不论何时，不论何地，也不论你搜索多么冷门的词汇，只要你的电脑连接互联 阅读全文

摘要： 在 NoSQL 方面，之前了解到百度对 Hadoop 和 hypertable 都有研究，而且 hypertable 方面更是作为其主要赞助商之一，但之前和百度的一些朋友了解到百度内部对 hypertable 倒是使用不多，相反在 Hadoop 方面倒是有比较大的应用实例。下面一篇文章描述了百度内部 阅读全文

摘要： 随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如 阅读全文

摘要： 这里列出了hive几乎所有的配置项，很有用，收藏： hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null， 阅读全文

摘要： PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软 阅读全文

摘要： 重读hbase文档，把所有的配置项整理一遍： hbase.tmp.dir：hadoop本地文件系统的临时目录，默认是${hbase.tmp.dir}/hbase，或者直接用绝对路径如/data/hbase； hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认 阅读全文

摘要： 随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数 阅读全文

摘要： 大数据通用处理平台 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout 数据分析/数据仓库(SQL类) 8.1 ElasticSearch 8.2Logstash 8.3Kibana 消息队列 流式计算 日志收集 Scribe Flume 编程语言 数据分析挖掘 MAT 阅读全文

摘要： PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于100 阅读全文

摘要： 目前，为了使web能适应大规模的访问,需要实现应用的集群部署. 而实现集群部署首先要解决session的统一，即需要实现session的共享机制。 目前，在集群系统下实现session统一的有如下几种方案： (1) 应用服务器间的session复制共享（如tomcat session共享） (2) 阅读全文

摘要： 一 创建分支branches 弹出下面对话框<喎�"http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vcD4KPHA+IDxpbWcgc3JjPQ=="http://www.2cto.com/uploadfile/C 阅读全文