好记性不如烂笔头！

摘要： 进入我这篇博客的博友们，相信你们具备有一定的spark学习基础和实践了。 先给大家来梳理下。spark的运行模式和常用的standalone、yarn部署。这里不多赘述，自行点击去扩展。 1、Spark运行模式概述 2、Spark standalone模式的安装（spark-1.6.1-bin-ha 阅读全文

摘要： Hive 安装依赖 Hadoop 的集群，它是运行在 Hadoop 的基础上。 所以在安装 Hive 之前，保证 Hadoop 集群能够成功运行。 同时，比如我这里的master、slave1和slave2组成的hadoop集群。hive的安装可以安装在任一一个节点上，当然，也可以安装在集群之外，取 阅读全文

摘要： Hive总结（七）Hive四种数据导入方式 （强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看） 把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入 把MySQL的导出数据导入到HDFS的最简单方法就是 阅读全文

摘要： 场景 好的，假设项目数据调研与需求分析已接近尾声，马上进入Coding阶段了，辣么在Coding之前需要干马呢？是的，“统一开发工具、开发环境的搭建与本地测试、测试环境的搭建与测试” - 本文详细记录实际Spark项目开发环境的搭建。 分析 开发工具 操作系统：win 10 JDK 版本 ：jdk1 阅读全文

摘要： 前言 第1章 为什么Spark SQL？ 第2章 Spark SQL运行架构 第3章 Spark SQL组件之解析 第4章 深入了解Spark SQL运行计划 第5章 测试环境之搭建 第6章 Spark SQL之基础应用 第7章 ThriftServer和CLI 第8章 Spark SQL之综合应用 阅读全文

摘要： 前言 Spark MLlib是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。 阅读全文

摘要： 原文出自于： http://my.csdn.net/lovehuangjiaju 感谢！ 也感谢，http://m.blog.csdn.net/article/details?id=52233484 这是本人收集的Scala学习资料，觉得还不错。转载比较费事，所以就只给链接了。顺便做个目标，方便好找 阅读全文

摘要： Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments HadoophiveHiveQLsql分区表 Hive安装及使用攻略 让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群 阅读全文

摘要： 用Maven构建Hadoop项目 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, 阅读全文

摘要： Hive导入10G数据的测试 让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。 现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单 阅读全文