随笔分类 -  05 大数据

Hadoop生态系统相关博客目录，包括环境部署配置，常见错误，以及编程相关内容。
Storm安装部署
摘要：0x01 环境说明 OS: CentOS 6.5 x86_64 JDK: jdk 8u111 linux x64 Hadoop: hadoop 2.6.5 Zookeeper: zookeeper 3.4.6 Storm: storm 0.9.7 0x02 安装配置 2.1 下载 可以在 "下载列表 阅读全文
posted @ 2017-10-21 12:37 ning-wang 阅读(2022) 评论(0) 推荐(0) 编辑
Apache Kylin安装部署
摘要：0x01 Kylin安装环境 Kylin依赖于hadoop大数据平台，安装部署之前确认，大数据平台已经安装 , , 。 1.1 了解kylin的两种二进制包 预打包的二进制安装包： "apache kylin 1.6.0 bin.tar.gz" 特别二进制包： "apache kylin 1.6.0 阅读全文
posted @ 2017-09-03 11:28 ning-wang 阅读(1363) 评论(0) 推荐(0) 编辑
Kettle安装和配置
摘要：0x01 Kettle软件概览 Spoon ：集成开发环境 Kitchen ：作业的命令行运行程序，可以通过Schell脚本来调用 Pan ：转换的命令行程序 Carte ：轻量级的HTTP服务，后台运行，监听HTTP请求来运行一个作业 1.1 Spoon 主要用于ETL设计阶段。 1.2 命令行启 阅读全文
posted @ 2017-08-17 22:12 ning-wang 阅读(2157) 评论(0) 推荐(0) 编辑
IntelliJ IDEA Windows下Spark开发环境部署
摘要：0x01 环境说明 1.1 本地 OS: windows 10 JDK: jdk1.8.0_121 Scala: scala 2.11.11 IDE: IntelliJ IDEA ULTIMATE 2017.2.1 1.2 服务器 OS: CentOS_6.5_x64 JDK: jdk1.8.111 阅读全文
posted @ 2017-08-14 20:34 ning-wang 阅读(2333) 评论(1) 推荐(0) 编辑
Mahout安装部署
摘要：0x01 简介 Mahout 是一套具有可扩充能力的机器学习类库。它提供机器学习框架的同时，还实现了一些可扩展的机器学习领域经典算法的实现，可以帮助开发人员更加方便快捷地创建智能应用程序。通过和 Apache Hadoop 分布式框架相结合，Mahout 可以有效地使用分布式系统来实现高性能计算。 阅读全文
posted @ 2017-07-11 21:26 ning-wang 阅读(1057) 评论(1) 推荐(1) 编辑
Hive安装部署
摘要：0x01 环境说明 OS: CentOS 6.5 x86_64 java: jdk1.8.0_111 hadoop: hadoop 2.6.5 hive: hive 2.1.1 0x02 安装配置 2.1 下载 下载地址：http://www.apache.org/dyn/closer.cgi/hi 阅读全文
posted @ 2017-06-25 19:33 ning-wang 阅读(987) 评论(0) 推荐(1) 编辑
Spark安装部署
摘要：0x01 软件环境 Spark 官方提供了三种集群部署方案： , , 。其中 Standalone 最为方便，本文主要讲述结合 的部署方案。 软件环境： CentOS_6.5_x64 hadoop 2.5.2 jdk 1.8.111 scala 2.11.11 spark 2.1.0 0x02 安装 阅读全文
posted @ 2017-06-12 19:00 ning-wang 阅读(562) 评论(0) 推荐(1) 编辑
HBase集群安装部署
摘要：0x01 软件环境 OS: CentOS 6.5 x86_64 JDK: jdk 8u111 linux x64 Hadoop: hadoop 2.6.5 Zookeeper: zookeeper 3.4.6 Hbase: hbase 0.98.24 0x02 集群概况 | IP | hostnam 阅读全文
posted @ 2017-02-26 22:00 ning-wang 阅读(234) 评论(0) 推荐(1) 编辑
Hadoop集群时间同步
摘要：[TOC] 0x01 ntp安装 1.1 检查时间服务器是否安装 1.2 设置ntp自启动 按上面的安装方式在内网每台服务器上都安装好 软件包。 完成后，都需要配置 服务为自启动 1.3 手动同步时间 在配置前，先使用 手动同步下时间，免得本机与外部时间服务器时间差距太大，让 不能正常同步。 0x0 阅读全文
posted @ 2017-02-25 23:09 ning-wang 阅读(398) 评论(0) 推荐(0) 编辑
ZooKeeper安装部署
摘要：0x00 环境说明 OS: CentOS 6.5 x86_64 JDK: jdk 8u111 linux x64 Hadoop: hadoop 2.6.5 Zookeeper: zookeeper 3.4.6 0x01 简介 Zookeeper是一个很好的集群管理工具，被大量用于分布式计算。如Had 阅读全文
posted @ 2017-02-19 18:18 ning-wang 阅读(550) 评论(1) 推荐(1) 编辑
Hadoop2.5.2 安装部署
摘要：0x00 平台环境 OS: CentOS 6.5 x86_64 JDK: jdk 8u111 linux x64 Hadoop: hadoop 2.5.2 0x01 操作系统基本设置 1.1 网络配置 修改主机名 配置静态IP 配置 文件 1.2 关闭防火墙和SELinux 关闭防火墙 关闭 接着执 阅读全文
posted @ 2017-02-18 21:54 ning-wang 阅读(1168) 评论(1) 推荐(0) 编辑
Hadoop1.0.3安装部署
摘要：0x00 大数据平台相关链接 官网： "http://hadoop.apache.org/" 主要参考教程： "http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html" 0x01 hadoop平台环境 操作系统：CentOS 6 阅读全文
posted @ 2017-02-14 14:15 ning-wang 阅读(451) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示