上一页 1 2 3 4 5 6 ··· 8 下一页
2018年5月23日
HBase实验（CRUD和MR入库）
摘要： [toc] 前期准备 启动zk 启动HDFS 启动HBase 在HBase shell中实现CRUD操作 "熟悉Hbase shell" 1. 启动命令行客户端 2. 创建表 指定命名空间 、表名 以及列族 、`additional essential name sex additional int 阅读全文
posted @ 2018-05-23 09:15 McHades 阅读(389) 评论(0) 推荐(0) 编辑
HBase安装和启动
摘要： [toc] 认识HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”。利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。 HBase是Google Bigtable的开源实现 阅读全文
posted @ 2018-05-23 09:12 McHades 阅读(416) 评论(0) 推荐(0) 编辑
MaperReduce实验
摘要： [toc] MaperReduce实现WordCount程序二次排序 前期准备 启动Zookeeper 启动HDFS 启动Yarn 将要处理的数据文件上传到HDFS 1. 工程结构 导入 核心包及其依赖包 导入 包及其依赖包 导入 包及其依赖 2. 编写自定义NewKey类 3. 编写WCMappe 阅读全文
posted @ 2018-05-23 09:05 McHades 阅读(212) 评论(0) 推荐(0) 编辑
2018年5月22日
4.Hadoop集群搭建之启动
摘要： 配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。 前期准备 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服务 使用 命令查看进程，确保只有 进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用 阅读全文
posted @ 2018-05-22 22:06 McHades 阅读(378) 评论(0) 推荐(0) 编辑
3.Hadoop集群搭建之Zookeeper安装
摘要： 前期准备 下载Zookeeper 3.4.5 若无特殊说明，则以下操作均在master节点上进行 1. 解压Zookeeper 直接解压Zookeeper压缩包 tar zxvf zookeeper 3.4.5.tar.gz C /hadoop/app 2. 修改Zookeeper中conf下的配置 阅读全文
posted @ 2018-05-22 21:56 McHades 阅读(355) 评论(0) 推荐(0) 编辑
2.Hadoop集群搭建之Hadoop（包含HDFS和Yarn）安装
摘要： 前期准备 下载JDK 6.0以上版本 下载Hadoop 2.4.1 1. 安装JDK 因为Hadoop是Java开发的，所以需要安装JDK，建议JDK 6.0以上。 解压JDK 配置环境变量 2. 安装Hadoop 解压Hadoop安装包 同JDK解压方式 修改六个配置文件 注：hadoop2.x的 阅读全文
posted @ 2018-05-22 21:48 McHades 阅读(302) 评论(0) 推荐(0) 编辑
1.Hadoop集群搭建之Linux主机环境准备
摘要： Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master，2个从节点slave1,slave2 虚拟机网络连接模式为 （非虚拟机环境可跳过） 集群规划如下表： 主机名 | IP | 子网掩码 | 安装的软件 | | | master | 192.168.1.201 | 255. 阅读全文
posted @ 2018-05-22 21:47 McHades 阅读(187) 评论(0) 推荐(0) 编辑
2018年5月14日
Python常见函数用法
摘要： 1. shape()函数 在 模块 输入参数：类似数组（比如列表，元组）等，或是数组 返回：一个整型数字的元组，元组中的每个元素表示相应的数组每一维的长度 2. tile()函数 返回 将`A reps`次 用`x n`行 列矩阵 3. sum()函数 为普通的求和 a.sum(axis=1) 将矩 阅读全文
posted @ 2018-05-14 15:55 McHades 阅读(1655) 评论(0) 推荐(0) 编辑
2018年5月2日
VMWare中三种网络连接模式的区别
摘要： VMWare中有桥接、NAT、host only三种网络连接模式，在搭建伪分布式集群时，需要对集群的网络连接进行配置，而这一操作的前提是理解这三种网络模式的区别。 参考以下两篇文章可以更好的理解： "VMware中，该如何理解桥接网络与NAT 网络模式" "VMware中三种网络连接的区别" 阅读全文
posted @ 2018-05-02 20:09 McHades 阅读(285) 评论(0) 推荐(0) 编辑
2018年5月1日
解决SDK未授权问题
摘要： 问题描述 在启动项目的时候报错了，如下： 解决方案 网上的解决方案是运行对应目录下的授权脚本，之后会有license文件生成，可是我的授权文件本来就存在了。 最后，在github上找到解决方案：需要在SDK Manager里多下载两个东西 和`Android Support Repository`如 阅读全文
posted @ 2018-05-01 17:03 McHades 阅读(1571) 评论(2) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 8 下一页