BigJunOba

2018年7月23日

摘要：一、Kafka的下载与解压 http://kafka.apache.org/downloads.html下载kafka_2.11-1.1.1.tgz.gz并解压到/home/jun下二、配置Kafka集群 1.在Master节点上的配置配置server.properties （1）在Server 阅读全文

posted @ 2018-07-23 18:01 BigJunOba 阅读(1170) 评论(0) 推荐(0) 编辑

Sqoop的安装和验证

摘要： Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具，它可以将关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Kafka是一个开源的分布式消息订阅系统一、Sqoop的安装 1.http://www-eu.apache.org/d 阅读全文

posted @ 2018-07-23 16:10 BigJunOba 阅读(1404) 评论(0) 推荐(0) 编辑

Zookeeper与HBase的安装

摘要：一、Zookeeper的安装 1.http://www-us.apache.org/dist/zookeeper/stable/下载Zookeeper安装包，并将zookeeper-3.4.12.tar.gz复制到/home/jun下并解压 2.使用gedit编辑zoo.cfg配置文件将下面的配置阅读全文

posted @ 2018-07-23 11:42 BigJunOba 阅读(1887) 评论(0) 推荐(0) 编辑

2018年7月22日

Hive的安装

摘要：一、MySQL安装 CenOS7使用MariaDB替代了默认的MySQL。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区维护，采用GPL授权许可。MariaDB完全兼容MySQL，包括API和命令行。 1.下载MySQL：https://dev.mysql.com/downloa 阅读全文

posted @ 2018-07-22 17:06 BigJunOba 阅读(237) 评论(0) 推荐(0) 编辑

在Eclipse中开发MapReduce程序

摘要：一、Eclipse的安装与设置 1.在Eclipse官网上下载eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz文件并将其拷贝到/home/jun/Resources下，然后再将文件拷贝到/home/jun下并解压。 2.执行.eclipse程序即可启动ecl 阅读全文

posted @ 2018-07-22 14:27 BigJunOba 阅读(2670) 评论(0) 推荐(0) 编辑

HDFS基本命令与Hadoop MapReduce程序的执行

摘要：一、HDFS基本命令 1.创建目录：-mkdir 2.查看文件列表：-ls 3.上传文件到HDFS 在/home/jun下新建两个文件jun.dat和jun.txt （1）使用-put将文件从本地复制到HDFS集群（2）使用-copyFromLocal将文件从本地复制到HDFS集群（3）查看是否阅读全文

posted @ 2018-07-22 11:00 BigJunOba 阅读(890) 评论(0) 推荐(0) 编辑

2018年7月20日

Hadoop环境部署

摘要： 1.虚拟机克隆在VM界面点击查看-自定义-库，然后在左边我的计算机下右键点击安装好的第一个系统，然后管理-克隆，选择克隆系统所在的文件路径即可。 2.三台主机名字修改 root用户下：（1）编辑network配置文件（2）在配置文件中增加如下配置，保存退出（3）输入hostname mast 阅读全文

posted @ 2018-07-20 16:02 BigJunOba 阅读(286) 评论(0) 推荐(0) 编辑

Java基础（十七）日志（Log）

摘要： 1.日志的概念在调试有问题的代码时，经常需要插入一些System.out.println方法来观察程序运行的操作过程。但是，一旦发现了问题并且解决了问题，就需要将这些System.out.println语句从代码中删除或者注释。如果接下来又出现了问题，就还要再插入几个System.out.prin 阅读全文

posted @ 2018-07-20 11:34 BigJunOba 阅读(662) 评论(0) 推荐(0) 编辑

Java基础（十六）断言（Assertions）

摘要： 1.断言的概念假设确信某个属性符合要求，并且代码的执行依赖于这个属性。断言机制允许在测试期间向代码插入一些检查语句，当代码发布时，这些插入的检查语句将会被自动地移走。断言失败是致命的，不可恢复的错误。断言检查只用于开发和测试阶段。断言只应该用于在测试阶段确定程序内部的错误位置。 2.一般使用阅读全文

posted @ 2018-07-20 08:44 BigJunOba 阅读(3294) 评论(0) 推荐(0) 编辑

Java基础（十五）异常（Exception）

摘要： 1.处理错误的要求如果由于出现错误而使得某些操作没有完成，程序应该：返回到一种安全状态，并能够让用户执行一些其他的命令。允许用户保存所有操作的结果，并以妥善的方式终止程序。 2.程序中可能出现的错误和问题用户输入错误设备错误物理限制代码错误 3.异常分类 Error类层次结构描述了Ja 阅读全文

posted @ 2018-07-20 08:39 BigJunOba 阅读(545) 评论(0) 推荐(0) 编辑

公告