摘要: 一:在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种,为了把binlog解析成json数据格式,要设置binlog的格式为row(binlog有三种格式:Statement、Row以及Mixed) 3重启msyql服务 se 阅读全文
posted @ 2018-07-02 23:46 凯心宝牙 阅读(996) 评论(0) 推荐(0) 编辑
摘要: 1、登录MySQL,查看binlog日志的状态 登录MySQL后,输入show variables like '%log_bin%';查看到binlog日志为OFF关闭状态; 2、开启MySQL binlog日志 退出MySQL,使用vi编辑器修改MySQL的my.cnf配置文件 3、重启MySQL 阅读全文
posted @ 2018-07-02 22:13 凯心宝牙 阅读(2281) 评论(0) 推荐(0) 编辑
摘要: Amabri 集群 常规安装完成后 未单节点 NN 需手动升级 NN HA 步骤: 1.Check to make sure you have at least three hosts in your cluster and are running at least three ZooKeeper 阅读全文
posted @ 2018-06-22 00:09 凯心宝牙 阅读(556) 评论(0) 推荐(0) 编辑
摘要: HDP安装: 在任意机器浏览器上打开ambari web 界面 (http://192.168.15.151:8080 user:admin psd:admin) 在主页面 ”Create a Cluster“ 版板,选择 ”Launch Install Wizard“,如图: 按向导输入集群名 选 阅读全文
posted @ 2018-06-21 23:54 凯心宝牙 阅读(714) 评论(0) 推荐(0) 编辑
摘要: 不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.3的过程中,选择的ambari版本为2.2.2.0 安装步骤: 软件包下载; 集群规划: 192.168.15.151 hdp1 (ambari) 192.16815.152 hdp2 ( 阅读全文
posted @ 2018-06-21 23:39 凯心宝牙 阅读(403) 评论(0) 推荐(0) 编辑
摘要: 在安装Ambari时,Ambari默认的数据库是ProstgreSQL,对ProstgreSQL不太熟悉,选择使用MySql。 但Centos 7 默认支持的是MariaDB数据库. MariaDB是MySQL的一个分支,主要由开源社区在维护。安装过程中先将Centos7默认安装的MariaDB数据 阅读全文
posted @ 2018-06-21 22:59 凯心宝牙 阅读(1241) 评论(0) 推荐(0) 编辑
摘要: 网络配置: 将BOOTPROTO设置为动态的,即:BOOTPROTO=dhcp 将ONBOOT设置为yes 即:ONBOOT=yes 重启网路服务; service network startping www.baidu.com,能ping 通,则OK 配置主机名: vim /etc/hosts例如 阅读全文
posted @ 2018-06-06 00:18 凯心宝牙 阅读(426) 评论(0) 推荐(0) 编辑
摘要: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently 阅读全文
posted @ 2018-05-03 17:40 凯心宝牙 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 新建maven工程,添加pom依賴: 一个简单例子: 阅读全文
posted @ 2018-05-03 14:44 凯心宝牙 阅读(1338) 评论(0) 推荐(0) 编辑
摘要: 在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror 阅读全文
posted @ 2018-04-24 17:15 凯心宝牙 阅读(259) 评论(0) 推荐(0) 编辑