摘要:
1.将依赖与自己的代码打入同一个jar包 只需在pom中添加如下plugin 在include 中添加需要的依赖,在exclude 中添加不需要的依赖 2.将依赖与自己的代码的分开 自己的代码会单独打成一个jar,依赖保存到设定目录 首先在Pom中添加如下plugin 然后在src/main 下建立 阅读全文
摘要:
mysql 版本:mysql-5.7 1.在/etc/my.cnf 中添加如下内容: 2.重启mysql 3.查看日志目录 重启后并对mysql进行了简单的查询操作,error.log 保存了标准错误输出,general.log 保存了查询记录 附: 什么是二进制日志? 用来记录操作MySQL数据库 阅读全文
摘要:
直接上代码 这里使用了scala 中的隐式转换,当调用sc.textFile(path,delimiter)时 sc会被自动包装成ContextExtensions ,并调用其textFile 方法 阅读全文
摘要:
package com.jason object FIndjar { def main(args: Array[String]): Unit = { val pd = classOf[org.apache.hadoop.mapreduce.TaskID].getProtectionDomain println("===="*30) val cs = pd.getCo... 阅读全文
摘要:
语法 :substr(字段,starindex,len) 下标从 1 开始 测试 阅读全文
摘要:
最近写了一个spark streaming 程序,但是程序跑着跑着就报错了,而且不会自动重启,以下脚本实现了程序失败自动重启 基本原理:查看程序日志文件是否有ERROR或Exception字样,有说明报错了,然后kill进程,重启程序 阅读全文
摘要:
1.如何让 spark-sql 能够访问hive? 只需将hive-site.xml 放到 spark/conf 下即可,hive-site.xml 内容请参照hive集群搭建 2.要在spark 代码中使用sql操作hive,需要在初始化sparksession 时加上 3.spark开启hive 阅读全文
摘要:
软件环境:centos7 + hadoop2.7.6 1.hive 下载 apache-hive-2.1.0-bin.tar.gz 2.copy apache-hive-2.1.0-bin.tar.gz 到/user/local 目录并解压 3.安装msyql 授权root 可以远程登陆mysql 阅读全文
摘要:
转载自https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html 阅读全文
摘要:
环境 centos 7 + mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 0.卸载centos 自带mysql 1.mysql 下载 下载地址 下载版本如下: 2.创建mysql用户 3.安装mysql 1)将mysql-5.7.23-linux-glibc2 阅读全文