05 2020 档案
摘要:用maven打成jar包后,Main.class.getClassLoader().getResource("")为null。 示例: public static void main(String[] args) { System.out.println(Main.class.getResource
阅读全文
摘要:在本地机器搭建一个开源项目的源码环境时,把其转换为maven项目,因模块业务划分,不同的业务放在不同的源目录下,这样转换出来的maven项目结构如下: pom.xml内容如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=
阅读全文
摘要://创建spark数据库 create database spark; //创建userinfor表 create table userinfor( id INT NOT NULL AUTO_INCREMENT, name VARCHAR(100) NOT NULL, age INT not nul
阅读全文
摘要:ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and
阅读全文
摘要:在建立maven项目时,遇到问题,只能对java代码的打包。 此问题出现的原因时,在建立项目的时候,建立的时java的项目,后期进行scala的添加,但是在pom.xml中并没有出现scala代码的打包配置,导致只能进行java代码的打包。 解决方法: 在maven文件中,加入scala的打包配置。
阅读全文
摘要:api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("lo
阅读全文
摘要:DataFrame与RDD互操作之一: 反射方式 使用反射来推断包含了特定数据类型的RDD的元数据信息 使用DataFrame API或者sql方式编程 代码如下 import org.apache.spark.sql.SparkSession object DataFrameRDDApp { de
阅读全文
摘要:不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sess
阅读全文
摘要:提交命令 --class 任务的包名全路径 spark-submit --name sparksql --class com.binzaijun.SQLContextApp --master local[2] sql-1.0-SNAPSHOT.jar people.json spark-submit
阅读全文
摘要:一、环境准备 1.1硬件:centos7.6 2.1软件: jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接:https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
阅读全文
摘要:Linux 正常安装 rpm 的命令是: rpm -ivh xxx.rpm 重复安装时需加属性: 软件包重复安装将会失败,若仍需要安装必须加 --replacepkgs 属性 软件包的某个文件已在安装其他软件包时安装过,则安装将会失败,若仍需要安装必须加 --replacefiles 属性 解决依赖
阅读全文
摘要:在官方的maven仓库中找不到cdh版本的hadoop依赖jar包 需要在spark根目录下的pom.xml文件中添加源 在 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/arti
阅读全文
摘要:xargs程序允许你从标准输入生成和执行命令,它通常通过管道与其他命令结合使用。 使用xargs,您可以提供标准输入作为命令行实用程序(例如mkdir和rm)的参数。 在本教程中,介绍使用xargs命令的基本知识。 如何使用Linux xargs命令 xargs从标准输入读取参数,用空格或换行符分隔
阅读全文
摘要:JavaScript push() 方法 定义和用法 push() 方法可向数组的末尾添加一个或多个元素,并返回新的长度。 语法 arrayObject.push(newelement1,newelement2,....,newelementX) 参数描述 newelement1 必需。要添加到数组
阅读全文
摘要:针对Object对象,如: # Object 监听值 tobj:{ 'a':1 } 第一种 watch: { tobj(new_value,old_value){ console.log(new_value,old_value) } } 上面的写法只会监听tobj是否有值的变化,如果内部,如a的值发
阅读全文
摘要:遇到的问题 见我博客 https://www.cnblogs.com/erlou96/p/12874862.html 此文转载于 https://www.cnblogs.com/gunelark/p/8492468.html 问题 简单描述,在vue集成echarts时,我想要实现父组件动态的修改o
阅读全文
摘要:JS中生成随机数 1、Math 对象方法: Math.ceil(); //向上取整。 Math.floor(); //向下取整。 Math.round(); //四舍五入。 Math.random(); //0.0 ~ 1.0 之间的一个伪随机数。【包含0不包含1】 //比如0.8647578968
阅读全文
摘要:参考文章:https://segmentfault.com/a/1190000013903264 通过这篇文章我学习了vue集成echarts,尝试了一下demo没问题,但是在修改我预期效果时,却出了一点问题,最后解决思路见最后 从几年前流行的jQuery插件,到现在React和Vue的组件,在业务
阅读全文
摘要:问题一:用vue +axios 跨域访问多个不同的域 解决方法: 在 vue.config.js 文件中 devServer中添加 devServer: { proxy: { '^/api/': { target: 'https://www.sougou.com/', ws: true, // pr
阅读全文
摘要:一、准备工作 1、环境准备 ambari版本 2.7.4 hdp版本3.1 已在虚拟机中提前搭建好了集群环境。 只有一台虚拟机 所以全部采取单节点模式。 主机名 master ip 192.168.134.132 其中,elasticsearch master安装到master管理节点,elasti
阅读全文