摘要: 官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-stream 案例pom.xml依赖 <dependency> <groupId>org.apache.sp 阅读全文
posted @ 2020-06-10 09:50 彬在俊 阅读(614) 评论(0) 推荐(0) 编辑
摘要: 序言 适宜阅读人群 阅读建议 包含的模块 Java 基础 1. JDK 和 JRE 有什么区别? 2. == 和 equals 的区别是什么? 3. 两个对象的 hashCode() 相同,则 equals() 也一定为 true,对吗? 4. final 在 Java 中有什么作用? 5. Jav 阅读全文
posted @ 2020-06-09 10:34 彬在俊 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 一、挂载 1、查看设备的挂载情况 lsblk或lsblk -f 2、挂载 需求 :给我们的Linux系统增加一个新的硬盘,并且挂载到/home/newdisk 说明:我们以增加一块硬盘为例来熟悉一下磁盘的相关指令和深入理解磁盘分区、挂载、卸载的概念。 如何增加一块硬盘? 1)虚拟机添加硬盘 在 VM 阅读全文
posted @ 2020-06-08 16:13 彬在俊 阅读(764) 评论(0) 推荐(0) 编辑
摘要: jeecg-boot新建module模块 随着jeecg-boot不断拓展更新,爱好者越来越多,对于刚入门或者刚从事java(springboot)的人来说,会遇到各种各样的问题。 今天就对jeecg-boot开源项目上的一个issues:373,写个手册-jeecg-boot下多模块项目。 从is 阅读全文
posted @ 2020-06-08 15:04 彬在俊 阅读(5701) 评论(6) 推荐(1) 编辑
摘要: 在pom.xml文件中配置repositories始终不生效,一直从自定义配置的aliyun下载,repositories配置如下 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/a 阅读全文
posted @ 2020-06-02 14:45 彬在俊 阅读(8901) 评论(0) 推荐(1) 编辑
摘要: fflume 版本为 1.6 cdh 5.13 注意启动flume是 --name 要和配置文件的 前缀一直 否知启动失败 flume 目录为 /opt/cloudera/parcels/CDH/lib/flume-ng flume 配置文件exec-memory-avro.conf vim /op 阅读全文
posted @ 2020-06-02 11:25 彬在俊 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 用maven打成jar包后,Main.class.getClassLoader().getResource("")为null。 示例: public static void main(String[] args) { System.out.println(Main.class.getResource 阅读全文
posted @ 2020-05-27 17:38 彬在俊 阅读(1943) 评论(0) 推荐(1) 编辑
摘要: 在本地机器搭建一个开源项目的源码环境时,把其转换为maven项目,因模块业务划分,不同的业务放在不同的源目录下,这样转换出来的maven项目结构如下: pom.xml内容如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi= 阅读全文
posted @ 2020-05-26 11:09 彬在俊 阅读(3787) 评论(0) 推荐(0) 编辑
摘要: //创建spark数据库 create database spark; //创建userinfor表 create table userinfor( id INT NOT NULL AUTO_INCREMENT, name VARCHAR(100) NOT NULL, age INT not nul 阅读全文
posted @ 2020-05-21 21:37 彬在俊 阅读(536) 评论(0) 推荐(0) 编辑
摘要: ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and 阅读全文
posted @ 2020-05-21 21:00 彬在俊 阅读(1391) 评论(0) 推荐(0) 编辑