摘要:
前提:安装了JDK1.8 1、准备三台机器 hadoop100 192.168.33.100 hadoop101 192.168.33.101 hadoop102 192.168.33.102 2、准备一个非root账户(一定要使用非root用户,不然es启动不起来) 3、将elasticsearc 阅读全文
摘要:
关键词:上界、视图界定、Comparable、Ordered 1、ScalaUpperBound.scala package study.scala.base /** * @author yangwj * @date 2020/8/8 21:20 * @version 1.0 */ //上界,不会发 阅读全文
摘要:
注意:两者默认都是升序1、实现Comparable,重写compareTo()方法 2、new Comparator,重写compare()方法 1、案例如下 package study.scala.base; import java.util.ArrayList; import java.util 阅读全文
摘要:
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf 阅读全文
摘要:
前提:启动zookeeper和kafka,创建topic为wc 1、MysqlConnectPool.scala package sparkstreaming import java.sql.{Connection, DriverManager, ResultSet, Statement} impo 阅读全文
摘要:
1、pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst 阅读全文
摘要:
1、在application.yml配置cache-enabled: true mybatis: config-location: classpath:/mybatis-config.xml, classpath:mybatis/mybatis-config.xml mapper-locations 阅读全文
摘要:
1、idea使用sprak的时候,如果是java 工程中用scala写的类无法进行编译。 1、看是否安装了scala 2、看scala的版本和jdk的版本是否兼容(本人就是碰到了不兼容,所以scala进行了降级处理) 阅读全文
摘要:
1、脚本化运行 大量的hive查询任务,如果用交互式shell来进行输入的话,显然效率及其低下,因此,生产中更多的是使用脚本化运行机制: 该机制的核心点是:hive可以用一次性命令的方式来执行给定的hql语句 hive -e "insert into table t_dest select * fr 阅读全文
摘要:
1、mysql的安装,目的是存放hive的元数据 2、下载hive包,并进行解压 3、配置文件hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql: 阅读全文