摘要: 今天去面试了一波,因为调度系统采用了SparkSql实现数据从Mysql到hive,在这一点上面试官很明显很不满我对于Spark的理解,19年的第一个面试就这么挂了。 有问题不怕,怕的是知道了问题还得过且过。现在就来梳理下我的项目是怎么使用Spark导数的 第一步:把mysql中的表放入内存 其中: 阅读全文
posted @ 2019-01-31 02:13 周景白炎 阅读(2647) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/qq_35056292/article/details/78430777 问题出现: 在一个非controller/service类中,我需要注入Config类 这时候,myConfig是null 解决方法: 使用的时候,改成 public Stri 阅读全文
posted @ 2018-12-25 14:33 周景白炎 阅读(1543) 评论(0) 推荐(0) 编辑
摘要: 在调用工具类时,若工具类中含有@Autowired注解,这此工具类对象必须同样使用@Autowired注解,否则工具类中的Spring注入的对象都为空值,这里的HadoopTest就是这样 比如MyConfig类是 这样在System.out.println(myConfig.getName()); 阅读全文
posted @ 2018-11-26 16:50 周景白炎 阅读(1333) 评论(0) 推荐(0) 编辑
摘要: 1.XML中执行自定义SQL、 https://blog.csdn.net/u012427355/article/details/80654806 2.注解执行自定义SQL 其实就是把sql改成 阅读全文
posted @ 2018-11-19 11:41 周景白炎 阅读(3674) 评论(0) 推荐(0) 编辑
摘要: SpringBoot通过MyBatis连接数据库有2种方法: 1.注解 2.XML文件 1.注解 1.构建项目 2.添加依赖: 3.配置属性文件: 4.启动类(SpringApplication)添加mapper扫描 5.开发Mapper,Mapper类是访问数据库的接口 添加@Options(us 阅读全文
posted @ 2018-11-19 11:35 周景白炎 阅读(875) 评论(0) 推荐(0) 编辑
摘要: 比如我的项目下有2个.properties文件,一个是application.properties,一个是application local.properties,在本地的时候想指定用application local.properties,那么 阅读全文
posted @ 2018-11-14 20:18 周景白炎 阅读(4739) 评论(0) 推荐(0) 编辑
摘要: 1.修改.properties 2.SpringBootApplication类修改注解 3.添加数据源配置类 4.给每个数据源生成SQLSessionFactory类 第一个类: 第二个类 5.根据basePackages的值生成Mapper类 第二个mapper类: 第二个mapper类: 6. 阅读全文
posted @ 2018-09-26 16:46 周景白炎 阅读(1160) 评论(0) 推荐(0) 编辑
摘要: 挖坑 阅读全文
posted @ 2018-09-24 15:16 周景白炎 阅读(406) 评论(0) 推荐(0) 编辑
摘要: 修改执行部分的代码,改成用InputStream.read(byte[])的方法从流中读取数据 阅读全文
posted @ 2018-09-21 10:58 周景白炎 阅读(1329) 评论(0) 推荐(0) 编辑
摘要: 通过.frm和.ibd文件恢复表结构和数据 这里以hue数据库中的desktop_document2表为例 分成两步骤,先去表结构,再取数据,最好在一个用完就可以删除的数据库中进行 取表结构篇: 1.创建一个新数据库,然后创建一个和需要恢复的表的同名表,且引擎必须为InnoDB(即引擎为InnoDB 阅读全文
posted @ 2018-08-18 22:04 周景白炎 阅读(901) 评论(0) 推荐(0) 编辑