坚守梦想 - 博客园

2022年1月31日

摘要： Maven默认的依赖配置项中，scope的默认值是compile 阅读全文

posted @ 2022-01-31 13:50 坚守梦想阅读(332) 评论(0) 推荐(0) 编辑

2022年1月13日

摘要：组件自查方案（Log4j2为基础组件，大部分项目均会引用） Maven 项目在本地项目或者服务器上执行以下命令： mvn clean dependency:tree -Dincludes=org.apache.logging.log4j:log4j-core -Dmaven.test.skip= 阅读全文

posted @ 2022-01-13 10:32 坚守梦想阅读(761) 评论(0) 推荐(0) 编辑

2022年1月9日

Spark makeRDD方法本地Task的默认分区数

摘要：注意setMaster("local")和setMaster("local[*])的分区数是不一样的。*会匹配所有的cpu核数。 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obj 阅读全文

posted @ 2022-01-09 12:53 坚守梦想阅读(249) 评论(0) 推荐(0) 编辑

spark中生成RDD时分区规则是怎样的？（只需要看getPartitions方法的逻辑就可以了）

摘要： org.apache.spark.rdd.ParallelCollectionRDD#getPartitions org.apache.spark.rdd.HadoopRDD#getPartitions 需要注意的是getPartitions方法的触发时机是在行动算子执行的时候触发：阅读全文

posted @ 2022-01-09 12:47 坚守梦想阅读(85) 评论(0) 推荐(0) 编辑

scala中如何调试构造方法？（如何在构造方法中打断点？）

摘要：只需要在class的第一行打上断点就可以了。阅读全文

posted @ 2022-01-09 12:22 坚守梦想阅读(91) 评论(0) 推荐(0) 编辑

idea查看接口的实现类快捷键（Ctrl+H）

摘要： idea查看接口的实现类快捷键（Ctrl+H）阅读全文

posted @ 2022-01-09 12:00 坚守梦想阅读(998) 评论(0) 推荐(0) 编辑

2022年1月7日

mysql 筛选出重复数据的sql

摘要： select title from feeds.subject group by title having count(*) > 1;select title from feeds.subject where title='';select title from feeds.subject wher 阅读全文

posted @ 2022-01-07 11:12 坚守梦想阅读(163) 评论(0) 推荐(0) 编辑

2022年1月6日

idea 中scala设置自动生成变量类型（.var的时候）

摘要： File >Settings >Editor >Code style >Scala >勾选Local Definition （前提是你按照了Scala插件）提示效果如下：附：如何在idea中安装scala插件： File >Settings >Plugins >搜索Scala 》阅读全文

posted @ 2022-01-06 20:11 坚守梦想阅读(1790) 评论(0) 推荐(2) 编辑

2022年1月5日

idea中提示方法的所有重载方法快捷键，ctrl+p

摘要：也可以使用view >Parameter Info 阅读全文

posted @ 2022-01-05 16:20 坚守梦想阅读(1489) 评论(0) 推荐(0) 编辑

2021年12月28日

修改yarn ResourceManager默认端口

摘要：参考资料： https://blog.csdn.net/Student_xx/article/details/110536644 阅读全文

posted @ 2021-12-28 23:21 坚守梦想阅读(744) 评论(0) 推荐(0) 编辑