2022 年 1月随笔档案 - 坚守梦想

摘要：我这边有效的办法居然是关闭暂时不用的idea窗口，然后重启idea居然可以了。阅读全文

posted @ 2022-01-31 19:59 坚守梦想阅读(242) 评论(0) 推荐(0) 编辑

摘要：Maven默认的依赖配置项中，scope的默认值是compile 阅读全文

posted @ 2022-01-31 13:50 坚守梦想阅读(332) 评论(0) 推荐(0) 编辑

摘要：组件自查方案（Log4j2为基础组件，大部分项目均会引用） Maven 项目在本地项目或者服务器上执行以下命令： mvn clean dependency:tree -Dincludes=org.apache.logging.log4j:log4j-core -Dmaven.test.skip= 阅读全文

posted @ 2022-01-13 10:32 坚守梦想阅读(761) 评论(0) 推荐(0) 编辑

Spark makeRDD方法本地Task的默认分区数

摘要：注意setMaster("local")和setMaster("local[*])的分区数是不一样的。*会匹配所有的cpu核数。 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obj 阅读全文

posted @ 2022-01-09 12:53 坚守梦想阅读(249) 评论(0) 推荐(0) 编辑

spark中生成RDD时分区规则是怎样的？（只需要看getPartitions方法的逻辑就可以了）

摘要：org.apache.spark.rdd.ParallelCollectionRDD#getPartitions org.apache.spark.rdd.HadoopRDD#getPartitions 需要注意的是getPartitions方法的触发时机是在行动算子执行的时候触发：阅读全文

posted @ 2022-01-09 12:47 坚守梦想阅读(85) 评论(0) 推荐(0) 编辑

scala中如何调试构造方法？（如何在构造方法中打断点？）

摘要：只需要在class的第一行打上断点就可以了。阅读全文

posted @ 2022-01-09 12:22 坚守梦想阅读(91) 评论(0) 推荐(0) 编辑

idea查看接口的实现类快捷键（Ctrl+H）

摘要：idea查看接口的实现类快捷键（Ctrl+H）阅读全文

posted @ 2022-01-09 12:00 坚守梦想阅读(999) 评论(0) 推荐(0) 编辑

mysql 筛选出重复数据的sql

摘要：select title from feeds.subject group by title having count(*) > 1;select title from feeds.subject where title='';select title from feeds.subject wher 阅读全文

posted @ 2022-01-07 11:12 坚守梦想阅读(163) 评论(0) 推荐(0) 编辑

idea 中scala设置自动生成变量类型（.var的时候）

摘要：File >Settings >Editor >Code style >Scala >勾选Local Definition （前提是你按照了Scala插件）提示效果如下：附：如何在idea中安装scala插件： File >Settings >Plugins >搜索Scala 》阅读全文

posted @ 2022-01-06 20:11 坚守梦想阅读(1795) 评论(0) 推荐(2) 编辑

idea中提示方法的所有重载方法快捷键，ctrl+p

摘要：也可以使用view >Parameter Info 阅读全文

posted @ 2022-01-05 16:20 坚守梦想阅读(1491) 评论(0) 推荐(0) 编辑