12 2019 档案

将DataFrame赋值为可变变量在spark中多次赋值后运行速度减慢的问题

摘要：该问题先标记上，之后有空了研究原因。在var dataframe后将dataframe作为参数输入某方法，将结果重新赋予该dataframe，会导致spark运行显著减慢速度。暂时不知道原因，之后研究（可以去stackoverflow提问）将数据来源改为val之后运行速度显著提高。超过100倍速度阅读全文

posted @ 2019-12-14 19:14 梦里繁花阅读(540) 评论(0) 推荐(0) 编辑

编程吐槽

摘要：1、无必要，则不重命名，保持变量名称、意义一致 2、确保代码、配置文件、说明文档唯一性务必保证调用配置文件唯一性，同样意义的东西，不要让开发人员在多处重复定义（多出现于应用有不同版本同时开发，不同版本配置文件位置各不相同时）阅读全文

posted @ 2019-12-05 15:14 梦里繁花阅读(112) 评论(0) 推荐(0) 编辑