摘要: spark处理大数据及数据挖掘优点: 1.速度快:Apache Spark拥有先进的DAG调度器、查询优化器以及物理执行引擎从而高性能的实现批处理和流数据处理。 2.易用性:(可以使用Java,Scala,Python,R以及SQL快速的写Spark应用)Spark提供80个以上高级算子便于执行并行 阅读全文
posted @ 2021-09-07 14:45 pei-金秋十月 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 近期看了几篇管理能力的文章,觉得受益匪浅,有点说的很深刻,管理的本质是系统的解决复杂的问题,越高的层级解决的问题越大 https://mp.weixin.qq.com/s/ciWMaYbNvNYpOUx-xZdAPw 阅读全文
posted @ 2021-06-17 10:50 pei-金秋十月 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 1.调用超时 根据日志排查原因 java应用,FULL GC时间长 只要swap in很高Full GC就慢! 和swap设置有关 GC慢机器 cat /proc/sys/vm/swappiness 60 GC正常机器 cat /proc/sys/vm/swappiness 1 对于非内存瓶颈的应用 阅读全文
posted @ 2021-06-10 15:27 pei-金秋十月 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 写的很详细 https://www.cnblogs.com/zoe-zyq/p/14843709.html 阅读全文
posted @ 2021-06-03 18:32 pei-金秋十月 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 项目管理跟进和复盘 https://www.cnblogs.com/yexiaochai/p/14839111.html 阅读全文
posted @ 2021-06-02 17:35 pei-金秋十月 阅读(16) 评论(0) 推荐(0) 编辑
摘要: springBoot集成测试 https://www.cnblogs.com/cicada-smile/p/14830938.html 阅读全文
posted @ 2021-06-01 16:06 pei-金秋十月 阅读(27) 评论(0) 推荐(0) 编辑
摘要: OKR 目标关键成果法 https://www.cnblogs.com/yexiaochai/p/14829246.html(OKR目标拆解结果关注) 阅读全文
posted @ 2021-05-31 17:38 pei-金秋十月 阅读(25) 评论(0) 推荐(0) 编辑
摘要: https://www.cnblogs.com/54chensongxia/p/14247966.html 阅读全文
posted @ 2021-01-08 14:49 pei-金秋十月 阅读(117) 评论(0) 推荐(0) 编辑
摘要: https://mp.weixin.qq.com/s/QWOFF_PeJ35y_8tnwNOZbQ 阅读全文
posted @ 2021-01-05 09:58 pei-金秋十月 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 最近,工作中要测试数据加工结果表和原表,原先没接触过这块的知识,学习总结下相关知识和概念: 1.环境安装 Java(JDK8),python3.6.5, pycharm ,idea , pyspark 2.jpuyter概念理解: Jupyter Notebook(此前被称为 IPython not 阅读全文
posted @ 2020-02-13 17:34 pei-金秋十月 阅读(701) 评论(0) 推荐(0) 编辑