06 2023 档案

[pandas] 判断某一列是否单调递增
摘要：主要逻辑：在需要判断递增的列通过计算下一行减上一行，如果>0则递增，如果<0则非递增 例子： ``` python import pandas as pd pd.set_option('display.max_columns', None) # 列全部显示 pd.set_option('displa 阅读全文
posted @ 2023-06-15 16:13 蛇啊蛇啊 阅读(241) 评论(0) 推荐(0) 编辑
[pandas] 两个相同列的df求差集
摘要：###求在df1不在df2的数据 使用Pandas中的drop_duplicates()和merge()方法来计算两个相同列的DataFrame的差异。 例子： ``` python import pandas as pd # 创建两个相同列的DataFrame df1 = pd.DataFrame 阅读全文
posted @ 2023-06-13 16:29 蛇啊蛇啊 阅读(436) 评论(0) 推荐(0) 编辑
[spark] 常用参数和默认配置
摘要：##常用的Spark任务参数及其作用： 1. `spark.driver.memory`：设置driver进程使用的内存大小，默认为1g。 2. `spark.executor.memory`：设置每个executor进程使用的内存大小，默认为1g。 3. `spark.executor.cores 阅读全文
posted @ 2023-06-01 13:26 蛇啊蛇啊 阅读(571) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示