python获取hive表时间格式最大分区

复制代码
#获取表的最大分区
import boto3
from datetime import datetime,timedelta
def get_max_partition(db_name,table_name,partition_format='%Y-%m-%d'):
    client=boto3.client('glue')
    yesterday=datetime.utcnow()
    max_partition=yesterday.strftime(partition_format)
    response = client.batch_get_partition(
        DatabaseName=db_name,
        TableName=table_name,
        PartitionsToGet=[
            {
                'Values': [
                    max_partition,
                ]
            },
        ]
    )
    while response['Partitions']==[]:
        if partition_format in ['%Y-%m-%d','%Y%m%d']:
            yesterday=yesterday-timedelta(days=1)
        elif partition_format in ['%Y-%m','%Y%m']:
            if yesterday.month >1:
                yesterday = yesterday.replace(month=yesterday.month - 1)
            else:
                yesterday = yesterday.replace(year=yesterday.year - 1, month=12)
        max_partition=yesterday.strftime(partition_format)
        response = client.batch_get_partition(
            DatabaseName=db_name,
            TableName=table_name,
            PartitionsToGet=[
                {
                    'Values': [
                        max_partition,
                    ]
                },
            ]
        )
    return response['Partitions'][0]['Values'][0]
复制代码

 

posted @   Mars.wang  阅读(1245)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗
历史上的今天:
2018-11-07 python分布式编程(转)
点击右上角即可分享
微信分享提示