python获取hive表时间格式最大分区
#获取表的最大分区 import boto3 from datetime import datetime,timedelta def get_max_partition(db_name,table_name,partition_format='%Y-%m-%d'): client=boto3.client('glue') yesterday=datetime.utcnow() max_partition=yesterday.strftime(partition_format) response = client.batch_get_partition( DatabaseName=db_name, TableName=table_name, PartitionsToGet=[ { 'Values': [ max_partition, ] }, ] ) while response['Partitions']==[]: if partition_format in ['%Y-%m-%d','%Y%m%d']: yesterday=yesterday-timedelta(days=1) elif partition_format in ['%Y-%m','%Y%m']: if yesterday.month >1: yesterday = yesterday.replace(month=yesterday.month - 1) else: yesterday = yesterday.replace(year=yesterday.year - 1, month=12) max_partition=yesterday.strftime(partition_format) response = client.batch_get_partition( DatabaseName=db_name, TableName=table_name, PartitionsToGet=[ { 'Values': [ max_partition, ] }, ] ) return response['Partitions'][0]['Values'][0]
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗
2018-11-07 python分布式编程(转)