Python操作Hdfs,获得hdfs文件名和文件的基本属性,包括修改时间,并转化为标准时间
使用anaconda安装python hdfs包 python-hdfs 2.1.0的包
from hdfs import *
import time
client = Client("http://192.168.56.101:50070")
ll = client.list('/home/test', status=True)
for i in ll:
table_name = i[0]#表名
table_attr = i[1]#表的属性
#修改时间1528353247347,13位到毫秒,需要转化为10位到秒的时间戳(需要是float类型)
table_modify_time=table_attr['modificationTime']/1000.0
#使用localtime()和格式化输出strftime()将时间戳转化为普通的格式
table_modify_time_format=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(table_modify_time))
print(table_name)
print(table_attr)
print(table_modify_time) #表的修改时间,秒
print(table_modify_time_format) #表的修改时间,格式化输出
print('')
输出结果为:
test_sh-fang20180604150605.sh
{u'group': u'supergroup', u'permission': u'644', u'blockSize': 134217728, u'accessTime': 1530720024452L, u'pathSuffix': u'test_sh-fang20180604150605.sh', u'modificationTime': 1528095968096L, u'replication': 3, u'length': 10, u'childrenNum': 0, u'owner': u'appuser', u'storagePolicy': 0, u'type': u'FILE', u'fileId': 26941}
1528095968.1
2018-06-04 15:06:08