希言自然

摘要： yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。 ResourceManager：总的老大：处理客户端请求，监控NodeManager，启动或监控ApplicationMast 阅读全文

摘要： 1.导出指定表 #!/usr/bin/env python #-*- coding:utf8 -*- # 从mysql中提取hive建表语句-指定的表 import os,sys import fileinput import datetime import mysql.connector relo 阅读全文

摘要： 如果print显示的结果： 28 -0.521884 29 0.388389 ... 970 -1.873332 971 -1.962243 有省略的现象，这个应该也是官方：如果有大数据量的输出，不太好处理，如果我们能确定输出有限且个数比较小，可以全部输出。 解决方法： import pandas 阅读全文

摘要： import pandas as pd import numpy as np np.set_printoptions(threshold=np.inf) #生成一个二维数组，第一列为日期，第二列为正态分布值 ts = pd.Series(np.random.randn(1000),index=pd. 阅读全文

摘要： #!/usr/bin/python # -*- coding:utf-8 -*- import time,datetime import os,sys #获取并检查外部传入参数 if(len(sys.argv)==2): bizDate=sys.argv[1] print "数据日期：",bizDa 阅读全文