luigi操作hive表

关于luigi框架下查询hive表的操作

class JoinQuery(HiveQueryTask):
    date=luigi.DateParameter()
    def hiveconfs(self):
        jcs = {}
        jcs['mapred.job.name'] = "xxx_xxx_hive_daily_{}_username".format(format_date(self.date))
        jcs['mapred.job.queue.name'] = 'root.xxx.xxx'
        return jcs

    def requires(self):
        return LogHiveFiles(date=self.date)
    def output(self):
        return luigi.hdfs.HdfsTarget(hdfs_targets.DailyExprImgHdfsFiles(date=self.date).path,
                                     format=luigi.hdfs.PlainDir)
    def query(self):
        query="""
            INSERT OVERWRITE DIRECTORY '{ot}'
            ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
            SELECT * FROM {tb} WHERE date='{dt}' LIMIT 1
            """.format(ot=self.output().path,tb=self.input().table,dt=self.input().partition['date'])
        return query

class recCountStats(luigi.Task):
    now = datetime.now()
    date = luigi.DateParameter(default=datetime(now.year, now.month, now.day) - timedelta(days=3))

    def requires(self):
        return JoinQuery(self.date)
if __name__ == '__main__':
    luigi.run(main_task_cls=recCountStats)

直接上的代码,luigi框架不多说了,可以看之前的luigi的文章。HiveQueryTask类是封装好的专门用于hive sql的类,就是把hive的query写在程序中,他帮你查。

1.JoinQuery类是直接继承自HiveQueryTask类的,处理Luigi本身就有的requires和output以外,区别于spark任务,不用写main()或run()方法,写query()方法就好。

2.区别于luigi下执行spark任务,执行hive和执行mapreduce比较像,需要定义hiveconf方法,就是程序的配置。里面需要定义程序的名称和跑该程序的队列,切记,写了名称和队列 公司服务器才会接受运行该程序,要不然报错的。

3.关于查询的query语句,Luigi不捕捉查询任务的输出,要用INSERT DIRECTORY系列语句将查询结果持久化,并作为output输出。看代码!INSERT OVERWRITE DIRECTORY +table名  可以把结果写入hdfs表 ,用LOCAL DIRECTORY的话可以写在本地。

4.关于requires函数中的 返回的类,可参考下面这样定义,和hdfs的有一些区别,hdfs的只要一个地址就行了。hive的:

class LogHiveFiles(luigi.ExternalTask):
    date = luigi.DateParameter()
    def output(self):
        return luigi.hive.HivePartitionTarget(table='xxxs_xxx_log_xxx_daily',partition={'date': format_date(self.date)})

用的是HivePartitionTarget类。

posted @ 2017-06-16 16:41  锅贴君的包子铺  阅读(581)  评论(0编辑  收藏  举报