09 2022 档案

摘要:一、ODPS SQL节点参数配置 SQL代码: -- 业务日期 select bizdate;++|20220929|++7select{bizdate_7days_ago}; --运行结果 + + | 20220922 | + + -- 业 阅读全文
posted @ 2022-09-30 10:02 业余砖家 阅读(630) 评论(0) 推荐(0) 编辑
摘要:1、新建资源Python,输入资源名称py_udtf_example.py,并输入或者粘贴代码,然后保存并提交。 # -*- coding: utf-8 -*- from odps.udf import annotate from odps.udf import BaseUDTF from odps 阅读全文
posted @ 2022-09-29 18:29 业余砖家 阅读(239) 评论(0) 推荐(0) 编辑
摘要:合并小文件:https://help.aliyun.com/zh/maxcompute/use-cases/merge-small-files?spm=a2c4g.11174283.0.i1 产生场景: MaxCompute使用盘古分布式文件系统是按块(Block)存放的,通常文件大小比块大小小的文 阅读全文
posted @ 2022-09-29 17:01 业余砖家 阅读(301) 评论(0) 推荐(0) 编辑
摘要:背景信息 行转列与列转行的示意图如下: 行转列 将多行数据转换成一行显示,或将一列数据转换成多列显示。 列转行 将一行数据转换成多行显示,或将多列数据转换成一列显示。 示例数据 为便于理解后续代码示例,本文为您提供源数据,并基于源数据提供相关转换示例。 创建用于实现行转列的源表并插入数据,命令示例如 阅读全文
posted @ 2022-09-29 10:57 业余砖家 阅读(962) 评论(0) 推荐(0) 编辑
摘要:一、odpscmd说明 odpscmd又称console工具,这个是提供给用户远程访问odps项目的工具,使用界面是命令行模式。 odpscmd官网地址:https://help.aliyun.com/document_detail/27971.html ,可以这里下载该工具。 二、启动odpscm 阅读全文
posted @ 2022-09-29 10:19 业余砖家 阅读(3107) 评论(0) 推荐(0) 编辑
摘要:离线同步报错:OutOfMemoryError: Java heap space 出现上述报错后,您需要: 如果您使用独享数据集成资源组的话,可以调整jvm参数。 如果插件配置支持的参数中有batchsize或者maxfilesize,可以调小对应的值。 调小并发数。 如果是文件同步,例如同步OSS 阅读全文
posted @ 2022-09-23 11:19 业余砖家 阅读(329) 评论(0) 推荐(0) 编辑
摘要:Lateral View MaxCompute支持通过Lateral View与UDTF(表生成函数)结合,将单行数据拆成多行数据。本文为您介绍如何使用Lateral View拆分行数据,并执行聚合操作。 功能介绍 直接在select语句中使用UDTF会存在限制,为解决此问题,您可以通过MaxCom 阅读全文
posted @ 2022-09-14 11:07 业余砖家 阅读(377) 评论(0) 推荐(0) 编辑
摘要:问题: 使用运行和高级运行使用bizdateselect{bizdate}; 但是在进行冒烟测试或者发布到生产环境时,使用bizdateselect{bizdate}; 但是如果使用内置变量的完整写法,就可以正常运行。 select ${bdp 阅读全文
posted @ 2022-09-13 21:58 业余砖家 阅读(2931) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示