08 2022 档案
摘要:一、如何使用you-get下载网页的视频 1、下载并安装python因为you-get需要用到python,所以需要先安装python。 2、安装you-get模块安装you-get的方式有多种,我们选择的是最方便的pip安装方式。打开cmd窗口,输入如下代码安装you-get。pip instal
阅读全文
摘要:现状: 由于部分系统增量数据下发的为全过程变更数据,非最终状态变更增量数据。当进行下发数据合并时,同一时间点可能会出现主键重复值。所以在合并后需要进行去重。 原因: 在源业务系统中,对于高并发业务,同一主键在秒级内可能发生多次增、删、改操作,导致增量表中对于该主键在同一时间点可能存在多笔记录。如果在
阅读全文
摘要:这种方式,不需要右键“引用资源”,即可导入第三方包。 content是表中的字段名称。
阅读全文
摘要:创建资源 步骤:“数据开发”> 业务流程> 资源> 新建 ,资源类型为Archive,并上传提交。 如果你的Python包是以whl为后缀的,可以直接改成后缀名为zip,资源类型为Archive,并上传提交。 如果选择“File”,需要勾选“大文件”,点击“点击上传”按钮,上传文件。 引用资源 通过
阅读全文
摘要:Pyodps常见问题:https://help.aliyun.com/document_detail/122559.html#section-9bx-fiz-5w2 问题1:requests.exceptions.ConnectionError: timed out 1、建立连接超时。PyODPS默
阅读全文
摘要:ODPS SQL报错:ODPS-0010000:System internal error - fuxi job failed, caused by: |Quota not enough 问题原因: 配额组的资源不足。 由于我执行的是insert ... select ...语句,所以断定是存储资源
阅读全文
摘要:一、说明调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 二、系统内置变量DataWorks支持的系统内置变量无需手动赋值,参数可以在代码中直接引用。如下表所示: 2.1业务日期 ${
阅读全文