06 2022 档案
摘要:UNLOAD命令格式: unload from {<select_statement>|<table_name> [partition (<pt_spec>)]} into location <external_location> [stored by <StorageHandler>] [with
阅读全文
摘要:项目背景 最近需要做项目空间的数据备份,包括表结构(建表语句),以便在系统出现问题时,或者数据丢失时进行恢复。 所遇问题 前面我介绍过MaxCompute的备份和恢复方案,但是关于导出建表语句,咨询了很多人都不知道如何批量导出。大部分人给我的答复是,通过desc tablename可以查看建表语句,
阅读全文
摘要:项目背景 这段时间项目组在做数据迁移,将其他省份导出的几十TB的数据导入到MaxCompute(ODPS),经过评估采用将数据导出到ECS,然后通过ossutil将文件上传OSS,最后再使用LOAD将OSS上的数据导入到MaxCompute的内部表中。 遇到问题 由于导出的文件是CSV格式,单个文件
阅读全文
摘要:1、通过内置文本数据解析器创建外部表 create external table [if not exists] <mc_oss_extable_name> ( <col_name> <data_type>, ... ) [partitioned by (<col_name> <data_type>
阅读全文
摘要:ODPS备份方案 1、使用Dataworks DI将ODPS的表同步到OSS 2、通过创建OSS外部表,将内部表数据插入外部表备份到OSS 3、通过unload将ODPS表数据导出备份到OSS 4、在ECS上通过odpscmd使用tunnel download将ODPS数据导出到ECS ODPS恢复
阅读全文
摘要:编写一个小工具,启动windows自带的截屏工具。 @echo off color 0A mode con: cols=60 lines=10 Title 启动截屏工具 echo Windows自带截图工具-快捷键 echo echo 矩形截图: Win + Shift + S ,打开截屏工具 ec
阅读全文
摘要:我们在电脑上观看网页中的视频时,经常遇到好的视频想下载下来,但是页面没有“下载”的菜单,这种情况下只需要按照下面的步骤操作就可以下载视频了。 1、使用chrome浏览器打开视频所在网页。 2、鼠标右键,选择“检查”。 3、点击“网络”,然后点击“媒体”。 4、按Ctrl + R 键,页面会刷新。这时
阅读全文
摘要:在项目中经常遇到一个字段中存放了多个值,多个值之间使用分隔符进行分割。关键的问题是这里存放的往往是key,但是使用时需要将key转换成value。所以就需要根据分隔符将一个字段中多个值转换成多行数据。 1、创建测试表 drop table if exists tb_user ; create tab
阅读全文