06 2022 档案

摘要:UNLOAD命令格式: unload from {<select_statement>|<table_name> [partition (<pt_spec>)]} into location <external_location> [stored by <StorageHandler>] [with 阅读全文
posted @ 2022-06-30 10:36 业余砖家 阅读(232) 评论(0) 推荐(0) 编辑
摘要:项目背景 最近需要做项目空间的数据备份,包括表结构(建表语句),以便在系统出现问题时,或者数据丢失时进行恢复。 所遇问题 前面我介绍过MaxCompute的备份和恢复方案,但是关于导出建表语句,咨询了很多人都不知道如何批量导出。大部分人给我的答复是,通过desc tablename可以查看建表语句, 阅读全文
posted @ 2022-06-29 12:34 业余砖家 阅读(675) 评论(0) 推荐(0) 编辑
摘要:项目背景 这段时间项目组在做数据迁移,将其他省份导出的几十TB的数据导入到MaxCompute(ODPS),经过评估采用将数据导出到ECS,然后通过ossutil将文件上传OSS,最后再使用LOAD将OSS上的数据导入到MaxCompute的内部表中。 遇到问题 由于导出的文件是CSV格式,单个文件 阅读全文
posted @ 2022-06-29 11:41 业余砖家 阅读(116) 评论(0) 推荐(0) 编辑
摘要:1、通过内置文本数据解析器创建外部表 create external table [if not exists] <mc_oss_extable_name> ( <col_name> <data_type>, ... ) [partitioned by (<col_name> <data_type> 阅读全文
posted @ 2022-06-28 17:23 业余砖家 阅读(230) 评论(0) 推荐(0) 编辑
摘要:ODPS备份方案 1、使用Dataworks DI将ODPS的表同步到OSS 2、通过创建OSS外部表,将内部表数据插入外部表备份到OSS 3、通过unload将ODPS表数据导出备份到OSS 4、在ECS上通过odpscmd使用tunnel download将ODPS数据导出到ECS ODPS恢复 阅读全文
posted @ 2022-06-28 10:19 业余砖家 阅读(1005) 评论(0) 推荐(0) 编辑
摘要:编写一个小工具,启动windows自带的截屏工具。 @echo off color 0A mode con: cols=60 lines=10 Title 启动截屏工具 echo Windows自带截图工具-快捷键 echo echo 矩形截图: Win + Shift + S ,打开截屏工具 ec 阅读全文
posted @ 2022-06-14 18:43 业余砖家 阅读(2155) 评论(0) 推荐(0) 编辑
摘要:我们在电脑上观看网页中的视频时,经常遇到好的视频想下载下来,但是页面没有“下载”的菜单,这种情况下只需要按照下面的步骤操作就可以下载视频了。 1、使用chrome浏览器打开视频所在网页。 2、鼠标右键,选择“检查”。 3、点击“网络”,然后点击“媒体”。 4、按Ctrl + R 键,页面会刷新。这时 阅读全文
posted @ 2022-06-14 12:20 业余砖家 阅读(13665) 评论(0) 推荐(0) 编辑
摘要:在项目中经常遇到一个字段中存放了多个值,多个值之间使用分隔符进行分割。关键的问题是这里存放的往往是key,但是使用时需要将key转换成value。所以就需要根据分隔符将一个字段中多个值转换成多行数据。 1、创建测试表 drop table if exists tb_user ; create tab 阅读全文
posted @ 2022-06-13 17:53 业余砖家 阅读(562) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示