随笔分类 - 大数据
摘要：https://github.com/aliyun/MaxCompute-Spark/wiki/02.-Spark-on-Dataworks
阅读全文
摘要：1.数据模型 Wide column模型 模型构成 Wide column模型与关系模型 { "primaryKeys": [ { "name": "id", "type": "INTEGER", "value": "1" } ], "columns": { "shouji": [ { "name"
阅读全文
摘要：一、ClickHouse的核心特性 1. 完备的DBMS功能 ClickHouse拥有完备的管理功能，所以它称得上是一个DBMS ( Database Management System，数据库管理系统 )，而不仅是一个数据库。作为一个DBMS，它具备了一些基本功能，如下所示。 DDL ( 数据定义
阅读全文
摘要：1.准备 软件源端oracle、ogg目标端ogg、ogg插件、datahub、maxcompute数据erp表结构，包括约束信息 2.配置 参考资料：https://help.aliyun.com/document_detail/170232.html?spm=a2c4g.11186623.6.5
阅读全文
摘要：1.增加分区 alter table tableName add if not exists partition(ds='20200623') 2.数据类型转换 cast(col as bigint) 3.动态插入 insert overwrite table tableA partition(ds
阅读全文
摘要：1.调度参数 https://help.aliyun.com/document_detail/137548.html?spm=5176.11065259.1996646101.searchclickresult.186fec82sqwpGT 2.在DataWorks上使用PyODPS https:/
阅读全文
摘要：https://help.aliyun.com/document_detail/44547.html?spm=a2c4g.11186623.2.24.1c48285dLVWRnh#concept-727969
阅读全文
摘要：1.数据准备 表数据 create table ecp_tables as select * from ALL_TAB_COMMENTS where owner='BIDPRO' order by table_name; 字段数据 create table ecp_columns as SELECT
阅读全文
摘要：1.数据更新和删除rowid是不变的，相同rowid取 ext_date_time最后的，如果ext_flag是D就不取这条数据（除了扩展的几个字段，数据内容全部变成NULL），如果是其他就保留最后一条数据。
阅读全文
摘要：1、主要特性及使用场景 2、安装部署 3、数据类型 4、SQL语法 5、函数 6、引擎
阅读全文
摘要：数据开发流程 通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。 说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。 参考资料：1.MaxCompute studio FAQ
阅读全文
摘要：题目一： 现有这么一批数据，现要求出：每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数 建表 create table TABLE_0111 ( NAME VARCHAR2(20), MONTH VARCHAR2(20), PV INTEGER ) 准备数据 insert into
阅读全文
摘要：1.查看有那些用户认证 kadmin.local -q "list_principals" 2.用keytab文件进行认证 kinit -kt /root/keytab/hive.keytab hive
阅读全文
摘要：https://blog.csdn.net/u013850277/article/details/77281229
阅读全文
摘要：https://blog.csdn.net/waterkong/article/details/78708809
阅读全文
摘要：查看当前的用户 select current_user(); https://blog.csdn.net/wangjunji34478/article/details/79930209 https://forums.pentaho.com/threads/203841-How-can-I-use-k
阅读全文
