摘要： hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2 阅读全文

摘要： add jar /home/jasonapp/json-serde-1.3.7-jar-with-dependencies.jar; create external table if not exists dm_goddog.student( student map<string,string> c 阅读全文

摘要： 基本概念 业务板块：业务板块定义了数据仓库的多种命名空间，是一种系统级的概念对象。当数据的业务含义存在较大差异时，您可以创建不同的业务板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照业务板块进行划分。在Dataphin中，项目可以归属至业务板块以实现规范建模功能，同一个业务板块中可能包含多 阅读全文

摘要： 行业数据模型概述 分层数据模型 行业业务流程 行业主题域模型。在数据中台，主题对应一个宏观的分析领域，比如销售分析就是分析“销售”这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（是个左右不等）主题域组成的主题域模型。 概念模型。在主题域的基础上，每个主题域内增加了实体以及 阅读全文

摘要： DROP TABLE IF EXISTS tmp_dm_test_a.t_aa_orc; USE tmp_dm_test_a; CREATE EXTERNAL TABLE IF NOT EXISTS tmp_dm_test_a.t_aa_orc( user_id string COMMENT '用户 阅读全文

摘要： # -P加密 zip -r -P T09j03x# 20180109.zip inc_day\=20180109 # -P指定密码 unzip -o -P T09j03x# 20180109.zip -d /home/sfapp/tianjin/fengtu_rst/rst 阅读全文

摘要： 1.在windows下，使用notepad++，将文件格式改为unix就可以了 2.在linux下，使用vim打开文件，使用：set ff查看文件格式，你会发现其格式是dos的，然后我们使用：set ff=unix就可以将文件格式改为unix，如果不放心，可以使用：set ff查看，就会发现文件格式 阅读全文

摘要： 一、创建元组 创建空元组 tup1 = () 元组中只包含一个元素时，需要在元素后面添加逗号来消除歧义 tup1 = (50,) 二、访问元组: 索引，截取 元组与字符串类似，下标索引从0开始，可以进行截取，组合等。 tup1 = ('physics', 'chemistry', 1997, 200 阅读全文

摘要： 1.问题描述 如何将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下： 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#$test2name@#$test2value test3@#$test3name@#$test4value 如 阅读全文

摘要： dir=/usr/local/nginx/logs for file in $dir/*; do echo $file done //结果 ./test.sh /usr/local/nginx/logs/access1.log /usr/local/nginx/logs/access.log /us 阅读全文