爱知菜的技术博客

摘要： 前文链接: https://blog.csdn.net/rav009/article/details/85690985 继续介绍 Lambda结构 一些理念: fact-based model 在关系型数据库的时代，我们通过维度表和事实表来组成数据仓库。但是到了大数据时代，由于数据的容量不再受到限制 阅读全文

摘要： 上图就是lambda结构的一个示意, 来自图书Big Data Principles and best practices of scalable realtime data system, 该书的作者就是lambda架构的创造者Nathan Marz。 大数据的技术手段百花齐放, 各种NoSQL数 阅读全文

摘要： beeline 命令 -u 指定链接 -e 指定hql -f 指定hql文件 --hiveconf 指定传参数, 参数在hql里形如 ${hiveconf:var}, 要有hiveconf:前缀 jdbc='jdbc:hive2://bd-master01-pe2.f.cn:10000/defaul 阅读全文

摘要： 企业级大数据集群有两个层面的安全系统： 一个是每一台服务器的本地有个linux的账户系统，这个可以批量处理配置。为每个服务器建立一个本地的账号和组。用这个账号去SSH登录。 另一个就是大数据集群，即Hadoop的账号系统，是Hadoop通过 Kerberos 协议实现的。Kerberos是一个协议， 阅读全文

摘要： AWS Redshift 支持一个命令 Unload, 可以快速的导出数据进入 AWS S3 UNLOAD ('select * from apfdb.common.t_rep_fr_r_loc_sku_dy_act_confirmed WHERE LOC_CNTRY_CDE=''03'' and 阅读全文

摘要： Oracle 表名区分大小写。 select table_name from user_tables where table_name like '%xxxxx%'; select OWNER, TABLE_NAME, COLUMN_NAME from all_tab_columns where C 阅读全文

摘要： 在Spoon的文件栏, Edit->Edit Kettle Properties files 将 KETTLE_DEFAULT_BIGNUMBER_FORMAT 项配置为0.##### 否则的话, 默认Kettle对它认为是BigNumber的列 ,把0 会强行写成0.0, 造成不必要的冗余 阅读全文

摘要： 起因: Hive查询变慢 观察: Cloudera Manager中某个Datanode报错, Health Chart每隔几分钟有红色不健康状态 观察日志: 在 /data/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-dw-slave01-te.uniqlo- 阅读全文

摘要： echo off SETLOCAL ENABLEDELAYEDEXPANSION set work_path=F:\somefolder F: cd %work_path% for /R %%s in (*.csv) do ( set fname=%%s echo !fname:~-30,10! " 阅读全文

摘要： 在部分文件处理的kettle组件中, 你能找到一个勾选框, 名字叫 "Add filenames to result". 这是什么意思呢? Kettle有一个文件名系统, 专门储存了最近生成的或者处理过的文件名列表, 以供进一步处理, 比如移动, copy或者删除 在Job的design中你能找到几 阅读全文