摘要：
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 阅读全文
摘要：
1 Presto介绍 Presto 是 Facebook 开源的分布式查询引擎，在交互式查询任务中担当着重要的职责。随着越来越多的人开始使用 SQL 在 Presto 上分析数据，我们发现需要将一些业务逻辑开发成类似 Hive 中的 UDF，提高 SQL 使用人员的效率，同时也保证 Hive 和 P 阅读全文
摘要：
推荐https://www.liaoxuefeng.com/ 1、安装GIt linux 安装 输入git查看是否安装 下载git Linux版本 ./config，make，sudo make install 1、安装git依赖包 yum install curl-devel expat-deve 阅读全文
摘要：
Hive的hql注意事项 1、使用分区裁剪，列裁剪 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤， SELECT a.id FROM lxw1234_a a left outer joint_lxw1234_partitioned b ON ( 阅读全文
摘要：
1介绍 Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Tab 阅读全文
摘要：
不同的公司面试内容不同，有的注重基础知识有的注重项目，对实习生，也就是应届生，更多的是基础 因为没有什么工作经验，项目很多也不怎么样，所以也就问的少。下面是我的一点面试经验 我面试次数不多，可能是运气比较好，几家就有了一个很满意的。一共面过两次大数据职位 一次java，一次商务智能，数据分析的。 第 阅读全文
摘要：
在实习期间，公司使用的hue平台做的数仓，下面就简单介绍一下hue的一些使用的注意事项，主要是工作流的使用和调度 进入hue首页： Workflow是工作流，Schedule是调度工作流的，如设置工作流何时跑，周期是多久，等等，下面会详细介绍，Bundle是绑定多个调度，暂时我没有用上 等使用后再更 阅读全文
摘要：
桥接模式 场景 -商城系统中常见的商品分类，以电脑为类，如何良好的处理商品 分类销售的问题 可以用继承 问题 扩展性问题(类个数膨胀问题) 违反单一职责原则 桥接模式核心要点： 处理多层继承结构，处理多维度变化的场景， 将各个维度设计成独立的继承结构，使各个 维度可以独立的扩展在抽象层建立关联 这个 阅读全文
摘要：
装饰模式： 职责： 动态得为一个对象增加新的功能 装饰模式是一种用于代替继承的技术，无须通过继承增加子类就 能扩展对象的新功能。使用对象的关联关系代替继承关系，更加灵活。 同时避免类型体系的快速膨胀 实现细节： Component抽象构件角色 真实对象和装饰有相同的接口，这样，客户端对象就能够以真实 阅读全文
摘要：
享元模式 场景：内存属于稀缺资源，不要随便浪费。如果有很多完全相同或相似的对象， 我们可以通过享元模式，节省内存。 核心：享元模式以共享的方式高效地支持大量细粒度对象的重用 享元对象能做到共享的关键是区分了内部状态和外部状态 内部状态：可以共享，不会随环境变化而变化 外部状态：不可以共享，会随环境变 阅读全文