摘要: 1、简介 Presto 是一个开源分布式 SQL 查询引擎,用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询。Presto 允许查询数据所在的位置,包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据,从而允许对整个组织 阅读全文
posted @ 2021-09-06 10:46 Leil_blogs 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 1、logback的日志策略 1)ch.qos.logback.core.rolling.TimeBasedRollingPolicy 按照时间滚动,例如按天或按月。 2)ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy 按日期归档文 阅读全文
posted @ 2021-08-23 09:51 Leil_blogs 阅读(1206) 评论(0) 推荐(0) 编辑
摘要: 点击跳转超级nice的文章 阅读全文
posted @ 2021-08-18 16:15 Leil_blogs 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 1、需求 最近在工作中遇到的一个需求,将请求中的客户端类型、操作系统类型、ip、port、请求方式、URI以及请求参数值收集到日志中,网上找资料说用拦截器拦截所有请求然后收集信息,于是就开始了操作: 2、问题 试了之后发现当请求方式为POST,前端发送数据json时只能用request.getRea 阅读全文
posted @ 2021-08-12 10:14 Leil_blogs 阅读(1364) 评论(0) 推荐(3) 编辑
摘要: 界面报错信息提示如下: file /opt/cloudera/parcels/.flood/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel...does not exist 首先查看CDH agent日志 vim /var/log/cloudera-scm-age 阅读全文
posted @ 2021-07-15 09:57 Leil_blogs 阅读(810) 评论(0) 推荐(0) 编辑
摘要: 1、MVC 三层架构: M:Model 数据模型层 V:View 视图层 C:Controller控制器层 目的:解耦 2、Spring Spring:轻量级的Java开源框架,容器,目的是解决企业级开发复杂性问题 IOC:控制反转 AOP:面向切面编程,本质是动态代理。目的是在不改变业务原本的前提 阅读全文
posted @ 2021-06-24 10:31 Leil_blogs 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 1、修改配置文件 进入配置文件目录: cd ${HADOOP_HOME}/etc/hadoop 修改core-site.xml: vim core-site.xml 在文件中增加以下内容: <property> <name>hadoop.proxyuser.root.groups</name> <v 阅读全文
posted @ 2021-06-16 10:36 Leil_blogs 阅读(687) 评论(0) 推荐(0) 编辑
摘要: Gradle 1、什么是Gradle? Gradle是一个基于Apache Ant和Apache Maven概念的项目自动化构建工具,适用于自动化地进行软件构建、测试、发布、部署、软件打包的项目。 2、为什么要用Gradle? 它既能像Maven一样自动下载依赖,也能像Ant一样灵活定制化打包,自定 阅读全文
posted @ 2021-04-06 16:45 Leil_blogs 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 1、什么是Zookeeper? Zookeeper是一个分布式的,开源的分布式应用程序协调服务。 Zookeeper = 文件系统 + 监听通知机制 文件系统:一个小型的文件系统,树形结构,树的节点叫znode;数据以键值对形式存在,key是znode名字,value是znode的值。 监听通知机制 阅读全文
posted @ 2021-04-04 15:06 Leil_blogs 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 1、什么是kafka? Kafka是一种分布式的,基于发布/订阅的消息系统(消息队列)。 2、为什么要用kafka? 当业务逻辑变得复杂,数据量也会越来越多。此时可能需要增加多条数据线,每条数据线将收集到的数据导入到不同的存储和分析系统中。若仍使用之前的数据收集模式,则会出现以下问题: **1)生产 阅读全文
posted @ 2021-03-26 10:56 Leil_blogs 阅读(119) 评论(0) 推荐(0) 编辑