12 2018 档案
摘要：需求: 1.日志表需要按天分区 2.只保留一个月数据 方案: 1.创建两个事件,一个事件生成未来需要的分区,另一个事件定期检查过期数据(移除分区) 2.创建事件每小时执行一次,删除事件每天执行一次 3.事件开始时需要先创建一个当前所需分区 全量方法: 1.先构造存储过程 create_partiti
阅读全文
摘要：maven项目依赖了几个额外的jar包一直都无法打进最终jar,不知道哪里出了问题.一直对这块不甚清楚,就大概梳理一下 默认打包方式: maven项目下,默认编译目录为 和 所以按照默认条件,其他目录的东西都不会被打进去,而且这些目录底下的一些非符合条件文件也不会被打包,java目录下只会打包.ja
阅读全文
摘要：来自:https://blog.csdn.net/ahun535915415/article/details/80687762 K03CHKJCFT-eyJsaWNlbnNlSWQiOiJLMDNDSEtKQ0ZUIiwibGljZW5zZWVOYW1lIjoibnNzIDEwMDEiLCJhc3N
阅读全文
摘要：1.项目搭建 2.关键代码与配置 3.性能调优 注意,本项目基于spring boot 1,如果是spring boot 2有可能会报错.相应的包需要更新 1.项目搭建 kafka版本:kafka_2.11-1.0.0 jar包版本:1.1.7.REALEASE 只需要在spring boot工程中
阅读全文
摘要：1.curl 基础用法 2.curl 常用 3.curl 拓展 1.curl基础用法 curl除了用以请求数据,还可以用来上传下载 2.curl 常用 1.下载: 或者: 2.上传: 3.post请求 在使用 -d 的情况下，如果省略 -X，则默认为 POST 方式： 发送数据时，不仅可以使用 PO
阅读全文
摘要：1.hadoop文件权限介绍 （这部分内容参考成品 https://blog.csdn.net/skywalker_only/article/details/40709447） 之前在论坛看到一个关于HDFS权限的问题，当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知，而是不能准确完整的
阅读全文
摘要：目录: 1.涉及插件简介 2.安装步骤 3.日志错误查看 1.kerberos是什么东西 度娘指导: Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有
阅读全文
