Robots2

摘要： 文档地址：https://mp.weixin.qq.com/s/3fMZN_LidCi5fiD16nNWWA 阅读全文

摘要： 一、常用包安装记录1、分析exl用的pandas pip install xlrd==1.2.0 pip3 install pandas 阅读全文

摘要： 一、简介 因hive表删除后，hdfs文件会先放入回收站，定期清理回收站。在回收之前可以进行清理数据 二、恢复步骤 2.1 看表存储是否损坏select type from dw.ods_test1 group by type 2.2 查看表hdfs文件存储位置 show create table 阅读全文

摘要： 一、概念 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。 一个agent内部有三个组件： Source：采集源，用于跟数据源对接，以获取数据 Channel：agent内部的 阅读全文

摘要： 一、简介 先说下CreateStatement 和 PrepareStatement 这俩到底是干啥的吧。 作用：其实这俩干的活儿都一样，就是创建了一个对象然后去通过对象调用executeQuery方法来执行sql语句。 区别：其实就是Statement和PrepareStatement的区别，最明 阅读全文

摘要： 一、类调用 简介：calcite可以连接各数据源，做查询。可以收口查询权限，查询多引擎需求 二、 获取Connection发送的请求 请求介绍文档：https://calcite.apache.org/avatica/docs/json_reference.html#closeconnectionr 阅读全文

摘要： 一、git项目上传后项目文件太大，git filter-branch手动清理 最近发现一个项目git目录已经达到200MB，严重影响了clone代码。操作之前请全量备份代码，操作失误可恢复 二、测试项目存储主键增大流程 2.1、建立远程仓库为了模拟团队协作，需要一个远程仓库，可以选择GitHub或码 阅读全文

摘要： 简介：HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 一、EXPLAIN 参数介绍 语法 : EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECT 阅读全文

摘要： 一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避免一个SQL 阅读全文

摘要： 一、新建流程图 1.1 新建流程图 1.2 左侧操作符介绍 Flow：顾名思义就是流，用来从一个操作流向下一个操作。 Process: 过程 Terminator：用在结束的时候。 Dicision：是决策的意思，就是需要做决定做选择的处理。 Manual input：是手动输入的意思，就是需要做输 阅读全文