摘要：
环境说明 Centos7系统 top 命令是最直观最好用的查看节点负载的命令。可以实时动态的刷新服务器状态信息，并且支持交互命令自定义显示内容，功能算是很强大了。在终端中输入top，回车后会显示如下内容： top - 21:51:04 up 25 min, 2 users, load average 阅读全文
摘要：
1、基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query-sql 执行计划关键信息 2、简单示例 2.1、先来看一个简单的栗子 explain select * from temp_shop_info; 执行计划 STAGE DEPEN 阅读全文
摘要：
今天和大家唠唠平时使用 insert 往 hive 表 插入数据的两种方式，针对分区表和非分区表的的效果不太一样，下面分开进行说明 1、分区表 insert overwrite table dwa_db.temp_test_part partition (part_id='0') select .. 阅读全文
摘要：
报错内容如下 com.cloudera.hiveserver2.support.exceptions.GeneralException: [Cloudera][HiveJDBCDriver](500051) ERROR processing query/statement. Error Code: 阅读全文
摘要：
问题场景 IDEA 测试类运行报错如下: 报错原因 因为项目需要打印的环境变量太长，超过了限制，需要缩短命令行来解决问题。 解决办法 首先找到项目里面的idea/workspace.xml文件，然后再找到 <component name="PropertiesComponent">{ "k 阅读全文
摘要：
Flink处理机制的核心，就是“有状态的流式计算”。之前已经多次提到了“状态”（state），不论是简单聚合、窗口聚合，还是处理函数的应用，都会有状态的身影出现。有状态流处理，状态就如同事务处理时数据库中保存的信息一样，是用来辅助进行任务计算的数据。而在Flink这样的分布式系统中，不仅需要定义出状 阅读全文
摘要：
在有些场景下，我们要处理的时间间隔可能并不是固定的。比如，在交易系统中，需要实时地对每一笔交易进行核验，保证两个账户转入转出数额相等，也就是所谓的“实时对账”。两次转账的数据可能写入了不同的日志流，它们的时间戳应该相差不大，所以我们可以考虑只统计一段时间内是否有出账入账的数据匹配。这时显然不应该用滚 阅读全文
摘要：
对于两条流的合并，很多情况我们并不是简单地将所有数据放在一起，而是希望根据某个字段的值将它们联结起来，“配对”去做处理。例如用传感器监控火情时，我们需要将大量温度传感器和烟雾传感器采集到的信息，按照传感器ID分组、再将两条流中数据合并起来，如果同时超过设定阈值就要报警。我们发现，这种需求与关系型数据 阅读全文
摘要：
问题描述 由于业务需要早上修改了一个固定需求加工逻辑的一个子查询，把修改后的 hivesql 封装成 shell 脚本后执行报错了，运行脚本最后一行提示如下： t1.service_type;: bad substitution 问题分析 经过查询了解到 bad substitution的字面意思， 阅读全文
摘要：
CoProcessFunction 简介 对于连接流ConnectedStreams的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。我们把这种接口叫作“协同处理函数”（co-process function） 阅读全文