摘要:
这篇文章主要记录一些 linux 常用命令,以备查看。 一、Vim vim 是一个常用的文本编辑命令,一些常用的命令大家应该都有使用,现在记录一些使用不是很频繁单偶尔会用到的一些命令; 1、vim 批量替换;有以下一个文件,我们将令狐冲替换为令狐少侠 [hui@hadoop201 ~]$ cat t 阅读全文
摘要:
问题场景 [hui@hadoop201 apache-doris-0.15.0]$ chown hui:hui apache_hdfs_broker/ 如果 apache_hdfs_broker/ 下面还有子目录,那么这个命令只能将最上层的目录进行改变所属组 如果想要改变目录以及目录下的子目录以及文 阅读全文
摘要:
1、关闭原因 最近发现系统运行压力有点大,排查一番也没看出来个一二三来,故先把桌面系统关了吧,能节省一点系统资源。 2、查看当前默认的启动模式 [hui@hadoop105 ~]$ systemctl get-default graphical.target 查看运行级别 [hui@hadoop10 阅读全文
摘要:
环境说明 Centos7系统 top 命令是最直观最好用的查看节点负载的命令。可以实时动态的刷新服务器状态信息,并且支持交互命令自定义显示内容,功能算是很强大了。在终端中输入top,回车后会显示如下内容: top - 21:51:04 up 25 min, 2 users, load average 阅读全文
摘要:
1、基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query-sql 执行计划关键信息 2、简单示例 2.1、先来看一个简单的栗子 explain select * from temp_shop_info; 执行计划 STAGE DEPEN 阅读全文
摘要:
今天和大家唠唠平时使用 insert 往 hive 表 插入数据的两种方式,针对分区表和非分区表的的效果不太一样,下面分开进行说明 1、分区表 insert overwrite table dwa_db.temp_test_part partition (part_id='0') select .. 阅读全文
摘要:
报错内容如下 com.cloudera.hiveserver2.support.exceptions.GeneralException: [Cloudera][HiveJDBCDriver](500051) ERROR processing query/statement. Error Code: 阅读全文
摘要:
问题场景 IDEA 测试类运行报错如下: 报错原因 因为项目需要打印的环境变量太长,超过了限制,需要缩短命令行来解决问题。 解决办法 首先找到项目里面的idea/workspace.xml文件,然后再找到 <component name="PropertiesComponent">{ "k 阅读全文
摘要:
Flink处理机制的核心,就是“有状态的流式计算”。之前已经多次提到了“状态”(state),不论是简单聚合、窗口聚合,还是处理函数的应用,都会有状态的身影出现。有状态流处理,状态就如同事务处理时数据库中保存的信息一样,是用来辅助进行任务计算的数据。而在Flink这样的分布式系统中,不仅需要定义出状 阅读全文
摘要:
在有些场景下,我们要处理的时间间隔可能并不是固定的。比如,在交易系统中,需要实时地对每一笔交易进行核验,保证两个账户转入转出数额相等,也就是所谓的“实时对账”。两次转账的数据可能写入了不同的日志流,它们的时间戳应该相差不大,所以我们可以考虑只统计一段时间内是否有出账入账的数据匹配。这时显然不应该用滚 阅读全文