liuluvaliant

摘要： 用spark sql语句就能实现。 select * from t1 lateral view explode(split(label_class_tmp, ',')) tmpTable as label_class 阅读全文

摘要： 网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs 阅读全文

摘要： 本文记录Spark读取Hbase基本操作，及读取多版本Hbase数据示例。 Hbase数据示例如下： 示例代码如下 package org.HbaseLearn.Util; import org.apache.hadoop.conf.Configuration; import org.apache. 阅读全文

摘要： • 步骤1：创建hbase 表，向表中添加数据 1 create 'test_info', 'info' 2 3 put 'test_info','0001','info:birthday','2020-01-01' 4 put 'test_info','0001','info:gender','m 阅读全文

摘要： es.nodes.wan.only (default false) 此模式下(=true )，连接器将禁用发现，并且仅在所有操作（包括读取和写入）期间通过声明的es.nodes进行连接。在此模式下，性能会受到很大影响 es.index.read.missing.as.empty(default no 阅读全文

摘要： ElasticSearch版本5.X删除type操作 如果ElasticSearch有权限,输入-u user，如果无权限，可省去。 阅读全文

摘要： MSYQL在执行查询语句时报出以下错误： ERROR 3（HY000）：Error writing file 'tmp/MY1yjZEI'(Errcode:28) 看了下/tmp所在目录的磁盘情况，发现0%剩余，解决方法是更换MYSQL的tmp目录或清理/tmp目录，本次选择更换目录。步骤如下 1. 阅读全文

摘要： 1 public class CheckBankCard { 2 /* 3 校验过程： 4 1、从卡号最后一位数字开始，逆向将奇数位(1、3、5等等)相加。 5 2、从卡号最后一位数字开始，逆向将偶数位数字，先乘以2（如果乘积为两位数，将个位十位数字相加，即将其减去9），再求和。 6 3、将奇数位总和加上偶数位总和，结果应该可以被10整除... 阅读全文

摘要： eclipse在Ubuntu下安装先安装jdk,配置环境变量，之后下载eclipse安装包，解压，放置在目标目录，将jre链接到该目录或者将jdk下的jre目录复制到eclipse安装包目录下，双击文件目录系统中eclipse安装包目录下的eclipse.inst之后与Windows安装类似 阅读全文

摘要： 所有异常类型都是 Throwable 类的子类，它包含Exception类和Error类，Exception又包括checked exception和unchecked exception。 unchecked exception：Java编译器不要求对未检查异常一定捕获或抛出，可以不做处理。此类异 阅读全文