11 2022 档案
摘要:通过dockerfile来制作ssh镜像 新建一个文件夹 mkdir -p /opt/ubuntu-ssh-root# 将宿主机的/etc/apt/sources.list文件拷贝到该目录下cp /etc/apt/sources.list /op...
阅读全文
摘要:Java NIO 由以下几个核心部分组成: ChannelsBuffersSelectors Channel 和 Buffer 基本上,所有的 IO 在NIO 中都从一个Channel 开始。Channel 有点象流。 数据可以从Channel读到B...
阅读全文
摘要:NIO 服务器和客户端 demo 如下: public class TestNonBlockingNIO { //客户端 @Test public void client() throws IOException{ ...
阅读全文
摘要:下面的是nio channel的demo import java.nio.channels.FileChannel;public class NioFileChannelTest { public static void main(Strin...
阅读全文
摘要:一.准备基础环境 1.jdk 链接:https://pan.baidu.com/s/1OZx40UEaH0vv4EW4B8dXfQ 提取码:ualu 2.zookeeper 自行下载 3.将这些包都放在/opt/docker 目录下,这...
阅读全文
摘要:注意点是BIO是java的传统编程模型,就是java.io包下和java.net包下 是一个客户端和服务端的建立的连接对应一个线程,socket会进行 write()/read()BIO缺点是线程资源的浪费会造成资源开销的浪费 是同步阻塞 会在soc...
阅读全文
摘要:选中要抛出异常的语句块快捷键ctrl+alt+t,选择try....catch....
阅读全文
摘要:一个java程序从main()方法开始执行,然后按照既定的代码逻辑执行,看似没有其他线程参与,但实际上java程序天生就是一个多线程程序,包含了:(1)分发处理发送给给JVM信号的线程;(2)调用对象的finalize方法的线程;(3)清除Referenc...
阅读全文
摘要:今天来分析server模块的master,MasterServer类 /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor lic...
阅读全文
摘要://Curator是zk的一个客户端框架,其中分装了分布式公平可重入互斥锁,最为常见是InterProcessMutex 先简单总结下MasterServier服务的启动流程: 初始化netty服务器,并启动通过zookeeper客户端Curator创建...
阅读全文
摘要:@PostConstruct注解好多人以为是Spring提供的。其实是Java自己的注解。 Java中该注解的说明:@PostConstruct该注解被用来修饰一个非静态的void()方法。被@PostConstruct修饰的方法会在服务器加载Servl...
阅读全文
摘要:常用shell脚本操作命令 shell脚本在zookeeper安装根目录的bin/路径下。 启动zk : bin/zkServer.sh start查看ZK服务状态: bin/zkServer.sh status停止ZK服务: bin/zkServer...
阅读全文
摘要:今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient mast...
阅读全文
摘要:在项目中使用到Apache Curator Framework连接Zookeeper 3.4.5服务器,使用的Curator Framework版本是4.3.0 org.apache.curator curator-recip...
阅读全文
摘要:项目结构 模块 dolphinscheduler-ui 前端页面模块dolphinscheduler-server 核心模块。包括master/worker等功能dolphinscheduler-common 公共模块。公共方法或类dolphinsch...
阅读全文
摘要:系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后...
阅读全文
摘要:应用场景举例: 执行A项目的方法,需要调用B项目、C项目、D项目的接口方法。 需求: 异步调用B、C、D项目的接口方法,且每个接口都调用结束后,A项目的方法才可以结束。 注:如果需要获取接口返回结果,可以使用缓存(key,value)保存。...
阅读全文
摘要:需要了解2个概念:内部类和静态修饰符static1)首先,用内部类是因为内部类与所在外部类有一定的关系,往往只有该外部类调用此内部类。所以没有必要专门用一个Java文件存放这个类。2)静态都是用来修饰类的内部成员的。比如静态方法,静态成员变量,静态常量。它...
阅读全文
摘要:spring boot InitializingBean接口使用总结 被spring管理实现InitializingBean接口 重写afterPropertiesSet方法 InitializingBean接口为bean提供了初始化方法的方式,它只包...
阅读全文
摘要:第一步:添加maven依赖,编写pom.xml文件 ch.qos.logback logback-classic 1.2.3 ch.qos.logback logback-core 1.2.3org.slf4j ...
阅读全文
摘要:使用maven-assembly-plugin进行配置分离 assembly.xml配置文件 配置文件内容 ${name} tar.gz zip tr...
阅读全文
摘要:1. 第一步检测语法是否正确 @Value("${hdfs.name}")private String hdfs; 2.第二步检测配置文件中是否有进行配置(application.properties) hdfs.name=jilin ...
阅读全文
摘要:首先,Java中的getResourceAsStream有以下几种: 1. Class.getResourceAsStream(String path) : path 不以’/'开头时默认是从此类所在的包下取资源,以’/'开头则是从ClassPath根下获...
阅读全文
摘要:需求: 孙悟空 白羊座 A 沙悟净 射手座 A 宋松松 白羊座 B 猪八戒 白羊座 A 小凤姐 射手座 A 转换成以下格式: 白羊座,A 孙悟空|猪八戒 白羊座,B 宋松松 射手座,A 沙悟净|小凤姐 思路:表的行转列 知...
阅读全文
摘要:需求: 《疑犯》 悬疑,动作,科幻,爱情 《lie to me》 悬疑,警匪,动作,心理,剧情 《战狼》 战争,动作,灾难 转成如下格式: 《疑犯》 悬疑 《疑犯》 动作 《疑犯》 科幻 《疑犯》 爱情 《lie to me》 ...
阅读全文
摘要:java编译器把Unreachable statement标记为运行时错误,一个Unreachable statement就是编译器决定永远不会执行它。下面的几种情况会出现 Unreachable statement:(0)在while(true)循...
阅读全文
摘要:作为数据分析中经常进行的join 操作,传统DBMS 数据库已经将各种算法优化到了极致,而对于hadoop 使用的mapreduce 所进行的join 操作,去年开始也是有各种不同的算法论文出现,讨论各种算法的适用场景和取舍条件,本文讨论hive 中出现的...
阅读全文
摘要:1、order by hive中的order by 会对查询结果集执行一个全局排序,这也就是说所有的数据都通过一个reduce进行处理的过程,对于大数据集,这个过程将消耗很大的时间来执行。 2、sort by hive的sort by ...
阅读全文
摘要:前言:我们在学习hive窗口函数的时候,一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法,如果这样做,永远也掌握不到窗口函数的核心,当然我刚开始的时候也是这样...
阅读全文
摘要:1.函数说明 主要是配合over()窗口函数来使用的,通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内) 2. dense...
阅读全文
摘要:Hive注释中文乱码 创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码 create external tab...
阅读全文
摘要:前言: 每一个表或者分区,hive都可以进一步组织成桶,桶是更细粒度的数据划分,他本质不会改变表或分区的目录组织方式,他会改变数据在文件中的分布方式。分桶规则:对分桶字段值进行哈希,哈希值除以桶的个数求余,余数决定了该条记录在哪个桶中,也就是余数相...
阅读全文
摘要:首先利用python造一些假数据,来进行hive的学习: 代码如下: # coding: utf-8import randomimport datetimeimport sysreload(sys)sys.setdefaultencoding('...
阅读全文
摘要:GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中,不能累加,而且需要根据不同维度上钻和下钻的指标统计,比如,分小时、天、月的UV数。 grouping sets根据不同的维度组合进行聚合,等...
阅读全文
摘要:问题原因:之前hive里有数据,后面MySQL数据库坏了,导致hive元数据信息丢失,但是hdfs上hive表的数据并没有丢失,重新建表后查看hive分区没有,数据也没有。需要进行修复。 解决方法:可以使用msck repair table xxxxx命...
阅读全文
摘要:存现这种错误是因为 编写的 shell脚本是在win下编写的,每行结尾是\r\n 的Unix 结果行是\n 所以在Linux下运行脚本 会任务\r 是一个字符,所以运行错误,需要把文件转换下 方法一、 sed -i 's/\r//' 脚本名 方法...
阅读全文
摘要:安装 jdk (百度)安装 maven 1、wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.t...
阅读全文
摘要:1下载 wget http://nodejs.org/dist/v0.10.33/node-v0.10.33-linux-x64.tar.gz 2解压 [root@bigData-02 ~]# tar –zxvf node-v0.10.33...
阅读全文
摘要:Hadoop-daemon.sh:用于启动当前节点的进程 例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh:用于启动所有节...
阅读全文
摘要:在clone代码的时候,报错如下: 并且在报错的时候,VPN自动断线,之后自动连接。原本以为是VPN不稳定的缘故。重启之后,还是不行。 经过搜索,发现有人给出了解决方案,我也是在此基础上解决了该问题。 解决方式连接:http://www....
阅读全文
摘要:不小心忘记了grafana web界面的密码后,使用官网的方式重置密码http://docs.grafana.org/administration/cli/#reset-admin-password 但是并没有成功。 然后使用google到的...
阅读全文
摘要:问题:Ubuntu系统执行shell脚本时报错 报错内容 linux-source:not foundnot found [[[ 问题原因:在Ubuntu 当中 执行脚本默认的使用的是dash,而非bash,执行能力较弱 案例: ...
阅读全文
摘要:以下是自己对高并发的一些理解 volatile 定义:将volatile声明的变量作为共享变量,存到了共享内存中,线程会将这个变量缓存到自己的线程内存中,对于volatile修饰的变量,任意线程总会对该变量的最后的修改(写入)总是可见的。java内存...
阅读全文
摘要:一 Kafka 都有哪些特点? 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。可扩展性:kafka集群...
阅读全文
摘要:swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存,然后才是 swap空间,swappiness=100的时候表示积极的使用swap分区,并且把内存上的数据及时的搬运到swap空间...
阅读全文
摘要:最近无意间发现Nginx官方提供了Yum源。因此写个文章记录下。 1、添加源 默认情况Centos7中无Nginx的源,最近发现Nginx官网提供了Centos的源地址。因此可以如下执行命令添加源: sudo rpm -Uvh http:/...
阅读全文
摘要:两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问R...
阅读全文
摘要:首先了解下1和2在Linux中代表什么在Linux系统中0 1 2是一个文件描述符 名称 代码 操作符 Java中表示 Linux 下文件描述符(Debian 为例) 名称代码操作符Java中表示Linux 下文件描述符(Debian 为例)标准输入(...
阅读全文
摘要:由于SpringBoot默认包扫描机制是:从启动类所在包开始,扫描当前包及其子包下的所有文件。 由于刚开始我的启动类包名为:com.chenwei.site.staticfileserver,而core项目文件包名均为com.chenwe...
阅读全文
摘要:一、挂载 1、查看设备的挂载情况 lsblk或lsblk -f 2、挂载 需求 :给我们的Linux系统增加一个新的硬盘,并且挂载到/home/newdi...
阅读全文
摘要:jeecg-boot新建module模块 随着jeecg-boot不断拓展更新,爱好者越来越多,对于刚入门或者刚从事java(springboot)的人来说,会遇到各种各样的问题。 今天就对jeecg-boot开源项目上的一个issues:3...
阅读全文
摘要:在pom.xml文件中配置repositories始终不生效,一直从自定义配置的aliyun下载,repositories配置如下 cloudera https://repository...
阅读全文
摘要:用maven打成jar包后,Main.class.getClassLoader().getResource("")为null。 示例: public static void main(String[] args) { ...
阅读全文
摘要://创建spark数据库 create database spark; //创建userinfor表 create table userinfor( id INT NOT NULL AUTO_INCR...
阅读全文
摘要:在建立maven项目时,遇到问题,只能对java代码的打包。 此问题出现的原因时,在建立项目的时候,建立的时java的项目,后期进行scala的添加,但是在pom.xml中并没有出现scala代码的打包配置,导致只能进行java代码的打包。 解决方法:...
阅读全文
摘要:api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appNa...
阅读全文
摘要:DataFrame与RDD互操作之一: 反射方式 使用反射来推断包含了特定数据类型的RDD的元数据信息 使用DataFrame API或者sql方式编程 代码如下 import org.apache.spark.sql.SparkSe...
阅读全文
摘要:不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.ha...
阅读全文
摘要:提交命令 --class 任务的包名全路径 spark-submit --name sparksql --class com.binzaijun.SQLContextApp --master local[2] sql-1.0-SNAPSHOT.jar ...
阅读全文
摘要:一、环境准备 1.1硬件:centos7.6 2.1软件: jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接:https://archive.cloudera.com/cm6/6.3.1/repo-as...
阅读全文
摘要:Linux 正常安装 rpm 的命令是: rpm -ivh xxx.rpm 重复安装时需加属性: 软件包重复安装将会失败,若仍需要安装必须加--replacepkgs 属性 软件包的某个文件已在安装其他软件包时...
阅读全文
摘要:在官方的maven仓库中找不到cdh版本的hadoop依赖jar包 需要在spark根目录下的pom.xml文件中添加源 在 cloudera https://repository.cloudera.com/artifacto...
阅读全文
摘要:针对Object对象,如: # Object 监听值tobj:{'a':1} 第一种 watch: { tobj(new_value,old_value){ console.log(new_value,old_val...
阅读全文
摘要:遇到的问题 见我博客 https://www.cnblogs.com/erlou96/p/12874862.html 此文转载于 https://www.cnblogs.com/gunelark/p/8492468.html 问...
阅读全文
摘要:转载于:https://segmentfault.com/a/1190000013903264 后面有修改时遇到的问题,及解决思路 通过这篇文章我学习了vue集成echarts,尝试了一下demo没问题,但是在修改我预期效果时,却出了一点问题,最后解决思...
阅读全文
摘要:问题一:用vue +axios 跨域访问多个不同的域 解决方法: 在 vue.config.js 文件中 devServer中添加 devServer: { proxy: { '^/api/': { ...
阅读全文
摘要:一、准备工作 1、环境准备 ambari版本 2.7.4 hdp版本3.1 已在虚拟机中提前搭建好了集群环境。 只有一台虚拟机 所以全部采取单节点模式。 主机名 master ip 192.168.134.132 其中,elasticsear...
阅读全文
摘要:利用虚拟机安装docker,在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境,虚拟机环境centos7.6 docker环境为centos7.6 因为想要对ambari进行二次开发,所以本...
阅读全文
摘要:记录postman发送请求报错 1.Content type 'text/plain;charset=UTF-8' not supported 解决方法:配置HTTP信息头管理器,增加消息头 Content-Type:application/json;...
阅读全文
摘要:问题1:E: dpkg 被中断,您必须手工运行 ‘dpkg --configure -a’ 解决此问题。 解决方法: sudo rm /var/lib/dpkg/updates/*sudo apt-get update 问题2:dpkg: ...
阅读全文
摘要:问题 : 在一个项目中,linux服务器上Mysql数据库建表时表名有大小写,导致项目查询表失败。 MySQL表名不区分大小写的设置方法 mysql在windows系统下安装好后,默认是对表名大小写不敏感的,但是在linux下,一些系统...
阅读全文
摘要:因为 ajax请求是异步的,所以先axios后面的代码 再输出axios的代码 把需要做的操作放到成功的回调中就行了
阅读全文
摘要:转载地址:https://blog.csdn.net/sadness_lxy/article/details/89136418 一、问题背景: 在昨天项目开发中,使用了Druid作为数据库连接池,当数据源密码错误时,报出了以下错误: 2019-04-...
阅读全文
摘要:记录一次Vue 错误 You are using the runtime-only build of Vue where the template compiler is not available. Either pre-compile the tem...
阅读全文
摘要:第一步:修改springboot multipart的配置 spring: servlet: multipart: max-file-size: 5000MB max-request-size: 5000M...
阅读全文
摘要:网桥正在运行中,不能删除,需要先关掉网桥,才可以在下一步删除网桥 #关闭网桥ifconfig docker0 down#删除网桥brctl delbr docker0
阅读全文
摘要:今天学习变量的声明,赋值,修改 注意:要想vue响应,必须在new vue({})时候加入自己想要的变量,不然 不会响应
阅读全文
摘要:今天开始入门学习vue 第一步 下载vue.js放入项目里 新建一个html页面 用谷歌打开界面 测试成功,第一个Vue项目搭建好了!
阅读全文
摘要:直接贴代码 (推荐)方式一:使用RestTemplateBuilder自动配置 import org.springframework.beans.factory.annotation.Autowired;import org.springfram...
阅读全文
摘要:1.为linux创建用户 useradd -m user01 2.修改liunx用户user01的密码 centos 修改密码方式为 :echo "新密码" | passwd 用户名 --stdin echo "123123" | ...
阅读全文
摘要:在winodw10系统下安装node.js.msi等msi格式安装文件错误提示2503、2502,其实就是系统账户权限不够,我们只需要通过最高权限去运行msi格式的安装包,就可以安装成功了。1.以管理员方式启动cmd命令行工具 2.用命令:m...
阅读全文
摘要:本文转载自https://www.jianshu.com/p/03a76b2e7e00 一、安装环境 1、本机系统:Windows 10 Pro(64位)2、Node.js:v6.9.2LTS(64位) 二、安装Node.js步骤 1、下...
阅读全文
摘要:主机名宿主机IP容器分配网段启动容器的IPtesta192.168.1.105172.172.0.0/24172.172.0.10testb192.168.1.106172.172.1.0/24172.172.1.10 1.在testa主机上创建d...
阅读全文
摘要:docker exec -it ambari-server bashdocker cp /etc/apt/sources.list ambari-server:/etc/apt/docker export -o ambari-server.tar e...
阅读全文
摘要:这里采用最原始的桥接模式来实现跨主机直接docker容器通信问题 如果只是简单创建一个bridge模式的网络是无法给容器指定ip的 一些常用命令 brctl show br0 brctl addbr br0 brctl a...
阅读全文
摘要:CentOS7下安装配置zookeeper集群 1、搭建zookeeper集群之前需要有至少三台机器或虚拟机,这里采用centos7.2系统 2、去zookeeper官网下载对应的压缩包,我下载的是目前最新的zookeeper-3.5.2-alpha....
阅读全文
摘要:需求 通过python实现请求请求携带用户名和密码来登录 clouderaManager 将curl -u : 'http://10...
阅读全文
摘要:环境信息: 组件版本cdh版本5.13操作系统版本centos 6.9kerberos是 问题现象: CDH集群impala失败任务取消不掉。 问题原因: 在cm界面取消impala任务会发送post请求,而post响应请求返回结...
阅读全文
摘要:简介 ● HBase是一个分布式的、面向列的开源数据库,开源版本默认提供了展示集群信息的UI,可以显示集群的实时信息,包括jmx,但是维护HBase只靠实时信息还不够,我们还需要将实时信息汇总起来变成监控图表,这样才能分析集群的运行状态,监控集群并及时发...
阅读全文
摘要:一、基本概念及原理 elastic是实时分布式搜索分析引擎,内部使用luence作为索引和搜索。 什么是实时? 新增到 ES 中的数据在1秒后就可以被检索到,这种新增数据对搜索的可见性称为“准实时搜索”。 什么是全文? 对全部...
阅读全文
摘要:安装 下载安装包 presto官网:https://prestodb.io/ presto-server下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.2...
阅读全文
摘要:安装 下载安装包 presto官网:https://prestodb.io/ presto-server下载连接:https://r...
阅读全文
摘要:shell expect 一个自动化交互的软件,常用场景:在回车后需要输出一些内容 批量传输文件,批量远程命令执行,修改密码,安装软...
阅读全文
摘要:linux常用命令 常用软件安装 1. rz,sz yum install lrzsz 2. ifconfig # 1. 先搜索if...
阅读全文
摘要:环境信息 测试环境版本操作系统centos6.9问题现象 Linux命令行输入命令执行后报“bash:vi:command not ...
阅读全文
摘要:环境信息: 测试环境版本操作系统centos6.9CDH5.13问题描述: 往集群中的主机添加角色时,发现HDFS 存在警告信息,其...
阅读全文
摘要:环境信息 组件版本操作系统centos6.9CDH5.13kerberos是问题现象 HUE+kerberos启动报错Couldn’...
阅读全文
摘要:测试环境 组件版本操作系统centos7.4dockerCE18.1需求 需要将容器的ip设置为固定ip docker的网络类型 d...
阅读全文
摘要:环境信息: 组件版本操作系统centos 6.9CDH5.13kerberos环境是问题现象: CDH集群安装kerberos权限后...
阅读全文
摘要:问题背景: 要搭建cm大数据平台,别的节点需要安装cloudera-scm-agent,有因为文件较大,不想分发,所以采用yum源的...
阅读全文
摘要:环境信息: 操作系统版本:centos6.9 问题现象: 使用脚本制作完成集群的免密登陆后,发现登陆仍然需要密码 解决方案: 1.修...
阅读全文
摘要:测试环境: 依赖组件版本cdh版本5.13操作系统版本centos 6.9问题现象: 因为是在虚拟机中搭建cdh大数据平台,虚拟机内...
阅读全文
摘要:转自:http://www.throwable.club/2018/12/16/zookeeper-curator-usage/ Zookeeper客户端Curator使用详解 ...
阅读全文
摘要:目录 一、HDFS 1. HDFS的读流程 2. HDFS的写流程 3. Hadoop有哪些配置文件? 4. 小文件过多会造成什么影响? 5. block为什么设置成128M,为什么不建议设置太大,或者太小? 6. namenode对元数据的...
阅读全文
摘要:1.Kafka的用途有哪些?使用场景如何? 消息队列。都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能存储系统。Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。流式处理平台。Kafka 不...
阅读全文
摘要:作者: 水车 出处:https://www.cnblogs.com/shuiche/p/9436126.html source命令用法 source Fi...
阅读全文
摘要:转自:http://dblab.xmu.edu.cn/blog/spark/ 一、声名值和变量 1. val变量 1.1 隐式声明变量 scala> val myStr = "Hello World!"myStr: String = Hell...
阅读全文
摘要:总结《SparkStreaming实时流式大数据处理实战》 一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理(Native)的方式,即所有输入记录会一条接一条地被处理,storm 和 fli...
阅读全文
摘要:转自:https://blog.csdn.net/weixin_37766087/article/details/100940409 说明 这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with A...
阅读全文
摘要:1. usage of api document as @since 1.8+ IDEA出现错误: Usage of API documented as @since 1.8+ less… This inspection finds ...
阅读全文
摘要:UDF几个相关概念: UDF: one-to-one row mapping : upper substr【进来一行出去一行】 UDAF: Aggregation Many-to-one row mapping 比如sum/mi...
阅读全文
摘要:转载于:https://my.oschina.net/u/4631230/blog/4533371 (a表和b表通过user_id关联) 1.1 a表数据 ...
阅读全文
摘要:转载于:https://blog.csdn.net/weixin_42670653/article/details/100042953 问题: 在docker容器内无法删除文件 dockerfile里 或者在容器内执行完rm -rf之后...
阅读全文
摘要:文章目录 RDD实现详解1. 什么是RDD1.1 RDD的创建1.2 RDD的转换1.3 RDD缓存1.4 RDD的checkpo...
阅读全文
摘要:文章目录 深入客户端1. 分区分配策略1.1 RangeAssignor分配策略1.2 RoundRobinAssignor分配策...
阅读全文
摘要:文章目录 深入服务端1. 时间轮 2. 控制器3. 关闭kafka4.分区leader的选举5. 参数解密 深入服务端 1. 时...
阅读全文
摘要:文章目录 日志存储1. 文件目录布局2. 日志索引3. 日志清理4. 磁盘存储4.1 页缓存4.2 零拷贝 日志存储 1. ...
阅读全文
摘要:文章目录 主题与分区1. 主题的管理1.1 创建主题1.2 查看主题1.3 修改主题1.4 配置管理1.5 删除主题 2. 主...
阅读全文
摘要:文章目录 1. 消费者2. 客户端开发2.1 消息消费2.2 指定位移消费2.3 再均衡2.4 多线程实现2.5 重要参数 ...
阅读全文
摘要:文章目录 1. 基本概念2. 生产者2.1必要的参数配置2.2 消息的发送2.3 分区器2.4 生产者拦截器3. 原理分析3.1 ...
阅读全文
摘要:目录 Hbase集群修复 Hbase调优 1. 操作系统级别调优 2. Hbase相关组件调优 3. HBase参数优化 4. Hbase业务调优 5. JVM调优 HBase故障原因 Hbase集群修复 HBase集群一致性主要包括两个方面 HBase Re...
阅读全文
摘要:目录 1. Compaction实现 1.1 Compaction基本工作原理 1.1.1Compaction触发条件 1.1.2待合并HFile集合选择策略 2. 负载均衡实现 3. Region合并 4. Region的分裂 4.1 Region分裂触发条...
阅读全文
摘要:目录 1. HBase写入流程 1.1 写入流程的三个阶段 1.1.1 客户端请求阶段 1.1.2 Region写入阶段 1.1.3 MemStore Flush阶段 1.1.3.1 Flush触发条件 1.1.3.2 flush执行流程 1.1.3.3 生...
阅读全文
摘要:目录 一、RegionServer的核心模块 1.1RegionServer内部结构 1.2HLog 1.3 MemStore 1.3.1 MemStore的GC问题 1.3.2 MSLAB内存管理方式 1.3.3 MemStore Chunk Pool 1....
阅读全文
摘要:一、Hbase基础数据结构与算法 Hase的一个 列簇 本质是一颗LSM树。LSM树分为内存和磁盘。 内存:(保证有序)平衡二叉树,红黑树,跳跃表 (考虑并发)选择了跳跃表。来维护一个有序的KeyValue集合。ConcurrSkipListMap磁盘:...
阅读全文
摘要:目录 一、HBase体系结构 1. HBase 客户端 2. zookeeper 3. Master 4. RegionServer (1).WAL(HLog) (2).BlockCache 5. Region 6. Store 二、HBase系统特性 1. ...
阅读全文
摘要:前言 今天开始shell的学习,shell是核心程序Kernel之外的命令解析器,是一个程序,也是一种命令语言和程序设计语言。作为一种命令语言,可以交互式解析用户输入的命令。 比如输入ls命令后,shell会解析ls这个字符并向内核发出请求,内核执行这...
阅读全文
摘要:String相关的 1. charAt() 方法用于返回指定索引处的字符。索引范围为从 0 到 length() - 1。 string.charAt(i); // i为索引, 索引范围为 0 到 length() - 1 2. lengt...
阅读全文
摘要:服务器 的优化一般分为:(磁盘优化,网络优化,虚拟内存优化) 一 磁盘优化: 磁盘格式可用 xfs 或ext4 xfs 性能比ext4 好些 二 内存优化: 关闭交换分区 swapoff -a 避免内存交换 vm.swappiness=1 ...
阅读全文
摘要:学习整理 https://labuladong.gitbook.io/algo 一、数据结构的存储方式 数据的存储结构只有数组(顺序存储)和链表(链式存储)两种形式 数组由于是连续空间,必须一次向内存申请足够的连续空间,而且通过索引能够快速的查找元素...
阅读全文
摘要:问题背景: 我自制了一个 mysql的容器,每次启动容器后,都需要进入容器,然后启动mysql服务,效率太低。 解决思路: 通过Dockerfile来实现容器内服务自启动。 一: 基础环境准备 准备基础环境: docker mysql镜...
阅读全文
摘要:Linux设置服务开机自动启动的方式有好多种,这里分别介绍一下centos操作系统开机脚本自启动和ubuntu操作系统脚本开机自启动的方式. 一、操作系统:Centos 这里通过chkconfig命令添加脚本为开机自动启动的方法。 1.编写脚本sta...
阅读全文
摘要:方案一 启动时增加hosts,参考自docker docs docker run -d --name test1 \ --add-host test1.a:1.2.3.4 \ local/test 方案二 docker-...
阅读全文
摘要:进入容器 docker exec -it ambari-server /bin/bash docker从宿主机拷贝文件到容器 docker cp /etc/apt/sources.list ambari-server:/etc/apt...
阅读全文
摘要:接上文:https://www.cnblogs.com/erlou96/p/13847912.html 银河麒麟操作系统, arm架构 服务器制作 ubuntu ssh的docker镜像,接下来制作jdk的docker镜像 一: 基础环境准备 准...
阅读全文
摘要:解决方法: 修改 /etc/ssh/sshd_config文件 UseDNS vim /etc/ssh/sshd_configUse...
阅读全文
摘要:安装 sudo apt-get install clustershell 配置组 添加组文件 touch /etc/clusters...
阅读全文
摘要:需求一: dao层 代码如下: void insertShardsCheck(@Param("list") List indexNa...
阅读全文
摘要:问题一: 报错内容 nested exception is org.apache.ibatis.binding.BindingExc...
阅读全文
摘要:JS 数组 通过数组下标获取数组 arr[0] 数组长度 arr.length for…of循环(ES6) for (elemen...
阅读全文
摘要:使用大表 join 小表对性能的提升 案例一: 原sql: selectt3.repay_dt,count(1),count(ca...
阅读全文
摘要:@PathVariable获取URI地址中的参数值,需要结合URI模板映射 @PathVariable会将数据放到模型中,...
阅读全文
摘要:什么是useGeneratedKeys? 官方的说法是该参数的作用是:“允许JDBC支持自动生成主键,需要驱动兼容”,如何理解这句话...
阅读全文
摘要:需求背景 table表格要实现如下效果,一行数据会对应多个数据。效果如下: 代码开发 ...
阅读全文
摘要:一、问题需求 当我们向后台请求大量数据的时候,并要在页面展示出来,请求的数据可能上百条数据或者更多的时候,并不想在一个页面展示,这就...
阅读全文
摘要:一、问题背景 想对表格的某一列添加点击事件。 原效果如下: 目标效果: 二、解决方法 使用vue 的slot插槽来解决这个问题:...
阅读全文
摘要:脚本内容如下: import ply.lex as lex, redef extract_table_name_from_sql(s...
阅读全文
摘要:问题一: 错误内容 SyntaxError: Non-ASCII character '\xe8' in file 解决方法: 在p...
阅读全文
摘要:转自文章:http://armsword.com/2021/03/23/use-async-profiler-find-cpu-bo...
阅读全文
摘要:问题现象: cdh集群 master00节点 hiveserver2服务2小时内挂掉2次,报内存溢出的问题。 错误日志如下: 问...
阅读全文
摘要:前提 springboot项目需要读取非application.yml/properties 的配置文件。 操作步骤 新建配置文件 ...
阅读全文
摘要:前提 logback日志文件要实现springboot多环境配置,不然每次都需要修改logback.xml里面的配置文件,所以很麻烦...
阅读全文
摘要:项目需求 项目需要读取application.yml中自定义的配置文件。 跨工程也是可以读取到application.yml文件...
阅读全文
摘要:问题一: 在做spring boot项目时用postman进行json调用测试时出现以上错误: 这表达的意思是说上下文的类型格式不对...
阅读全文
摘要:top top -H -p pid 按 shift + p 以cpu来排序 按 shift + m 以memory来排序...
阅读全文
摘要:设置redis密码 运行命令: redis-cli 运行命令: config get requirepass 如果之前是没...
阅读全文
摘要:DDL insert INSERT INTO table_name ( field1, field2,...fieldN ) ...
阅读全文
摘要:拉取分支代码 git clone -b dev 代码仓库地址 (dev是分支名称)案例git clone -b new git cl...
阅读全文
摘要:一、前提 默认情况下,CDH集群中的Impala Daemon又可以充当查询的coordinator,也可以作为executor来...
阅读全文
摘要:一、问题描述 1. cm监控告警 cloudera-manager 触发告警,该主机与 Cloudera Manager Serve...
阅读全文
摘要:参考相关文章,并整理了遇到的问题 https://blog.csdn.net/qq_31922231/article/details...
阅读全文
摘要:一、问题背景 需要修改数据库里的数据,修改时报错。 二、问题 sql sql语句如下: update userGroup set...
阅读全文
摘要:前言 整理presto-0.220版本的 rest api,目前只整理如下,详细的REST API可以查看presto源码 v1/c...
阅读全文
摘要:一、前言 目前要对impala执行的任务进行监控,目前采用的是用python每10分钟请求Cloudera Manager的数据,然...
阅读全文
摘要:匹配等号后面的内容 (?<==).* 匹配任意长度的字符 .*? 例子: www.taobao.com.*?m 匹配ip (\d+\...
阅读全文
摘要:问题现象 在对es做group by分组聚合查询时,数据返回不正确,只能显示十条。但是应该有14个分组。 查询语句: GET /ha...
阅读全文
摘要:连接es # 初始化esfrom elasticsearch import Elasticsearches = Elasticsea...
阅读全文
摘要:问题现象 在对es的数据做聚合操作时,报错。 报错语句: curl -XPOST http://10.11.3.63:9200/h...
阅读全文
摘要:问题现象 安装tableau 时报错,提示安装c++ 失败,于是下载c++2015进行安装又报错,报错信息0x80240017如下:...
阅读全文
摘要:根据某个字段查询 精确匹配: agent:"Mozilla/5.0"如果不带双引号,只要包含指定值就可以搜索到 agent:Mozi...
阅读全文
摘要:前提 ES在查询过程中比较多遇到符合查询,既需要多个字段过滤也需要特殊情况处理。 bool(组合查询) must 所有的语句都 必须...
阅读全文
摘要:jstat gcutil jstat -gcutil pid 1000 -gc jstat -gc pid 1000 5 参数说明:...
阅读全文
摘要:因为G1的堆布局跟HotSpot VM里其它GC不一样——它只有一组逻辑上的survivor space,而不像其它HotSpot...
阅读全文
摘要:索引管理 查看es的全部索引 curl -XGET 'localhost:9200/_cat/indices?v&pretty' ...
阅读全文
摘要:问题现象 使用cloudera-manager 新增了两台节点,并在上面部署了Datanode服务,服务部署成功后,并且也添加了Ga...
阅读全文
摘要:问题现象 当启动 apache 时,出现一下异常:AH00543: httpd: bad user name apache 解决方...
阅读全文
摘要:pip安装 pip install xlrd -i http://pypi.douban.com/simple --trusted-...
阅读全文
摘要:一、参数配置 -Xms 最小堆的大小, 也就是当你的虚拟机启动后, 就会分配这么大的堆内存给你-Xmx 是最大堆的大小 一般这两个参...
阅读全文
摘要:一、问题现象 在打印java堆信息时报错。 jmap -heap \ 二、报错内容 Error attaching to proce...
阅读全文
摘要:HDFS缓存 集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理 优点: 阻止频繁使用的数据从内存中删除...
阅读全文
摘要:常用命令: 跳过回收站删除文件: hdfs dfs -rmr -skipTrash /test 清空回收站 hdfs dfs -ex...
阅读全文
摘要:一、事发背景 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理...
阅读全文
摘要:一、Presto界面几种查询状态 QUEUED –查询已被接受,正在等待执行。 PLANNING –正在计划查询。 STARTING –查询执行正在启动。 RUNNING –查询至少有一个正在运行的任务。 BLOCKED –查询被阻止,正在等待...
阅读全文
摘要:一、前言: 今天对es集群做扩容节点操作,新增了一台节点,启动节点后,没过15分钟,监控报警节点es服务端口异常。 第一次看日志并没...
阅读全文
摘要:一、前言: 最近在使用impala组件时,发现有些在hive里有而impala里没有的函数,如 在Hive中有一个UDF为get_...
阅读全文
摘要:常见操作: 连接impala impala-shell -i impala-jdbc.com:21000 -u hive -s hi...
阅读全文
摘要:一、前言: 今天收到kibana服务告警。 环境信息: es7,4kibana 7.4 二、报错内容: [2800:0x326ea9...
阅读全文
摘要:一、前言 二、安装下载 breakpad 网址:https://chromium.googlesource.com/breakpad...
阅读全文
摘要:前言: 在使用springboot 传入JSON对象参数时,需要注意以下几点。 请求参数格式必须是正确的JSON。 在入参中使用...
阅读全文
【springboot】class path resource [mybatis/mybatis-config.xml] cannot be opened because it does not ex
摘要:问题描述 使用springboot 加载mybatis 配置文件,报错找不到该配置文件。 报错内容: Caused by: ja...
阅读全文
摘要:一、前言 通常使用java来进行实际开发中,里面的变量都是使用驼峰的命名规则; 但是有时候在对接其他三方平台的接口时,要求使用下划线...
阅读全文
摘要:参考转载: 本文作者: jiankunking 本文链接: https://jiankunking.com/elasticsearc...
阅读全文
摘要:前言: 最近需要对es集群定时进行索引的segment合并,使用java 的restClientAPI进行操作,对于一些大索引进行...
阅读全文
摘要:首先在 Linux 系统中打开终端,确认 U 盘路径: sudo fdisk -l 格式化 U 盘,为了格式化首先需要 umount...
阅读全文
摘要:substr/substring 使用语法: substr(string A, int start),substring(strin...
阅读全文
摘要:系统约定 安装文件下载目录:/data/software Mysql目录安装位置:/usr/local/mysql 数据库保存位置:...
阅读全文
摘要:前言: presto服务挂掉,在重启presto 过程中,发现有报 open file 限制的警告,于是没考虑太多,直接去修改/et...
阅读全文
摘要:环境信息: cpu:40c操作系统:ceontos6.7部署服务:DataNode、NodeManager、Impala服务。 一、...
阅读全文
【hive】hive查询报错INFO: os::commit_memory(0x00000006e9990000, 3597074432, 0) failed; error=‘Cannot alloc
摘要:报错内容: INFO : Starting task [Stage-14:MAPREDLOCAL] in serial modeJ...
阅读全文