10 2023 档案

摘要:(一)参数调优 参数调优相关代码 在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。在这段代码中有很多常用的参数配置,在线上使用时,我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = 阅读全文
posted @ 2023-10-31 12:34 业余砖家 阅读(122) 评论(0) 推荐(0) 编辑
摘要:生产环境下,为了尽可能提升Kafka的整体吞吐量,可以对Kafka的相关配置参数进行调整,以达到提升整体性能的目的。 本文主要从Kafka的不同组件出发,讲解各组件涉及的配置参数和参数含义。 一、生产者(producer.properties或者代码中) 1、acks:Producer需要Leade 阅读全文
posted @ 2023-10-31 10:25 业余砖家 阅读(1537) 评论(0) 推荐(0) 编辑
摘要:1.操作系统 cat /etc/redhat-release ; 2.JDK java -version 3.SCALA scala --version 4.MySQL mysql --version 5.Zookeeper ps -ef | grep -E “zookeeper-.*.jar” 6 阅读全文
posted @ 2023-10-26 10:05 业余砖家 阅读(81) 评论(0) 推荐(0) 编辑
摘要:编译源码时所需提前安装的常用依赖包列表: yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib 阅读全文
posted @ 2023-10-25 22:39 业余砖家 阅读(270) 评论(0) 推荐(0) 编辑
摘要:原文地址: https://blog.csdn.net/weixin_41905135/article/details/123858658 (一)VMware编辑虚拟网络 ​ 默认情况下,VMware Workstation的虚拟网卡使用192.168.1.0~192.168.254.0范围中的(2 阅读全文
posted @ 2023-10-25 22:23 业余砖家 阅读(496) 评论(0) 推荐(0) 编辑
摘要:(一)前言 在Linux操作系统中,一般常用的杀死进程的命令是 kill 、 pkill 、 killall ,根据杀死单个进程拓展至批量杀死进程。 1、查看指定名称的进程,如下查看运行wps程序的进程: ps -ef | grep wps | grep -v grep 2、根据进程号(PID)杀死 阅读全文
posted @ 2023-10-25 17:43 业余砖家 阅读(2355) 评论(0) 推荐(0) 编辑
摘要:yum是Linux操作系统中最常用的软件包管理器之一,它可以帮助你很容易地安装、删除和更新软件包。然而,有时候yum在删除软件包时可能会出现一些问题,本文将告诉你如何正确地使用yum卸载软件包,并解决常见的问题。 1.检查软件包是否存在 在使用yum删除软件包之前,首先要检查软件包是否已经被安装。你 阅读全文
posted @ 2023-10-25 17:09 业余砖家 阅读(3654) 评论(0) 推荐(0) 编辑
摘要:1. 打开IDEA 界面,选择“New Project” 2. 输入项目名称和基本信息 输入项目名称、选择存放路径、JDK版本、以及GroupId、ArtifactId。 GroupID :是项目组织唯一的标识符,实际对应JAVA的包的结构,是main目录里java的目录结构。 GroupID定义了 阅读全文
posted @ 2023-10-24 12:44 业余砖家 阅读(162) 评论(1) 推荐(3) 编辑
摘要:1.下载maven 从官方下载maven,下载页面:http://maven.apache.org/download.cgi 2.安装maven maven压缩包解压到一个没有中文,空格或其他特殊字符的文件夹内即可使用。 3.配置maven环境变量 maven 的使用是在jdk的基础上,所以电脑必须 阅读全文
posted @ 2023-10-24 10:21 业余砖家 阅读(328) 评论(0) 推荐(0) 编辑
摘要:一、DataX简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、DataX架构原理 为了解决异构数据源同步问题,DataX将复杂的网 阅读全文
posted @ 2023-10-19 17:21 业余砖家 阅读(449) 评论(0) 推荐(0) 编辑
摘要:1.expect简介 expect是一种脚本语言,它能够代替人工实现与终端的交互,主要应用于执行命令和程序时,系统以交互形式要求输入指定字符串,实现交互通信。 安装命令: yum install expect ; 2.expect使用场景 (1)并根据预定标准回答其问题,回答“是”、“否”或将控制权 阅读全文
posted @ 2023-10-19 10:38 业余砖家 阅读(415) 评论(0) 推荐(0) 编辑
摘要:1. sshpass简介 sshpass 是一个在非交互式 ssh 会话中自动输入密码的工具。它可以直接在命令行中指定密码,因此可以用于 Shell 脚本等自动化场景。在 Red Hat 系统中,可以通过 epel-release 源安装 sshpass。 epel-release 源是 Extra 阅读全文
posted @ 2023-10-19 10:11 业余砖家 阅读(3904) 评论(0) 推荐(0) 编辑
摘要:在shell中做小数运算,可以借助bc 或者awk工具 一、使用bc做小数运算,scale指定小数点位数 1、加法运算(scale参数无效) #echo "5.999 + 5.001"|bc 6.000 #echo "5.111+ 5.1114"|bc 10.2224 运算结果小数点位数以加数中最大 阅读全文
posted @ 2023-10-19 09:48 业余砖家 阅读(2227) 评论(0) 推荐(0) 编辑
摘要:a) 准备测试数据 这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 阅读全文
posted @ 2023-10-18 16:20 业余砖家 阅读(142) 评论(0) 推荐(0) 编辑
摘要:Hbase 预分区 HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时,表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的 阅读全文
posted @ 2023-10-17 18:37 业余砖家 阅读(43) 评论(0) 推荐(0) 编辑
摘要:hbase shell操作 一、DDL操作 1.开启hbase shell hbase shell 2.查看hbase状态 Status 3.查看hbase版本 Version 4.创建命名空间 create_namespace '命名空间名' 5.显示所有命名空间 list_namespace 6 阅读全文
posted @ 2023-10-17 18:36 业余砖家 阅读(50) 评论(0) 推荐(0) 编辑
摘要:一、如何选择压缩算法以及Data_Block_Encoding?(1)如果Key很长,或者有很多Column,那么推荐使用FAST_DIFF。(2)如果数据是冷数据,不经常被访问,那么使用GZIP压缩格式。因为虽然它比Snappy/LZO需要占用更多而CPU,但是它的压缩比率更高,更节省磁盘。(3) 阅读全文
posted @ 2023-10-17 16:12 业余砖家 阅读(436) 评论(0) 推荐(0) 编辑
摘要:由于Hbase是列式数据库,没有提供类似SQL的数据查询语句,可以通过以下三种方式获取表的总行数。 1. 使用Hbase自带的Count命令 hbase提供了count命令可以在hbase交互界面使用,获取总行数。 hbase> count 'test' hbase> count 'test', I 阅读全文
posted @ 2023-10-17 15:39 业余砖家 阅读(611) 评论(0) 推荐(0) 编辑
摘要:一、宽表和高表定义 HBase 中的表可以设计为高表(tall-narrow table) 和 宽表(flat-wide table): (1) 宽表是指很多列较少行,即列多行少的表,一行中的数据量较大,行数少; (2) 高表是指很多行较少列,即行多列少,一行中的数据量较少,行数大。 二、宽表和高表 阅读全文
posted @ 2023-10-17 15:05 业余砖家 阅读(328) 评论(0) 推荐(0) 编辑
摘要:问题描述:在bash下用cat显示二进制文件后会出现乱码,整个终端显示包括shell提示符都是乱码,这个跟语言环境无关。 解决办法: 恢复的话,大致有以下几种方法:方法一:盲打输入echo -e '\xf'并回车。与这个命令相对的是echo -e '\xe',在正常状态下输入此命令会把终端搞出乱码来 阅读全文
posted @ 2023-10-17 14:48 业余砖家 阅读(1127) 评论(0) 推荐(0) 编辑
摘要:问题描述:虚拟机CentOS7,输入大小写字母反了,开启capslock的时候变成小写字母了,关闭则变成大写了。。。 解决办法:只需要执行:setleds +caps 或 setleds -caps 即可。 如图: 阅读全文
posted @ 2023-10-17 14:28 业余砖家 阅读(1236) 评论(0) 推荐(0) 编辑
摘要:在查询hdfs时或者执行程序向hdfs写入数据时遇到报错:Operation category READ is not supported in state standby 意思是:该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行,例如:hadoop fs -ls 阅读全文
posted @ 2023-10-13 14:56 业余砖家 阅读(3173) 评论(0) 推荐(0) 编辑
摘要:1、启动命令 #!/bin/bash nohup hive --service metastore >> HIVE_HOME/logs/metasotre.log 2>&1 & nohup hive --service hiveserver2 >>HIVE_HOME/logs/hiveserv 阅读全文
posted @ 2023-10-13 12:22 业余砖家 阅读(1056) 评论(0) 推荐(0) 编辑
摘要:一、或(or)操作1、使用选项 -Egrep -E 'a1|a2’filename // 找出文件(filename)中包含a1或者包含a2的行 2、使用egrepegrep ‘a1|a2’ filename // 用egrep同样可以实现 3、使用选项 -e使用grep -e 选项,只能传递一个参 阅读全文
posted @ 2023-10-08 10:46 业余砖家 阅读(752) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示