08 2021 档案
摘要：Kafka只能保证分区内消息有序，为了保证有序性，在acks配置非零的前提下，需指定max.in.flight.requests.per.connection（每个连接最多缓存的请求数）为1，保证前一个消息发送成功，后一个消息才开始发送；如果acks配置为0，那么生产者发送消息之后不需要等待任何服务
阅读全文
摘要：在命令行输入mvn idea:idea 然后 file–invalidate caches 重启
阅读全文
摘要：生产者客户端的整体架构如下图所示： 整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender线程（发送线程）。在主线程中由KafkaProducer创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器（RecordAccumulator，也称为消息收集器〉中。S
阅读全文
摘要：一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个ZooKeeper集群。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中
阅读全文
摘要：MySQL ClickHouse UNSIGNED TINYINT UInt8 TINYINT Int8 UNSIGNED SMALLINT UInt16 SMALLINT Int16 UNSIGNED INT, UNSIGNED MEDIUMINT UInt32 INT, MEDIUMINT In
阅读全文
摘要：1、通过mysql命令登录 2、执行select version(); 3、mysql -V mysql Ver 14.14 Distrib 5.7.22, for Linux (x86_64) using EditLine wrapper
阅读全文
摘要：1、使用sqlline.py登录到客户端命令行 2、执行如下命令 !outputformat csv !record data.csv #可以使用绝对路径 select * from tableName !record 如果导多个表到不同文件中，重复执行以上步骤。 注意：导出的文件内容含有其他与数据
阅读全文
摘要：进入kafka所在目录，通过查看libs目录下的jar包 2.11是scala的版本，2.0.0是kafka的版本
阅读全文
摘要：1、hbase shell 2、输入version 3、hbase version
阅读全文
摘要：echo stat|nc localhost 2181 Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
阅读全文
摘要：setPartitionerClass是用来设置按照什么规则对key来进行分区，即决定map输出时，什么样的key输出到同一个reduce节点上；但是这个设置不能保证到同一个reduce节点的key会在同一个group里（即不一定在reduce的同一个iter迭代里）。用户可以自定义分区类，通过继承
阅读全文
摘要：转载：http://blog.sina.com.cn/s/blog_1533e35800102wyb0.html 什么是IP协议？ IP是Internet Protocol（网际互连协议）的缩写，是TCP/IP体系中的网际层协议。 IP协议的格式 Version（版本号） 占据4bit位，如果值是0
阅读全文
摘要：转载：https://www.cnblogs.com/xiexj/p/7214502.html 一、inode是什么？ 理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个
阅读全文
摘要：百度百科 Linux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布，它主要受到Minix和Unix思想的启发，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件
阅读全文
摘要：简介 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据
阅读全文
摘要：mysql -- 日期字符串转时间戳 select UNIX_TIMESTAMP('2019-09-01 00:00:00'); -- 时间戳转日期 select FROM_UNIXTIME(1567267200,'%Y-%m-%d %H:%i:%s'); phoenix DATA_TIME为B
阅读全文
摘要：ssh 用户名@IP Unable to negotiate with … port 22: no matching key exchange method found. Their offer: diffie-hellman-group1-sha1 添加秘钥交换算法支持 ssh -oKexAlgo
阅读全文
摘要：1、java: 找不到符号 map(o->o._2)处提示找不到符号 SparkSession spark = SparkSession.builder().appName(appName).getOrCreate(); JavaSparkContext jsc = new JavaSparkCon
阅读全文
摘要：原文地址：https://blog.csdn.net/asd136912/article/details/97392033 在web界面上查看 任务正在运行 如果运行在 YARN 模式，可以在 ResourceManager 节点的 WEB UI 页面根据 任务状态、用户名 或者 applicati
阅读全文
摘要：1、所有表突然变成只读状态 原因：大概率是因为ZK的问题，可能是ZK的节点有挂掉的情况。
阅读全文
摘要：\x1b[42D(\033[42d)(\u001B[42d)代表光标左移42个字符， 是ANSI的Escape序列屏幕控制码(用于telnet等) 在linux console显示各种颜色的信息可以使用特殊的符号串：escape sequence code.通过使用escape sequence c
阅读全文
摘要：1、日志占据过多的磁盘空间，导致磁盘利用率达到100%，从而使ZK节点挂掉 解决方法： 1.使用zkCleanup.sh清理历史快照 2.修改zoo.cfg配置文件，添加如下两个参数：autopurge.purgeInterval=3 该参数单位为小时autopurge.snapRetainCoun
阅读全文
摘要：创建线程的三种方式 1、继承Thread类 编写一个类MyThread，继承Thread，重写run方法。 调用：创建一个MyThread对象，调用start方法 2、实现Runnable接口 编写一个类MyThread，实现Runnable接口，重写run方法。 调用：创建一个MyThread对象
阅读全文
摘要：摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用My
阅读全文
摘要：#log4j file info log4j.rootLogger=DEBUG,stdout,std log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4
阅读全文
摘要：Docker基本组成 镜像 -》run -》容器 容器 = 镜像 + 可读层 安装Docker 环境查看 # 系统内核是3.10以上的[root@mengxt ~]# uname -r3.10.0-1062.18.1.el7.x86_64 # 系统版本[root@mengxt ~]# cat /et
阅读全文
摘要：今天突然之前搭建的博客网站崩溃了，搞了半天才把数据恢复了一部分，先把部分博客备份到园子里吧！
阅读全文
