随笔分类 - Apache组件使用知识
一些组件在使用过程中的要点
摘要：一、以"茴香豆"开源项目为例 1、github地址 https://github.com/InternLM/HuixiangDou/tree/main 2、点击Fork项目，将该项目的仓库复制到你自己的GitHub账号下 3、在你自己的GitHub账号下，找到刚刚”Fork”的项目仓库，点击”Cod
阅读全文
摘要：一、安装 1、安装包下载 https://nodejs.org/download/release/v16.20.0/ 2、将node-v16.20.0-linux-x64.tar.gz上传至/opt/soft目录 3、解压 cd /opt/soft && tar -zxvf node-v16.20.
阅读全文
摘要：一、安装 1、安装包下载 https://archive.apache.org/dist/tomcat/tomcat-10/v10.0.6/bin/ 2、将apache-tomcat-10.0.6.tar.gz上传至/opt/soft mkdir -p /opt/soft mkdir -p /opt
阅读全文
摘要：一、Nginx安装 1、依赖包 yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel wget vim telnet net-tools 2、下载1.22.0版本安装包 cd /opt/soft &&
阅读全文
摘要：一、 Scala环境搭建 1、安装步骤 （1）首先确保jdk1.8安装成功 （2）下载对应的Scala安装文件scala-2.11.8.zip，下载地址：https://pan.baidu.com/s/1D7KxZOLZReXK46LNo_jiGA 提取码：l4s1 （3）解压scala-2.11.
阅读全文
摘要：1、查看hdfs-size.xml文件 获取数据目录位置 vim /opt/hadoop/etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop-data/data-node
阅读全文
摘要：参考地址：https://www.bilibili.com/read/cv15128680
阅读全文
摘要：一、问题浮现 二、问题定位 在初始化Hive元数据时，已经指定了连接mysql的字符集为UTF8，但还是出现了乱码问题。 jdbc:mysql://127.0.0.1:3306/hive_metastore?createDatabaseIfNotExist=true&useUnicode=t
阅读全文
摘要：一、Linux系统时区设置 1、查看Linux系统时区 timedatectl | grep "Time zone" 2、设置时区为Asia/Shanghai timedatectl set-timezone Asia/Shanghai 3、修改配置文件 cp -f /usr/share/zonei
阅读全文
摘要：1、依赖安装 yum install dh-autoreconf curl-devel expat-devel gettext-devel openssl-devel perl-devel zlib-devel nss -y 2、移除默认的git yum remove git -y 3、下载git安
阅读全文
摘要：一、配置免密互通 参考地址：https://www.cnblogs.com/qq1035807396/p/16998602.html 二、开始安装Ansible 1、添加repo yum install -y https://dl.fedoraproject.org/pub/epel/epel-re
阅读全文
摘要：一、elasticsearch（仅用于测试环境） 1、拉取镜像（docker版本19.03.9） docker pull elastic/elasticsearch:7.10.2 2、创建挂载目录 mkdir -p /data/elk/es/{config,data,logs} 3、赋予权限 chm
阅读全文
摘要：1、下载安装包 http://archive.apache.org/dist/zeppelin/zeppelin-0.9.0/ 2、上传zeppelin-0.9.0-bin-all.tgz至/opt/soft 3、解压 tar -zxvf /opt/soft/zeppelin-0.9.0-bin-a
阅读全文
摘要：1、下载Anaconda3-2019.07-Linux-x86_64.shhttps://repo.anaconda.com/archive/ 2、安装包上传至/opt/soft 3、赋予权限 chmod +x /opt/soft/Anaconda3-2019.07-Linux-x86_64.sh
阅读全文
摘要：一、背景 使用Spark操作Iceberg（HiveCataLog的方式），使用Spline-Agent收集Spark作业的血缘。 二、编译 1、下载源码包：https://github.com/AbsaOSS/spline-spark-agent.git 2、经过测试，发现了一些Bug，影响到了S
阅读全文
摘要：1、设置1天过期时间 cd /usr/local/kafka bin/kafka-configs.sh --zookeeper 192.168.xxx.xxx:2181,192.168.xxx.xxx:2181,192.168.xxx.xxx:2181 --alter --entity-name 主
阅读全文
摘要：一、资料地址 1、Git地址：https://github.com/alibaba/DataX 2、DataX详细介绍：https://github.com/alibaba/DataX/blob/master/introduction.md/ 3、编译下载：https://github.com/al
阅读全文
摘要：一、内存布局 1、直观图 2、树状图 二、内存解释 1、Flink使用的内存 （1）JVM堆上内存 说明：堆上内存管理序列化之后的数据，如果需要处理的数据超出了内存限制，则会将部分数据存储到硬盘上。堆上内存在写磁盘或网络传输时至少需要一次内存复制。 a.框架堆上内存Framework Heap Me
阅读全文
摘要：一、安装包准备 1、下载地址：https://github.com/hugegraph/hugegraph/releases/download/v0.11.2/hugegraph-0.11.2.tar.gz 2、将下载好的安装包上传至/opt/soft 二、安装HugeGraphServer 1、解
阅读全文
摘要：一、图基本概念与操作 #查询顶点，一般作为图查询的第1步，后面可以续接的语句种类繁多 g.V() #查询图中所有的边 g.E() g.E().hasLabel('rel_hdfs_path_and_spark_input_processes') g.E().hasLabel('rel_hive_ta
阅读全文
