随笔分类 -  Apache组件使用知识

一些组件在使用过程中的要点
摘要:一、Apache TinkerPop入门 参考文档:https://tinkerpop.apache.org/docs/3.6.0/tutorials/getting-started/ 二、Gremlin 控制台 参考文档:https://tinkerpop.apache.org/docs/3.6. 阅读全文
posted @ 2022-10-10 09:40 落魄的大数据转AI小哥 阅读(130) 评论(0) 推荐(0) 编辑
摘要:一、编译Spark3.0.3源码 1、源码下载 https://github.com/apache/spark/archive/refs/tags/v3.0.3.zip 2、上传至/opt/soft目录并解压至/opt/module unzip spark-3.0.3.zip mv /opt/sof 阅读全文
posted @ 2022-10-10 09:33 落魄的大数据转AI小哥 阅读(316) 评论(0) 推荐(0) 编辑
摘要:一、背景 由于spark-atlas-connector无法解析DF算子获取到Spark程序的血缘,因此我们这边针对Spark血缘做了调研,发现spline-agent能解析DF算子,从而获取得到Spark作业血缘,因此我们选择抛弃spark-atlas-connector,转而使用spline-a 阅读全文
posted @ 2022-10-10 09:15 落魄的大数据转AI小哥 阅读(1398) 评论(2) 推荐(0) 编辑
摘要:一、依赖 yum install -y freetds-bin krb5-user ldap-utils libffi6 libsasl2-2 libsasl2-modules libssl1.1 locales lsb-release sasl2-bin sqlite3 unixodbc yum 阅读全文
posted @ 2022-10-08 11:06 落魄的大数据转AI小哥 阅读(288) 评论(0) 推荐(0) 编辑
摘要:参考地址:https://www.dandelioncloud.cn/article/details/1441027077809229826 阅读全文
posted @ 2022-10-07 10:24 落魄的大数据转AI小哥 阅读(121) 评论(0) 推荐(0) 编辑
摘要:一、下载 下载keepalived-2.2.4.tar.gz,并上传至服务器 https://www.keepalived.org/download.html 二、安装 1、解压 tar -zxvf keepalived-2.2.4.tar.gz -C /opt/module/ 2、安装依赖包 yu 阅读全文
posted @ 2022-09-14 09:40 落魄的大数据转AI小哥 阅读(93) 评论(0) 推荐(0) 编辑
摘要:一、进入Web页面,点击Interpreter按钮 二、创建MySQL解释器 1、点击Create按钮 2、填写配置信息 default.url jdbc:mysql://192.168.xxx.xxx:3306/数据库名?autoReconnect=true&useSSL=false&allowP 阅读全文
posted @ 2022-09-09 11:37 落魄的大数据转AI小哥 阅读(249) 评论(0) 推荐(0) 编辑
摘要:一、克隆 git clone git@gitee.com:sinberya/vue_project_-jdfresh.git 二、进入项目根目录 cd vue_project_-jdfresh 三、初始化 git init 四、查看远程代码关联情况 git remote -v #若代码未关联则进行代 阅读全文
posted @ 2022-08-12 08:46 落魄的大数据转AI小哥 阅读(964) 评论(0) 推荐(0) 编辑
摘要:一、下载安装包 https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.14/rabbitmq-server-3.8.14-1.el7.noarch.rpm https://packagecloud.io/rabbitmq 阅读全文
posted @ 2022-08-11 15:45 落魄的大数据转AI小哥 阅读(126) 评论(0) 推荐(0) 编辑
摘要:一、问题 想要删除Atlas元数据,Atlas组件默认是逻辑删除,但是我们想要进行物理删除 二、解决 1、修改配置文件 vim /opt/module/atlas/conf/atlas-application.properties 添加如下内容: #开启物理删除 atlas.DeleteHandle 阅读全文
posted @ 2022-08-10 17:12 落魄的大数据转AI小哥 阅读(441) 评论(0) 推荐(0) 编辑
摘要:一、代码下载地址 https://github.com/hortonworks-spark/spark-atlas-connector.git 下载完成后,上传至/opt/soft目录 二、编译准备 1、由于代码中的pom文件已经修改好,故无需再进行版本改动,直接编译即可 2、改动说明:本代码是直接 阅读全文
posted @ 2022-08-10 11:53 落魄的大数据转AI小哥 阅读(638) 评论(0) 推荐(0) 编辑
摘要:一、错误日志 2022-07-12 10:21:43,386 ERROR - [main:] ~ Exception thrown creating StoreManager. See the nested exception (Log4JLogger:125) Error creating tra 阅读全文
posted @ 2022-07-12 10:43 落魄的大数据转AI小哥 阅读(264) 评论(0) 推荐(0) 编辑
摘要:一、HDFS的NameNode主备切换致使HBase集群挂掉 1、解决 (1)查询CDH中的hdfs-site.xml配置文件,找到dfs.nameservices的值,此值为:namenodeserver(集群名称) (2)复制hdfs-site.xml配置文件至/opt/module/hbase 阅读全文
posted @ 2022-07-11 10:35 落魄的大数据转AI小哥 阅读(347) 评论(0) 推荐(0) 编辑
摘要:一、错误日志 Server slave1.cdh,16020,1657157836878 has been rejected; Reported time is too far out of sync with master. Time difference of 73287ms > max all 阅读全文
posted @ 2022-07-07 10:27 落魄的大数据转AI小哥 阅读(267) 评论(0) 推荐(0) 编辑
摘要:一、停止HugeGraph 进入HugeGraph安装目录,执行停止命令 bin/stop-hugegraph.sh 二、查看数据存储 我使用的是HBase作为HugeGraph的底层存储库,查看hugegraph.properties,找到图名称,我这里的名称是hbase_hugegraph vi 阅读全文
posted @ 2022-06-30 11:09 落魄的大数据转AI小哥 阅读(119) 评论(0) 推荐(0) 编辑
摘要:一、停止Atlas 进入Atlas安装目录,停止Atlas python2 /opt/module/atlas/bin/atlas_stop.py 二、删除Solr索引 将fulltext_index、vertex_index、edge_index删除 1、首先登录任意一台Solr的Web页面 ht 阅读全文
posted @ 2022-06-30 10:32 落魄的大数据转AI小哥 阅读(292) 评论(0) 推荐(0) 编辑
摘要:一、下载 1、进入目录 cd /opt/soft 2、下载 wget https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz 3、解压 tar -zxvf /opt/soft 阅读全文
posted @ 2022-06-29 10:23 落魄的大数据转AI小哥 阅读(1293) 评论(0) 推荐(1) 编辑
摘要:一、Hive客户端报错内容 22/06/08 11:49:04 WARN clients.NetworkClient: [Producer clientId=producer-1] Bootstrap broker xxx.xxx.xx.xxx:9092 (id: -1 rack: null) di 阅读全文
posted @ 2022-06-08 14:56 落魄的大数据转AI小哥 阅读(431) 评论(0) 推荐(0) 编辑
摘要:一、错误日志 Exception in thread "main" java.lang.StackOverflowError at org.apache.logging.log4j.core.Logger.isEnabled(Logger.java:156) at org.apache.loggin 阅读全文
posted @ 2022-06-08 10:04 落魄的大数据转AI小哥 阅读(268) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示