摘要:
一、内存布局 1、直观图 2、树状图 二、内存解释 1、Flink使用的内存 (1)JVM堆上内存 说明:堆上内存管理序列化之后的数据,如果需要处理的数据超出了内存限制,则会将部分数据存储到硬盘上。堆上内存在写磁盘或网络传输时至少需要一次内存复制。 a.框架堆上内存Framework Heap Me 阅读全文
摘要:
1、查看磁盘情况 df -h 2、从根目录查找哪个文件夹占用的磁盘最多 du -h --max-depth=1 / 我们发现/usr和/data目录占用最多,先进入/data目录查看 cd /data 查看/data目录下哪个文件夹占用磁盘多 du -sh * 发现/data/kafka占用比较多, 阅读全文
摘要:
参考地址:https://blog.csdn.net/weixin_43087913/article/details/117818383 阅读全文
摘要:
一、安装包准备 1、下载地址:https://github.com/hugegraph/hugegraph/releases/download/v0.11.2/hugegraph-0.11.2.tar.gz 2、将下载好的安装包上传至/opt/soft 二、安装HugeGraphServer 1、解 阅读全文
摘要:
一、图基本概念与操作 #查询顶点,一般作为图查询的第1步,后面可以续接的语句种类繁多 g.V() #查询图中所有的边 g.E() g.E().hasLabel('rel_hdfs_path_and_spark_input_processes') g.E().hasLabel('rel_hive_ta 阅读全文
摘要:
1、发生错误场景(开发环境) import java.io.IOException; import java.util.Iterator; import java.util.List; import java.util.Map; import com.baidu.hugegraph.driver.G 阅读全文
摘要:
1、发生错误场景(开发环境) import java.io.IOException; import java.util.Iterator; import java.util.List; import java.util.Map; import com.baidu.hugegraph.driver.G 阅读全文
摘要:
一、Apache TinkerPop入门 参考文档:https://tinkerpop.apache.org/docs/3.6.0/tutorials/getting-started/ 二、Gremlin 控制台 参考文档:https://tinkerpop.apache.org/docs/3.6. 阅读全文
摘要:
一、编译Spark3.0.3源码 1、源码下载 https://github.com/apache/spark/archive/refs/tags/v3.0.3.zip 2、上传至/opt/soft目录并解压至/opt/module unzip spark-3.0.3.zip mv /opt/sof 阅读全文
摘要:
一、背景 由于spark-atlas-connector无法解析DF算子获取到Spark程序的血缘,因此我们这边针对Spark血缘做了调研,发现spline-agent能解析DF算子,从而获取得到Spark作业血缘,因此我们选择抛弃spark-atlas-connector,转而使用spline-a 阅读全文