随笔分类 - 大数据
摘要：spark-env.sh 配置 添加如下配置 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/hadoop-3.1.1.3.1.4.0-315/lib/native/ export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/
阅读全文
摘要：原理简述 Yarn 模式是把资源统一交给 Yarn 集群来管理，其优点在于实现了 application 的多样性，如 MapReduce 程序、HBase 集群、Storm 集群、spark 集群等； Yarn 模式有两种运行模式：client 和 cluster，区别在于 client 模式的
阅读全文
摘要：GC 持续时间 Garbage Collection 上的平均时间是每分钟 5 分钟。 警告阈值：30.00%。 原因 垃圾回收时间超过系统设置的时间阈值， 这就需要了解下什么时候触发GC ，为什么会GC Young GC 针对年轻代 当Eden区满了的时候，会触发Young GC Full GC
阅读全文
摘要：报错信息如下： 从字面意思大致可以判断出是缺失依赖组件 Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found (code THRIFT
阅读全文
摘要：rm -rf /var/web/com/public 杜绝这种删除方式 停止集群下线的节点 步骤： 1 停止主机上的角色 2 解除授权 3 从集群中删除 4 为了避免数据丢失，必须一台一台的进行，如果数据量大，最好等待副本复制完成，再进行其他操作
阅读全文
