11 2020 档案
摘要：1、错误描述：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe(资源不足) CDH解决方案：进入Yarn，找到配置，修改这个值
阅读全文
摘要：1、查看kafka中的groupid信息 ls2 /consumers/test/offsets #表示查看test分组下的topic有哪些 [zk: localhost:2181(CONNECTED) 23] ls2 /consumers/test/offsets [Demo12, Demo2,
阅读全文
该文被密码保护。
摘要：1、cdh执行spark任务(直接在yarn执行) spark2-submit \ --master yarn \ --num-executors 1 \ --executor-cores 1 \ --executor-memory 1G \ --class org.apache.spark.exa
阅读全文
摘要：1、Server日志路径 cd /opt/module/cm/cm-5.12.1/log/cloudera-scm-server/ 2、agent日志路径 cd /opt/module/cm/cm-5.12.1/log/cloudera-scm-agent/ 3、其他日志目录 /var/log/ha
阅读全文
摘要：环境：centos7+cdh5.12 问题描述： 在搭建过的CDH机器上重新搭建CDH集群，没有删除数据。导致新搭建的CDH，这两台DATANode启动不了..... 特殊情况： 本人以前在这两台机器上搭建过CDH，所以存在版本问题 1、找到你以前搭建的datanode数据目录，/dfs/dn/cu
阅读全文
摘要：1、代码 2、运行方式 scala -classpath hs-spark-job-1.0-SNAPSHOT.jar com.hushuo.Test
阅读全文
摘要：kafka各类脚本 1、start_kafka.sh #! /bin/bash #启动zookeeper,由于使用外部的zookeeper,所以不需要启动本机的zk #nohup bin/kafka-server-start.sh config/server.properties > logs/ka
阅读全文
摘要：参考博客:https://www.cnblogs.com/royfans/p/11436395.html 1、修改映射 PUT goods2 { "mappings": { "_doc": { "properties": { "good_id": { "type": "integer" }, "or
阅读全文
摘要：环境描述: centos7、mysql5.6、canal1.1.4、es6.6 参考博客:https://blog.csdn.net/weixin_41546244/article/details/108381219 1、下载canal源码 2、打开idea修改源码（注意修改：ESSyncUtil.
阅读全文
摘要：环境：habse: 1.2.0-cdh5.12.1 1、配置存储库：主机-->Parcel -->配置。在 远程 Parcel 存储库 URL下面添加 http://archive.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.12.2/par
阅读全文
