摘要：用vmstat、sar、iostat检测是否是CPU瓶颈 用free、vmstat检测是否是内存瓶颈 用iostat、dmesg 检测是否是磁盘I/O瓶颈 用netstat检测是否是网络带宽瓶颈 https://linux.cn/article-4452-1.html 1 首先进行OS层面的检查确认 阅读全文
Apache项目maven 仓库对应版本的jar包下载地址
2022-12-21 10:46 by DataBases, 12 阅读, 0 推荐, 收藏, 编辑
摘要：https://repo.maven.apache.org/maven2/org/apache/hudi/ 阅读全文
搭建EFK日志分析系统
2022-09-21 15:32 by DataBases, 71 阅读, 0 推荐, 收藏, 编辑
摘要：https://www.jianshu.com/p/4bf5a8b743d2 https://www.cnblogs.com/fzxiaomange/p/efk-getstart.html 如果FileBeat配置文件中不指定写入到Elasticsearch中的索引时， FileBeat默认创建的E 阅读全文
Flink
2022-08-11 09:47 by DataBases, 11 阅读, 0 推荐, 收藏, 编辑
摘要：https://github.com/zhisheng17/flink-learning https://www.cnblogs.com/0xcafedaddy/p/7614299.html https://www.bilibili.com/video/BV1ZJ411S7Pm/?p=5&spm_i 阅读全文
使用IDEA指定main函数，打出带MANIFEST.MF文件的Jar包
2022-07-15 19:16 by DataBases, 873 阅读, 0 推荐, 收藏, 编辑
摘要：[hadoop@node01 jars]$ java -jar ShortColorDev-1.0.jar no main manifest attribute, in ShortColorDev-1.0.jar [hadoop@node01 jars]$ java -jar ShortColorD 阅读全文
Spark动态资源分配
2022-07-08 09:26 by DataBases, 485 阅读, 0 推荐, 收藏, 编辑
摘要：spark动态资源分配(DRA)其实也就是说的单个应用（一个Spark application）持有的executor数目支持动态增减，最小动态调整的单元为executor,动态调整动是根据spark应用的实际负载情况来决定。Spark On Yarn DRA spark-submit --clas 阅读全文
大数据开发问题
2022-06-27 15:31 by DataBases, 116 阅读, 0 推荐, 收藏, 编辑
摘要：scalac: Token not found: 在 IDEA 中执行 scala 程序时，报 scalac: Token not found的错误在 Settings -> Plugins 里面把 Scala 插件停用重启 IDEA，再启用 Scala 插件、重启 IDEA，就可以了。 class 阅读全文
开发工具
2022-06-17 14:59 by DataBases, 17 阅读, 0 推荐, 收藏, 编辑
摘要：https://c.runoob.com/ http://dblab.xmu.edu.cn/post/spark/ http://dblab.xmu.edu.cn/blog/spark/ https://mirror.bjtu.edu.cn/ https://github.com/jc-dian/p 阅读全文
接口设计参考
2022-06-17 14:43 by DataBases, 7 阅读, 0 推荐, 收藏, 编辑
摘要：https://pay.weixin.qq.com/wiki/doc/apiv3/wxpay/pages/index.shtml https://pay.weixin.qq.com/wiki/doc/apiv3/wechatpay/wechatpay6_0.shtml 阅读全文
架构图 dataX
2022-06-13 14:55 by DataBases, 60 阅读, 0 推荐, 收藏, 编辑
摘要：架构图： https://mp.weixin.qq.com/s/trOMzHbmM4q-mM7im2VwEQ dataX: https://developer.aliyun.com/article/59373 阅读全文
Elasticsearch基础使用
2022-06-01 11:48 by DataBases, 22 阅读, 0 推荐, 收藏, 编辑
摘要：https://www.jianshu.com/p/d48c32423789 Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。 一个分布式的实时文档存储，每个字段可以被索引与搜索；一个分布式实时分析搜索引擎；能胜任上 阅读全文