摘要：
Spark客户端需要依次轮询到Active NameNode才能正确执行。 查看hdfs-site.xml配置，配置在hdfs-site.xml中的FailoverProxyProvider接口为ConfiguredFailoverProxyProvider。源码实现为：从hdfs-site.xml 阅读全文
摘要：
在Windows下编写PySpark，启动Spark时报错如下： 22/05/12 14:12:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java 阅读全文
摘要：
Hadoop Exporter开源项目 该项目最后一次更新为2018年。其主要就是监控集群中的各个组件的JMX端口。而开源的集群大多数也都是通过JMX开放自己的重要监控数据。例如：HDFS、YARN等。 总体来说，项目是不错的，如果我们自己去逐个组件开发支持Prometheus，会耗用我们大量时间。 阅读全文
摘要：
Loki介绍 简介 Like Prometheus, but for log. Grafana Loki是Grafana针对日志相关功能开发的组件。说到日志，就不得不提到ELK。这一套下来，成本还是蛮大的。它会引入较多的维护量。 Loki仅索引关于日志的元数据，例如：日志文件的位置、配置等。而日志数 阅读全文
摘要：
简介 Prometheus——从指标到洞察 开源监控解决方案 维度模型 一个指标，可以通过多种维度来分析。 Metrics + Multi-dimension，以key-value简洁描述时间序列数据 PromQL 基于维度模型的查询语言 可视化支撑 支持build-in表达式方式浏览 支持Graf 阅读全文
摘要：
今天下班，到家已经9点半了。 每天回来，都会和爸妈、媳妇、孩子温馨一会。 10点15，打开电脑，还有3个小时时间。 给大家分享点大数据开发重要的知识。 大数据开发都要熟悉JVM JVM，相信大家都很熟悉。 这似乎是Java开发工程师的专利。 不过， 很多Java开发也只是停留在书本、理论的层面。 因 阅读全文
摘要：
目录 来自GNU的操作系统原生——Bash 我是一名大数据开发。 我看过很多人在用Python，也有很多人给我推荐了Python。 我已经做开发十余年。 我并不排斥任何一种语言。 只要它用得顺手。 ——我 用Scala写Spark 用Java写Flink 用SQL写业务分析、ETL 用C++写MFC 阅读全文
摘要：
IDEA一直报错： 真的是要烦死了！ 解决办法： 点击File > Settings 配置成以下即可。 阅读全文
摘要：
如今的软件开发其实大都是面向数据的开发，近些年，我们看到了数不胜数的各种存储，眼花缭乱。MySQL、Redis、Kafka、HBase、MongoDB、ClickHouse、Elasticsearch、Druid等等，甚至在计算引擎中也会有存储的出现。不禁感叹，组件千变万化！ 是否疲于学习各种技术组 阅读全文
摘要：
说到图计算，很多人会觉得离自己很远。嗯，很多人大概的想法是这样的。 呃...我得把《离散数学》中的图论学一遍。 嗯...得学无向图、有向图、加权图、循环图、二部图、欧拉图、哈密顿图、平面图。 哈...最短路径、关键路径、DFS、BFS、生成树、PageRank、社群算法。 艹...我还是乖乖回去打王 阅读全文