ExplorerMan

摘要： pediawiki对X11的定义如下： The X window system (commonly X Window System or X11, based on its current major version being 11) is a computer software system a 阅读全文

摘要： -x禁止x11转发 -X允许x11转发 命令如下： ssh -X username@ipaddress A机器通过ssh登录到B机器，把B机器运行的某界面程序放到A机器上！ 如下例子： 执行assistant后，就可以调用101机器上的assistant程序显示到本机器的界面了! 如下图所示： 阅读全文

摘要： 以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

摘要： 一条消费成功被消费经历了生产者->MQ->消费者，因此在这三个步骤中都有可能造成消息丢失。 一 消息生产者没有把消息成功发送到MQ 1.1 事务机制 AMQP协议提供了事务机制，在投递消息时开启事务支持，如果消息投递失败，则回滚事务。 自定义事务管理器 @Configuration public c 阅读全文

摘要： addFile(path, recursive=False) 把文件分发到集群中每个worker节点，然后worker会把文件存放在临时目录下，spark的driver和executor可以通过pyspark.SparkFiles.get()方法来获取文件的路径，从而能够保证driver和每个wor 阅读全文

摘要： 引子准备工作面试历炼小结 从每一段经历中学习，在每一件事情中修行。善于从失败中学习。 引子 我今年 36 岁，已有 8 年 JAVA 开发经验。在阿里云三年半，有赞四年半，已是标准的大龄程序员了。 在多年的读书、学习和思考中，我的价值观、人生观和世界观也逐步塑造成型。我意识到自己的志趣在于做教育文化 阅读全文

摘要： 简介： SparkStreaming是一套框架。 SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理。 支持多种数据源获取数据： Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结 阅读全文

摘要： 阅读目录 Spark 特点 Spark的适用场景 Spark成功案例 导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验 阅读全文

摘要： 每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec 阅读全文

摘要： 如何在Spark集群的work节点上启动多个Executor? 默认情况下，Spark集群下的worker，只会启动一个Executor，只运行了一个 CoarseGrainedExecutorBackend 进程。Worker 通过持有 ExecutorRunner 对象来控制 CoarseGra 阅读全文