成长小港

摘要： 一般情况下主机都会有默认版本的python，这不是我们需要的，可以通过python --version查看主机python默认版本： # python --version Python 2.7.5 下载需要的安装包，地址：Index of /ftp/python/ 或使用wget命令下载： # wg 阅读全文

摘要： Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。 num-executors：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，Y 阅读全文

摘要： 一、Anaconda介绍 Anaconda是一个基于Python的平台，管理主要的数据科学包，包括panda、scikit-learn、SciPy、NumPy和谷歌的机器学习平台TensorFlow。它与conda(类似于pip的安装工具)、Anaconda导航器(用于GUI体验)和spyder(用 阅读全文

摘要： 报错如下： Could not fetch URL https://pypi.org/simple/pyspark/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', p 阅读全文

摘要： 一、区别 --zookeeper ： 是旧版Kafka的参数（v2.8以前） --bootstrap.server ： 新版Kafka的参数。Kafka开发团队重写了ZooKeeper的Quorum控制器代码并嵌入到Kafka中。所以从v2.8版本开始，Kafka不再依赖ZooKeeper。（boo 阅读全文

摘要： 创建 Topic 时出现该错误，创建命令： [hw@node01 bin]$ ./kafka-topics.sh --create --topic first --zookeeper node01:2181 --partitions 3 --replication-factor 1 错误如下; Er 阅读全文

摘要： 一、Kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 Kafka专为分布式高吞吐量系统而设计。 最新定义：Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公司用于高性能数 阅读全文

摘要： ZooKeeper命令行界面（CLI）用于与ZooKeeper集群进行交互以进行开发。它有助于调试和解决不同的选项。要执行ZooKeeper CLI操作，首先打开ZooKeeper服务器（“bin/zkServer.sh start”），然后打开ZooKeeper客户端（“bin/zkCli.sh” 阅读全文

摘要： 一、Zookeeper概述 Zookeeper是一个开源的为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性的问题，例如怎样避免同时操作同一数据造成脏读的问题。ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且 阅读全文

摘要： 1、配置 /etc/hosts 的映射 #添加如下内容 192.168.71.128 node01 192.168.71.127 node02 192.168.71.126 node03 2、进入用户家目录下的 .ssh目录下（/home/当前登录用户/.ssh），生成公钥和私钥 ps:由于 .ss 阅读全文