摘要:
一、spark的命令行模式 1.第一种进入方式:执行 pyspark进入,执行exit()退出 注意报错信息:java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)m 阅读全文
摘要:
1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存 阅读全文
摘要:
每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同,那么CDH才能正常使用。每次ntp服务同步到外部授时中心都要一段时间(5~10分钟),只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后,CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功:如果显示... 阅读全文
摘要:
通过改善IFile阅读器的性能 IFile Reader,进而可改善随机处理程序并减少储备空间,达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能,请设置map... 阅读全文
摘要:
将mysql 安装在单个Linux系统主机,并配置本地或远程(此处可仅单指局域状态下的环境)的无主机登录。谨记的是:操作完mysql 设置时,需以flush privileges进行权限刷新。小编亲测在mysql 数据库变成“砖头”而无法登录时,此法有效!1.安装MySQLyum install mysql-server 安装mysql-server服务端service mysq... 阅读全文
摘要:
在进行MySQL与CM+CHD之间的应用配置时,发现此前对于MySQL的配置含义过于模糊,所以将CM+CHD集群所涉及MySQL方面的配置含义进行抽取并加以注释,方便此后的配置和使用。一、客户端设置,即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default... 阅读全文