01 2024 档案
摘要：mysql客户端：https://blog.51cto.com/u_16175497/7167970
阅读全文
摘要：1、启动时间变长。NameNode的启动过程可以分成FsImage数据加载、editlogs回放、Checkpoint、DataNode的BlockReport几个阶段。数据规模较小时，启动时间可以控制在~10min以内，当元数据规模达到5亿（Namespace中INode数超过2亿，Block数接
阅读全文
摘要：开启回收站之后，删除的文件会送进回收站，等待超时后再彻底删除，这样子方便恢复原数据，起到防止误删除、备份等作用。本质上是将文件放在特定目录存储，跟windows的回收站功能一样。 单位是min 参数说明： 1、默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存
阅读全文
摘要：Namenode内存配置 在Hadoop2.x里，如何配置NameNode内存？NameNode默认内存2000M。如果你的服务器内存是4G，那一般可以把NN内存设置成3G，留1G给服务器维持基本运行（如系统运行需要、DataNode运行需要等）所需就行。在hadoop-env.sh文件中设置：HA
阅读全文
摘要：场景： 在dolphin里面执行hivesql脚本，报错java.net.SocketTimeoutException: Read timed out 解决方式： hive.metastore.client.socket.timeout=1000s 扩展： "Hive报Read timed out"
阅读全文
摘要：安装前提： jdk1.8 python2以上 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gzhttps://blog.csdn.net/qq_25112523/article/details/109276687htt
阅读全文
摘要：Python 2.7.5 https://blog.51cto.com/u_16175486/7582020
阅读全文
摘要：原文链接：https://zhuanlan.zhihu.com/p/615571684
阅读全文
摘要：1、先创建好本地文件夹 2、执行git命令 git bash here 3、下载git文件 下载分支代码 git clone -b dev2.0 http://velopment.git 不选择分支 git clone http://velopment.git
阅读全文
