摘要：
vim /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535 * 代表所有用户nofile 代表打开文件数量nproc 代表开发进程soft 软限 阅读全文
摘要：
shell如何抛出异常在Shell中，可以使用exit命令来退出脚本并返回指定的状态码。当需要抛出异常时，我们可以通过设置不同的状态码来表示不同类型的错误或异常情况。 下面是一些常见的Shell异常处理方式及其对应的状态码：exit 0: 正常结束程序，没有发生任何异常。exit 1: 非正常结束程 阅读全文
摘要：
实测发现 在sqlserver中查询语句，数据字段末尾存在空格用等于号也可以查询出来例如where CarNumber=‘粤A23435’ 和 where CarNumber='粤A23435 ’ 查询出来的结果一样 ，sqlserver会忽视字符串末尾的空格 原因： 空字符和空格都不占用存储空间， 阅读全文
摘要：
Hive 的查询语言 HQL 支持 SQL-92 标准（SQL92是数据库的一个ANSI/ISO标准），这与 SQL 非常类似，因此 Hive 会被误解当成关系型数据库。但是，Hive 和关系型数据库除了查询语句类似外，再无相似之处，两者的区别如下表所示：对比项 Hive RMDBS查询语句 HQL 阅读全文
摘要：
mysql客户端：https://blog.51cto.com/u_16175497/7167970 阅读全文
摘要：
1、启动时间变长。NameNode的启动过程可以分成FsImage数据加载、editlogs回放、Checkpoint、DataNode的BlockReport几个阶段。数据规模较小时，启动时间可以控制在~10min以内，当元数据规模达到5亿（Namespace中INode数超过2亿，Block数接 阅读全文
摘要：
开启回收站之后，删除的文件会送进回收站，等待超时后再彻底删除，这样子方便恢复原数据，起到防止误删除、备份等作用。本质上是将文件放在特定目录存储，跟windows的回收站功能一样。 单位是min 参数说明： 1、默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存 阅读全文
摘要：
Namenode内存配置 在Hadoop2.x里，如何配置NameNode内存？NameNode默认内存2000M。如果你的服务器内存是4G，那一般可以把NN内存设置成3G，留1G给服务器维持基本运行（如系统运行需要、DataNode运行需要等）所需就行。在hadoop-env.sh文件中设置：HA 阅读全文
摘要：
场景： 在dolphin里面执行hivesql脚本，报错java.net.SocketTimeoutException: Read timed out 解决方式： hive.metastore.client.socket.timeout=1000s 扩展： "Hive报Read timed out" 阅读全文