摘要：
最近迁移集群，在hadoop 2.8.4 的yarn上跑 spark 程序 报了以下错误 开始以为yarn 资源争抢问题，后来发现是系统限制用户进程数问题。 阅读全文
|
摘要：
最近迁移集群，在hadoop 2.8.4 的yarn上跑 spark 程序 报了以下错误 开始以为yarn 资源争抢问题，后来发现是系统限制用户进程数问题。 阅读全文
摘要：
name sorce jx 10 gj 15 jx 20 gj 30 待更新... 阅读全文
摘要：
原因是 任务请求 6vcores 但是最大只有4vcores ，申请不到可用的6vcores 所以报错了。 我们是hadoop 2.6.0 升级hadoop 2.8.4 之后报了此问题 yarn site.xml 把2.8.4 yarn site.xml 修改到32，重启yarn就行了 阅读全文
摘要：
Specified key was too long; max key length is 767 bytes 此错误为hive 元数据mysql 字符集编码问题 如 show create table PARTITIONS ; utf 8会报上述错误。 要把CHARSET=utf 8 修改为 CH 阅读全文
摘要：
在要执行distcp 的客户端配置添加 dfs.internal.nameservices 指local service 就是client 所在的hadoop 的逻辑名称 阅读全文
摘要：
hdfs线上修改 nameserivce（ns1 修改为 ns2） 阅读全文
摘要：
```
# 1 版本相同
hadoop distcp -m 10 -bandwidth 150 hdfs://ns1/user/hive/warehouse/public.db/public_oi_fact hdfs://xxx:8020/user/hive/warehouse # 2 版本不同
hadoop distcp -m 2000 -bandwidth 200 webhdfs://ip... 阅读全文
摘要：
``` select round(sum(DATA_LENGTH / 1024 / 1024 ), 2) from .`tables` where table_schema = '%s' and table_name = '%s' % (db_name, table_name) 单位M 阅读全文
|