Zhearts - 博客园

大数据架构学习记录

摘要：早期淘宝大数据架构以上比较早期，较为常见。美团技术架构美团技术架构比较明朗从中各种要领管中窥豹。阅读全文

posted @ 2021-08-03 14:50 Zhearts 阅读(33) 评论(0) 推荐(0)

UBUNTU 安装最新版 nodejs

摘要： whereis nodejs nodejs -v sudo npm config set registry https://registry.npm.taobao.org sudo npm install n -g sudo n stable 阅读全文

posted @ 2020-10-28 20:14 Zhearts 阅读(518) 评论(0) 推荐(0)

datax 单条记录超过大小限制，当前限制为:67108864

摘要： datax 在抽取数据的过程中经常出现“java.lang.Exception: 单条记录超过大小限制，当前限制为:67108864” 在解析源码的过程中发现为byteCapacity 默认设置为67108864 对于一些 blob文件则经常会出现超过的限制未解决此方法您可以在源码中设置固定大阅读全文

posted @ 2020-10-21 11:02 Zhearts 阅读(2093) 评论(0) 推荐(0)

将anaconda中已存在的虚拟环境增加到jupyterlab

摘要：现阶段为了更好的业务场景，改掉以前那种老路子的坏习惯，逐渐将jupyter notebook向更高阶的jupyter lab迁徙，配合jupyter hub多账户管理，所以本次基于jupyter hub的jupyter lab应运而生，期间遇到很多问题，主要是linux环境的问题本次采用pam验阅读全文

posted @ 2020-10-14 22:12 Zhearts 阅读(871) 评论(0) 推荐(0)

jupyter 启动python3 内核总是出现错误 ImportError: cannot import name 'create_prompt_application'

摘要：前一阶段因安装各种包将jupyter依赖包版本做了升级，出现启动python3 kernel 之后自动失败，如下图具体错误如下： Traceback (most recent call last): File "/home/ubuntu/anaconda3/lib/python3.6/runp 阅读全文

posted @ 2020-10-14 10:56 Zhearts 阅读(1407) 评论(0) 推荐(0)

CDH 本地hadoop支持读写 AWS S3a

摘要： 1、需要安装S3 Connector 2、在后台管理页面管理==》外部账户中增加访问aws的账户访问秘钥ID 保密秘钥 3、重启配置就可以访问 S3a hive INSERT OVERWRITE DIRECTORY 's3a://' row FORMAT DELIMITEDfields TER 阅读全文

posted @ 2020-10-10 10:57 Zhearts 阅读(1009) 评论(0) 推荐(0)

hadoop 集群集成jupyterhub 出现的问题

摘要：按照 https://cloud.tencent.com/developer/article/1349526 安装安装过程中出现了一些问题；一、文章中 #指定jupyterhub-singleuser命令绝对路径 c.Spawner.cmd = ['/opt/cloudera/anaconda3 阅读全文

posted @ 2020-09-30 16:16 Zhearts 阅读(1215) 评论(0) 推荐(0)

HADOOP集群运行spark出现血缘目录不存在

摘要： WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled. 阅读全文

posted @ 2020-09-24 14:43 Zhearts 阅读(515) 评论(0) 推荐(0)

将hue hadoop从用户增加到 hdfs 用户组中

摘要：思路创建 linux系统的supergroup目录然后同步到hdfs sudo groupadd supergroup sudo usermod -a -G supergroup hadoop sudo su - hdfs /bin/bash -c "hdfs dfsadmin -refresh 阅读全文

posted @ 2020-09-04 18:55 Zhearts 阅读(537) 评论(0) 推荐(0)

对hadoop集群的一些优化

摘要： 1、设置普通亦或简单查询不走mr hive.fetch.task.conversion=more 2、hive经常出现变成存在安全隐患与变成良好之间切换可以借鉴cdh mysql推荐配置 [mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql 阅读全文

posted @ 2020-08-14 21:03 Zhearts 阅读(193) 评论(0) 推荐(0)

ZHTS