随笔分类 - 大数据
大数据
摘要：hadoop集群运行过程中，上下节点是常有的事情，如果下架节点，hdfs存储的块肯定会受到影响。 如何查看当前的hdfs的块的状态 hadoop1.x时候的命令，hadoop2.x也可使用： hadoop fsck /在hadoop2.0之后，可以使用新命令： hdfs fsck /返回结果截图如下
阅读全文
摘要：azkaban : 是一个 任务调度平台 安装文档： https://azkaban.readthedocs.io/en/latest/getStarted.html 因为阿里云是禁止掉是STMP 25端口 ，只能用smtps协议，也就是ssl 465端口 查看源码： azkaban mail.sm
阅读全文
摘要：环境 要求： centos 7 java 1.8 cm 5.14.4 mysql 5.7 4核16G 工具要求： mysql-connector-java-5.1.39.jar 1、绑定 hosts 10.31.210.15 test-algo-hadoop-01 10.31.210.16 test
阅读全文
摘要：系统：centos 7.4 要求：jdk :1.8.x kafka_2.11-1.1.0 1、绑定/etc/hosts 10.10.10.xxx online-ops-xxx-0110.10.10.xxx online-ops-xxx-0210.10.10.xxx online-ops-xxx-03
阅读全文
摘要：作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitt
阅读全文
摘要：GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】 前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上
阅读全文
