摘要：
主机连接拒绝通常有以下几种情况：1. 主机名称的问题，机器因为某种原因，hostname发生了变更。2. 免密通信失效 由master ssh到其他主机监测是否能够连接3. 确认目标ip是否有效，该机器配置了真实的地址4. ... 阅读全文
摘要：
声明:允许转载，转载请注明链接，谢谢合作! 1 字符串判断 str1 = str2 当两个串有相同内容、长度时为真 str1 != str2 当串str1和str2不等时为真 -n str1 当串的长度大于0时为真(... 阅读全文
摘要：
ps -ef和ps aux有什么区别。 答： ps aux 是用BSD的格式来显示 java这个进程 可以看到状态 显示的内容有：USER , PID , %CPU , %MEM , VSZ , RSS ... 阅读全文
摘要：
优化时，把hive sql 当做map reduce 程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，... 阅读全文
摘要：
读 车品觉 的 1.大数据时代的核心特质是'用数据找机会' 2.很多时候，我们欠缺的不是解决问题的方式，而是定位问题的能力 3.在万物皆数据的时代，要以“假设数据都能获取”为前提去思考问题 4.端菜才是大数据所面临的最严重的问题。收集数据的人并不... 阅读全文
摘要：
声明:允许转载，转载请注明链接，谢谢合作! --------------------------------------------------我是分割线---------------------------------------------------... 阅读全文
摘要：
在第一部分中，我们讲了使用expect和spawn结合的方法，来实现切用户执行命令的例子。 第一部分的地址是：https://blog.csdn.net/wx740851326/article/details/72302935 这一部分，我们来看下如何切换命令... 阅读全文
摘要：
在很多的linux脚本中，我们需要su切换用户，来执行相应权限的命令。如果脚本中直接su的话，大多数情况，命令在su之后不会继续执行。因此，我们需要换一种方式来实现su命令，在这里，我推荐使用expect结合spawn命令来实现。 实例如下： export c... 阅读全文
摘要：
cca175开发者认证有10至12条题目，主要是基于cdh5的操作题。 要想通过此考试，需要掌握以下基本技能： 1.获取数据的能力 这需要我们掌握sqoop的etl命令，flume的数据采集方式，以及如何使用hdfs的命令行加载数据。 ... 阅读全文
摘要：
查看SELinux状态： 1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态 SELinux status: enabled 2、ge... 阅读全文
摘要：
yarn的主要思想是将 JobTracker的 资源管理和任务调度 / 监控 功能分离开来，形成两个组件。 新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协... 阅读全文
摘要：
flume配置文件example #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Sp... 阅读全文
摘要：
cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。 下面我们来依次了解一下： ... 阅读全文
摘要：
QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。 第一部分 ... 阅读全文
摘要：
Paxos 算法，这个算法主要 解决的问题是一个 分布式系统如何就某个值（决议）达成一致。 这是一 种基于消息传递模型的一致性算法。 凡是多个过程需要达成某种一致性的都可以用到Paxos 算法。 这个算法有以下几个典型的应用场... 阅读全文
摘要：
QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。 第二... 阅读全文
摘要：
一、前提和设计目标(6点) 硬件错误： 硬件错误是常态，错误检测和快速、自动的恢复是HDFS最核心的架构目标。 流式数据访问： 流式访问数据集，数据批处理。相比数据访问的低延迟问题，更关注对数据的高吞吐量。 大规... 阅读全文
摘要：
字符型varchar2：replace(replace(replace(trim(ADDRESS_REMARK),chr(9),'_'),chr(13)||chr(10),'_'),chr(10),'_')||chr(9)|| 日期型date... 阅读全文
摘要：
使用sql获取目标表字段 select owner, table_name, to_char(column_name) AS column_name from (select c.OWNER, ... 阅读全文
摘要：
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供对数据进行简单处理，并写到... 阅读全文
