摘要: 大数据架构 目前围绕Hadoop体系的大数据架构包括: 传统大数据架构 数据分析的业务没有发生任何变化,但是因为数据量、性能等问题导致系统无法正常使用,需要进行升级改造,那么此类架构便是为了解决这个问题。依然保留了ETL的动作,将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主,但是因 阅读全文
posted @ 2019-12-05 14:51 云刄 阅读(340) 评论(0) 推荐(0) 编辑
摘要: 一、查看系统安全日志,定位问题 执行 sudo cat /var/log/secure 查看系统的安全日志,然后再安全日志中看到SSH登录过程中提示了如下错误: serverA 免密码登录到 serverB 机器A 向 机器B 进行免密码登陆 step1: 在机器A中 命令:ssh-keygen - 阅读全文
posted @ 2019-12-03 14:58 云刄 阅读(452) 评论(0) 推荐(0) 编辑
摘要: 1.通配符 string='My long string' if [[ $string == *"My long"* ]]; then echo "It's there!" fi 2.正则匹配 string='My long string' if [[ $string =~ .*My.* ]]; t 阅读全文
posted @ 2019-11-05 10:35 云刄 阅读(9656) 评论(0) 推荐(0) 编辑
摘要: 假设要登录的机器为A,当前登录的机器为B 首先在B的机器上生成密钥(如果已经生成可以跳过): $ ssh-keygen -t rsa 这个命令会生成B机器的公钥 ~/.ssh/id_rsa.pub 然后在将生成的公钥复制到机器A上的~/.ssh/authorized_keys中,使用如下命令: $ 阅读全文
posted @ 2019-10-31 16:28 云刄 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 转载 本文链接:https://www.cndba.cn/dave/article/217 在12c RAC 中每个节点的CDB 管理自己的PDB,也就是说,当我们在节点1对PDB进行操作时,不会影响到节点2的PDB.示例: --节点1: SQL> show pdbs CON_ID CON_NAME 阅读全文
posted @ 2019-07-23 11:44 云刄 阅读(854) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/perl my $indir = $ARGV[0]; &find_fileindir("$indir"); sub find_fileindir(){ local($dir) = @_; opendir(DIR,"$dir"|| die "can't open this $dir"); local @files =readdir(DIR); closedir... 阅读全文
posted @ 2019-07-12 14:55 云刄 阅读(595) 评论(0) 推荐(0) 编辑
摘要: 查看文件编码 在vim 中可以直接查看文件编码 输入命令 :set fileencoding 即可显示文件编码格式。 文件编码转换 在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式 输入命令 :set fileencoding=utf-8 阅读全文
posted @ 2019-07-11 17:59 云刄 阅读(12871) 评论(0) 推荐(1) 编辑
摘要: 1. 文件操作(1) 列出HDFS下的文件/usr/local/hadoop$bin/ hadoop dfs -ls(2) 列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/ hadoop dfs -ls in(3) 上传文件将hadoop目录下的test1文件上传 阅读全文
posted @ 2019-07-04 14:18 云刄 阅读(157) 评论(0) 推荐(0) 编辑
摘要: 今天服务器和数据库的密码都更换了,之前开发的shell脚本里有些写死的地方,需要将密码替换掉; 先执行命令把包含旧密码的文件都找到; find . -type f -name "*.sh"|xargs grep -E 'jcs@|1\&mEAVUX#J'|awk -F ":" '{print $1} 阅读全文
posted @ 2019-06-04 15:21 云刄 阅读(332) 评论(0) 推荐(0) 编辑
摘要: encrypt 文件名 sed -i 's/stringa1/stringa2/g' example.txt 将example.txt文件中的 "string1" 替换成 "string2"sed '/^$/d' example.txt 从example.txt文件中删除所有空白行sed '/ *# 阅读全文
posted @ 2019-05-27 16:08 云刄 阅读(202) 评论(0) 推荐(0) 编辑