随笔分类 - Linux
摘要：Map定义： 在使用map时，需要先声明，否则结果可能与预期不同，array可以不声明 方式1： 方式2： Map初始化： 与array类似，可以使用括号直接初始化，也可以通过添加的方式来初始化数据，与array不同的是，括号直接初始化时使用的为一个键值对，添加元素时，下标可以不是整数 输出Map所
阅读全文
摘要：读取配置文件，进行文件位置转移 在whenb.csv中指定了需要从/home/root/cf/下移除到/home/root/cf_wh/下文件列表，whenb.csv中包含记录如下： 具体实现的shell脚本： 按照map配置，进行文件上传hdfs 配置map(key[path],value[文件名
阅读全文
摘要：读取文件，每行拆分，并比较拆分数组长度 数字判断一些命令：#-gt是大于#-lt是小于#-eq是等于#-ne是不等于#-ge是大于等于#-le是小于等于
阅读全文
摘要：一开始配置的ifcfg-ens33 问题状态： 执行 service network restart 出现以下错误 Restarting network (via systemctl): Job for network.service failed. See 'systemctl status ne
阅读全文
摘要：本来虚拟centos的服务器的磁盘分配的就不大，之前只分配了20G的样子，由于最近有装了不少软件，比如nifi压缩版就有1.2G的大小，一下子没有磁盘资源了。今晚就折腾在这事上了。 1. 查看挂载点信息 显示结果：根目录可用磁盘只有20K。 2. 扩展VMWare硬盘空间 首先需要关闭操作系统，然后
阅读全文
摘要：转自：https://blog.csdn.net/u011391839/article/details/62892020 Linux的时间分为System Clock（系统时间）和Real Time Clock （硬件时间，简称RTC）。 系统时间：指当前Linux Kernel中的时间。 硬件时间
阅读全文
摘要：初步进入centos学习，配置用户 1，创建用户 创建用户 hadoop 2，创建密码 3，用户授权 创建账户必须授权，不然，个人用户的权限只可以在本home下有权限，其他的必须有授权，一般需要root的权限sudo的命令授权一般在sudoers里面找到sudoer文件位置看下文件的权限 只读的文件
阅读全文
摘要：记录下shell的for的用法，及参数是日期的情况下，该日期+1day的用法：
阅读全文
摘要：备注： 如果你不想激活，可以直接使用绿色版（不用激活，下载后解压就可以用）：链接: https://pan.baidu.com/s/10ua3jmx5fQVTN3b0aY6ypA 密码: hhb7 第一步：下载SecureCRT&SecureCRT激活工具 首先下载SecureCRT安装包和Secu
阅读全文
摘要：第一步：安装软件： vmw版本是12，并在vmw下安装centos为CentOS-7-x86_64-DVD-1708.iso； 第二步：修改vmw虚拟网络配置 1）配置VMnet8 修改ip等信息 点击“NAT Settings...”按钮，进入下边窗口设置： 备注：我本机的无线网络ip为自适应，适
阅读全文
摘要：简介： nohup 命令运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。 用途：不挂断地运行命令。语法：nohup Co
阅读全文
摘要：在shell脚本中经常会需要获取当前日期的地方，linux的系统时间在shell里是可以直接调用系统变量： 获取今天时期 `date +%Y%m%d` 或 `date +%F` 或 $(date +%y%m%d) 命令输出结果如下： 时间域如下： % H 小时（00..23） % I 小时（01..
阅读全文
摘要：crontab简介 crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务 工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务
阅读全文
摘要：背景： 项目需要在spark任务提交服务器节点上自动提交任务到spark集群上。因此创建了一个固定时间监控任务项目，使用timer定时监控oracle数据库中是否有spark提交任务，如果有spark提交任务，就使用java.lang.ProcessBuilder对象调sh文件（spark-subm
阅读全文
摘要：使用JAVA_HOME，否则如下所示，根本定位不到JDK的安装路径。 正确的方式是通过 which java:
阅读全文
摘要：如果某个目录下有一个文件可以使用ftp命令： 如果是某个目录下有多个文件(且不需要获取目录下子文件夹下的内容): 如果是某个目录下有子目录希望获取所有子目录： 执行后，会将wrapper目录下的子目录及文件全部获取到/Temp/publish/wrapper路径下。
阅读全文
摘要：Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共
阅读全文
摘要：首先我们需要搞清楚单个文件怎么上传，把这个单文件上传到ftp上的实现命名为一个:upload_to_ftp_command.sh 之后，需要弄清楚怎么实现遍历一个目录下的所有文件的，把这个遍历某个目录下的文件实现命名为：foeach_directory_and_uploadfile_to_ftp.s
阅读全文
摘要：查询hdfs文件内容，如果文件过大时不能一次加载，可以使用： hadoop fs -cat /user/my/ab.txt |more
阅读全文
摘要：环境准备： 在虚拟机下，大家三台Linux ubuntu 14.04 server x64 系统（下载地址：http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso）: 192.168.1.200 master 192.16
阅读全文
