10 2023 档案

摘要:启动了任务后,任务一直处于 Preparing状态,无法执行,详情如下: 原因:内存问题,过滤器会检查executor主机空余内存是否会大于6G,若不足6G,则web-server不会将任务交由该主机执行,需要修改 azkabn-web下的azkaban.properties配置文件,去掉 Mini 阅读全文
posted @ 2023-10-31 20:34 无虑的小猪 阅读(516) 评论(0) 推荐(0) 编辑
摘要:Redis完成编译安装,在Linux本机可以登录redis,使用RedisDesktopManage无法完成连接,详情如下: 找到redis.conf配置文件,修改如下内容: 1、注释bind配置 2、保护模式 protected-mode 设置为 no 3、守护进程方式启动 daemonize 设 阅读全文
posted @ 2023-10-31 20:30 无虑的小猪 阅读(281) 评论(0) 推荐(0) 编辑
摘要:安装Redis,执行 install_server.s 脚本时,出现如下报错: 解决方案,注释掉 install_server.sh 中的部分代码,注释代码详情如下: 再次执行 install_server.sh 脚本,结果如下: 阅读全文
posted @ 2023-10-31 20:24 无虑的小猪 阅读(136) 评论(0) 推荐(1) 编辑
摘要:在初始化hive时报错,出现如下问题: 错误原因:hive-site.xml 配置文件中,数据库的地址带有 & 符号。 将数据库地址中的 & 符号调整为 &,详情如下: 再次初始化hive,执行结果如下: 阅读全文
posted @ 2023-10-21 11:34 无虑的小猪 阅读(498) 评论(0) 推荐(0) 编辑
摘要:安装mysql-5.7.32数据库时,使用Navicat工具连接数据库时,出现Host 'xxx' is not allowed to connect to this MySQL server,详情如下: 两种解决方案,任选一个即可: 1、修改mysql数据库用户表数据 执行如下SQL命令: use 阅读全文
posted @ 2023-10-21 11:33 无虑的小猪 阅读(250) 评论(0) 推荐(0) 编辑
摘要:安装mysql-5.7.32数据库时,初次登陆MySQL,执行如下命令获取临时密码,/var/log/mysqld.log 为my.cnf中log-error配置项的内容: grep 'temporary password' /var/log/mysqld.log 获取临时密码:!.IRoNewC7 阅读全文
posted @ 2023-10-21 11:27 无虑的小猪 阅读(10) 评论(0) 推荐(0) 编辑
摘要:安装mysql-5.7.32数据库时,MySQL无法启动 Active: deactivating (stop-sigterm) (Result: exit-code) 查看配置文件中的日志存储位置: view /etc/my.cnf 查看日志存储文件位置:/var/log/mysqld.log 文 阅读全文
posted @ 2023-10-21 11:24 无虑的小猪 阅读(1165) 评论(0) 推荐(0) 编辑
摘要:当执行解压命令,出现 tar: Error is not recoverable: exiting now 。 tar -zxvf xxx.tar.gz 错误详情如下: 原因:下载的文件并不是通过 gzip过滤归档,去掉-z参数即可,执行: tar -xvf xxx.tar.gz 阅读全文
posted @ 2023-10-21 11:21 无虑的小猪 阅读(3648) 评论(0) 推荐(0) 编辑
摘要:Linux是一种用户控制的多作业操作系统,系统允许多个用户同时提交作业,而一个系统用户又可能用多个Shell登录,每个系统用户可以用一个Shell提交多个作业。 下面来学习,bash Shell在多作业管理和进程处理方面的命令与机制。 1、子Shell 父子Shell是相对的,描述了两个Shell进 阅读全文
posted @ 2023-10-18 17:06 无虑的小猪 阅读(1243) 评论(0) 推荐(0) 编辑
摘要:1、别名 bash Shell的别名实际上是一种避免输入长命令的手段,是为长命令起一个新的名字作为其缩写。别名的关键字是alias,命令的基本格式如下: alias alias-name="original-command" alias 是执行别名命令的关键字,alias-name是用户所指定的别名 阅读全文
posted @ 2023-10-18 16:54 无虑的小猪 阅读(1099) 评论(0) 推荐(0) 编辑
摘要:I/O重定向最常用的方法:管道,结合sed和awk等命令的用法; 面向文件的I/O重定向,涉及文件标识符、I/O重定向符号及其用法、exec命令和代码块重定向。 1、管道 1.1、管道简介 管道技术是Linux的一种基本的进程间通信技术,利用先进先出(First In First Out,FIFO) 阅读全文
posted @ 2023-10-18 16:42 无虑的小猪 阅读(212) 评论(0) 推荐(0) 编辑
摘要:函数可以将大的命令集合分解成若干个较小的任务,可基于函数进一步构造更复杂的Shell程序,而不需要重复编写相同那个的代码。在Linux Shell中,所有函数的定义都是平行的,即不允许在函数体内再定义其他的函数,但允许函数之间相互调用。 1、函数的定义 Linux Shell也有函数,但对其实现做了 阅读全文
posted @ 2023-10-18 16:14 无虑的小猪 阅读(308) 评论(0) 推荐(0) 编辑
摘要:在Shell(六):变量和引用中已经介绍了变量的基本用法,包括变量的替换和赋值、无类型性、环境变量、以及四种引用符号。 1、内部变量 内部变量是指能够对Shell脚本行为产生影响的变量,对Shell及其子Shell都有效。内部变量属于环境变量。在前面已经解介绍了 PWD、SHELL、USER、UID 阅读全文
posted @ 2023-10-18 15:39 无虑的小猪 阅读(97) 评论(0) 推荐(0) 编辑
摘要:反复执行某一个命令或某一组命令,需要用到循环结构化命令。 循环命令用于特定条件下决定某些语句重复执行的控制方式,具有封闭型的单入单出性质。即进入循环结构后,只要循环条件未达到结束状态,就时钟执行循环体内的操作。 Shell中提供三种常用的循环语句,分别是 for 循环、while循环和unit循环, 阅读全文
posted @ 2023-10-16 20:05 无虑的小猪 阅读(735) 评论(0) 推荐(0) 编辑
摘要:1、退出状态 在Linux系统中,每当命令执行完成后,系统都会返回一个退出状态。该退出状态用一整数值表示,用于判断命令运行正确与否。若退出状态值为0,表示命令运行成功;而退出状态值不为0时,则表示命令运行失败。最后一次执行命令的退出状态值保存在内置变量 "$?" 中。 POSIX规定了几种退出状态和 阅读全文
posted @ 2023-10-16 17:43 无虑的小猪 阅读(216) 评论(0) 推荐(0) 编辑
摘要:在设置Linux服务器各节点间免密时,出现如下问题: 原因:SSH服务器的配置文件 /etc/ssh/sshd_config ,密码验证服务未打开。 1、编辑 /etc/ssh/sshd_config 文件 在目标服务器node2节点中,编辑 /etc/ssh/sshd_config 文件: sud 阅读全文
posted @ 2023-10-14 17:28 无虑的小猪 阅读(612) 评论(0) 推荐(0) 编辑
摘要:1、问题背景 在使用创建的用户访问超出用户权限的文件时,需要用到sudo命令,如1使用创建的用户编辑 /etc/hosts 文件,无法操作,详情如下: 原因:bigdata用户未在 /etc/sudoers 文件中做权限设置。 2、解决方案 在 /etc/sudoers 中做如下操作: # 1、查看 阅读全文
posted @ 2023-10-14 17:25 无虑的小猪 阅读(156) 评论(0) 推荐(0) 编辑
摘要:1、变量 变量用于保存有用虚拟性,Linux用户使用变量定制其工作环境,使系统获知用户相关的配置。变量本质上是存储数据的一个或多个计算机内存地址。 1.1、变量的分类 变量可分为:本地变量、环境变量和位置参数。 本地变量仅可在用户当前Shell生命期的脚本中使用的变量,本地变量随着Shell进程的消 阅读全文
posted @ 2023-10-13 20:55 无虑的小猪 阅读(813) 评论(0) 推荐(0) 编辑
摘要:Linux文本处理命令是Shell编程中的常用命令,文本处理包含对文件记录的排序、文件的合并和分割等。 1、sort命令 sort命令是一种对文件排序的工具,sort命令将输入文件看做由多条记录组成的数据流,而记录由可变宽度的字段组成,以换行符作为定界符。 sort命令,可将记录分成多个域进行处理, 阅读全文
posted @ 2023-10-12 21:03 无虑的小猪 阅读(2517) 评论(0) 推荐(0) 编辑
摘要:1、awk简介 awk因三位缔造者的名字而命令(Aho、Weinberger和Kernighan),是一种能够对结构化数据进行操作,并产生格式化报表的编程语言。 awk功能与sed相似,都是用来进行文本处理的,awk语言可以从文件或字符串中基于指定规则浏览和抽取信息,在抽取信息的基础上,才能进行其他 阅读全文
posted @ 2023-10-12 20:27 无虑的小猪 阅读(629) 评论(0) 推荐(0) 编辑
摘要:sed是Linux系统中的文本处理工具,sed是流编辑器,是 stream editor 的简写,将一系列编辑命令作用于一批文件的理想工具。 1、Sed命令基本用法 1.1、sed命令的作用 sed是一个非交互式文本编辑器,可对文本文件和标准输入进行编辑,标准输入可以是来自键盘输入、文件重定向、字符 阅读全文
posted @ 2023-10-12 19:53 无虑的小猪 阅读(900) 评论(0) 推荐(0) 编辑
摘要:1、元字符 Shell的表达式是一串字符。元字符(Metacharacters)是用来阐释字符表达式意义的字符。元字符就是描述字符的字符,用于对字符表达式的内容、转换及各种操作信息进行描述。 2、正则表达式 正则表达式是由一串字符和元字符构成的字符串,简称RE(Regular Expression) 阅读全文
posted @ 2023-10-12 19:25 无虑的小猪 阅读(129) 评论(0) 推荐(0) 编辑
摘要:1、Shell简介 Shell提供用户与内核进行交互操作的接口,接收用户输入的命令,并把它送入内核区执行。 内核是Linux系统的心脏,从开机自检是就驻留在计算机的内存中,直到计算机关闭为止,而用户的应用程序存储在计算机的硬盘上,仅当需要时才被调入内存。 Shell独立于内核,是连接内核与应用程序的 阅读全文
posted @ 2023-10-12 17:23 无虑的小猪 阅读(180) 评论(0) 推荐(0) 编辑
摘要:1、防火墙的基本概念 防火墙(firewall)是在网络之间执行控制策略的系统,包括硬件和软件。 设置防火墙的目的是保护内部网络资源不被外部非授权用户使用,防止内部收到外部非法用户的攻击,防火墙安装的位置在内部网络与外部网络之间。 防火墙的主要功能包括: 1、检测所有从外部网络进入内部网络的数据包; 阅读全文
posted @ 2023-10-11 20:12 无虑的小猪 阅读(858) 评论(0) 推荐(0) 编辑
摘要:1、网络攻击的概念 1.1、网络攻击的分类 网络攻击可分为:系统入侵类攻击、缓冲区溢出攻击、欺骗类攻击、拒绝服务攻击。 系统入侵类攻击:为了获得主机系统的控制权,从而破坏主机和网络系统。这类攻击分为收集攻击、口令攻击、漏洞攻击。 缓冲区溢出攻击:通过往程序的缓冲村写超出其长度的内容,造成缓冲区的溢出 阅读全文
posted @ 2023-10-11 20:04 无虑的小猪 阅读(344) 评论(0) 推荐(0) 编辑
摘要:网络安全协议设计的要求是实现协议过程中的认证性、机密性与不可否认性。网络安全协议涉及网络层、传输层与应用层。 1、网络层安全与IPSec协议、IPSec VPN 1.1、IPSec安全体系结构 IP协议本质上是不安全的额,伪造一个IP分组、篡改IP分组的内容、窥探传输中的IP分组内容都比较容易。 接 阅读全文
posted @ 2023-10-11 19:57 无虑的小猪 阅读(383) 评论(0) 推荐(0) 编辑
摘要:密码技术是保证网络安全的核心技术之一。密码学(cryptography)包括密码编码学与密码分析学。 1、密码算法与密码体制的概念 1.1、加密算法与解密算法 加密的基本思想是:伪装明文以隐藏其真实内容,即将明文X伪装成密文Y。伪装明文的操作称为"加密",加密时所使用的变换规则称为"加密算法"。由密 阅读全文
posted @ 2023-10-06 20:53 无虑的小猪 阅读(914) 评论(0) 推荐(0) 编辑
摘要:网络空间安全研究的对象包括:应用安全、系统安全、网络安全、网络空间安全基础、密码学及其应用。 网络空间安全涵盖的主要内容如下: 1、OSI安全体系结构 OSI安全体系结构(security architecture):安全攻击(security attack)、安全服务(security servi 阅读全文
posted @ 2023-10-06 20:47 无虑的小猪 阅读(500) 评论(0) 推荐(0) 编辑
摘要:1、即时通信与会话初始化协议 1.1、即时通信工作模型 即使通信工作模型可以分为两种类型:在线的对等通信方式、离线的中转通信方式。 在线对等通信,通过在线信息,如通信方的IP地址,进行点-点、直接、实时、对等的通信。 离线方式可通过服务器简接转发信息。 1.2、会话初始协议的基本内容 会话初始化协议 阅读全文
posted @ 2023-10-06 20:41 无虑的小猪 阅读(143) 评论(0) 推荐(0) 编辑
摘要:1、Web服务的基本概念 万维网WWW(World Wide Web)简称为Web,它是Internet应用技术发展中的一个重要的里程碑。 Web服务的核心技术是:超文本传送协议(Hyper Text Transfer Protocol,HTTP)、超文本标记语言(Hyper Text Markup 阅读全文
posted @ 2023-10-06 20:33 无虑的小猪 阅读(192) 评论(0) 推荐(0) 编辑
摘要:1、远程登录服务与TELNET协议 远程登录服务采用典型的客户/服务模型。 TELNET协议的工作原理示意图: 用户的实终端(real terminal)采用用户终端的格式与本地TELNET客户通信;远程计算机采用主机系统格式与TELNET服务器通信。 在TELNET客户进程与TELNET服务器进程 阅读全文
posted @ 2023-10-06 20:26 无虑的小猪 阅读(151) 评论(0) 推荐(0) 编辑
摘要:1、DNS 1.1、域名系统的基本概念 域名系统是Internet使用的命名系统。将主机的名字叫做域名,原因是Internet使用的命名系统定义了很多的域。主机按照它所属的域来命令,因此就叫做域名。 域名是Internet中主机按照一定的规则,用自然语言表示的名字,与确认的IP地址相对应。 1.2、 阅读全文
posted @ 2023-10-06 20:21 无虑的小猪 阅读(798) 评论(0) 推荐(0) 编辑
摘要:1、Internet应用技术发展的三个阶段 1.1、第一阶段 第一阶段Internet应用的主要特征:提供远程登录、电子邮件、文件传输、电子公告牌与网络新闻组等基本的网络服务功能。 1、远程登录(TELNET)服务实现终端远程登录服务功能 2、文件传输(FTP)服务实现交互式文件传输服务功能 1.2 阅读全文
posted @ 2023-10-06 20:03 无虑的小猪 阅读(310) 评论(0) 推荐(0) 编辑
摘要:1、TCP协议的主要特点 1.1、支持面向连接的传输服务 UPD协议是一种可满足最低传输要求的传输层协议,而TCP协议则是一种功能完善的传输层协议。 面向连接对提高系统数据传输的可靠性很重要。应用程序在使用TCP协议传送数据之前,必须在源进程端口与目的进程端口之间建立一条TCP传输连接。 每个TCP 阅读全文
posted @ 2023-10-06 19:45 无虑的小猪 阅读(257) 评论(0) 推荐(0) 编辑
摘要:1、UDP协议的主要特点 UDP协议的主要原则是协议简洁、运行快捷。主要有以下特点: 1.1、UDP协议是一种无连接的传输层协议 1、UDP协议在传输报文之前不需要在通信双方之间建立连接,因此减少了协议开销与传输延迟。 2、UDP协议对报文除了提供一种可选的校验和之外,几乎没有提供其他的保证数据传输 阅读全文
posted @ 2023-10-06 19:23 无虑的小猪 阅读(294) 评论(0) 推荐(0) 编辑
摘要:1、传输层的基本概念 网络层、数据链路层与物理层实现了网络中主机之间的数据通信。 计算机网络的本质活动是实现分布在不同地理位置的主机之间的进程通信,以实现应用层的各种网络服务功能。 传输层的主要功能是要是要实现分布式进程的通信,因此,传输层是各种网络应用的基础。 传输层的基本功能示意图如下: 1、网 阅读全文
posted @ 2023-10-06 19:16 无虑的小猪 阅读(539) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示