05 2022 档案
摘要:文件名查找: 当前目录: find -name aaa 绝对路径: find /etc -name aaa 区分大小写: find -name aaa 不区分大小写:find -iname aaa 符号:* 模糊查询 ?单个字符、通配符 文件大小查找...
阅读全文
摘要:查看权限: 查看:umask -S 默认:u=rwx,g=rx,o=rx (数字表示:0022) 解释:u是所有者,g是所有组,o是其它人 不同之处:mkdir aaa 新创建的文件夹默认权限 touch aaa 新创建的文件是没有x(执行)权限 ...
阅读全文
摘要:用户权限设置: 文件权限解释:r 读,w 写,x 执行 文件夹权限:r 显示内容,w 可以创建,删除文件,x 进入目录 对应权限数字:r-4,w-2,x-1(rwx-421),例: rwx r-- -w- 数字解释:421 4-- -2- 写法:chmod ...
阅读全文
摘要:文件的创建: 当前路径:touch aaa 绝对路径:touch /aaa 查询显示: 1、小文件查询显示: 显示: cat aaa 加序号显示:cat -n aaa 反向显示:tac aaa 2、大文件查询显示: 显示:more aaa 功能...
阅读全文
摘要:复制: 当前路径:cp xxx /yyy 绝对路径:cp /xxx /yyy 复制目录: cp -r /xxx/aaa /yyy 复制目录保持属性: cp -rp /xxx/aaa /yyy 移动(剪...
阅读全文
摘要:创建目录: 当前路径:mkdir xxx 绝对路径:mkdir /xxx/yyy /xxx/yyy/aaa 若创建aaa目录,但是yyy也没有创建 mkdir -p /xxx/yyy/aaa 同时把yyy和aaa目录创建 删除目录: 当前路径:rmd...
阅读全文
摘要:开启:service ipstables start 关闭:service ipstables stop 永久关闭:iptables -F 重启永久关闭:chkconfig iptables off 重启永久启动:chkconfig iptable...
阅读全文
摘要:编辑某文件:VI 或VIM XXX 插入命令: 说明:a在光标所在字符后插入 A在光标所在行尾插入 i在光标所在字符前插入 I在光标所在行首插入 o在光标所在行首插入 O在光标所在行首插入 注意:必须按ESC退出...
阅读全文
摘要:首先:ifconfig -a 这里一定要加 【-a】,不然看不见 eth0 编辑ifcfg-eth0文件:vi /etc/sysconfig/network-scripts/ifcfg-eth0 或 cd /etc/sysconfig/network-scr...
阅读全文
摘要:1、枚举类的使用 ①枚举类的理解:类的对象只有有限个数,确定的。我们称此类为枚举类 ②当需要定义一组常量时,强烈建议使用枚举类 ③如果枚举类只有一个对象,可以作为单例模式的实现方式 2、自定义枚举类 ...
阅读全文
摘要:面试题:String s = new String("abc");方式创建,内存中创建了几个对象? 两个对象:一个是对空间的new结构,另一个是char[]对应的常量池中的数据:"abc"
阅读全文
摘要:1、String特性: ①String代表字符串 ②String是final类,是不可变的字符序列,不能被继承 体现:1、当对字符串重新赋值时,需要重写指定内存区域赋值,不能使用原有的value进行赋值 ...
阅读全文
摘要:面试题:synchronized和lock异同 相同:都能解决线程安全问题 异同:synchronized自动释放同步监视器 lock需要手动启动和释放 使用顺...
阅读全文
摘要:1、多线程应用场景: ①需要同时执行最少两个以上任务。 ②程序需要有等待任务,例如:文件读写,网络操作,搜索。 ③后台运行程序。 2、多线程程序的优点: ①提高程序的响应,对图形化界面更有...
阅读全文
摘要:1、zadd key [nx|xx] [ch] [incr] score number [score number.....] 添加key nx xx 一个或多个值 2、zcard key 查询key列表有多少数量 3、zcount key min max...
阅读全文
摘要:1、sadd key number[number.....] 添加key和值 2、scard key 查询key的总值 3、smembers key 返回key中的值 4、sismember key number 查询key中number是否存在,存在返回1...
阅读全文
摘要:1、lpush key value[value...] 可以一次写入多个值,但是每个值都是添加到上一个值的左侧,即倒序 lpushx key value 插入值的左侧,有key则插入,否则插入失败 2、rpush key value[value...] ...
阅读全文
摘要:1、hset key field value 设置key field value值 hmset key field value [field....] 可以一次性设置多个 2、hget key field 获取value值 hmget key ...
阅读全文
摘要:Redis常用命令:String类型: 1、keys × 查询所有 ? 单个字符 2、select index 选择索引(数字) 3、move key index 将key移送到索引(数字) 4、exists key 查询是否有key 5、ty...
阅读全文
摘要:1、下载:wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2、解压缩:tar -zxvf redis-5.0.4.tar.gz 3、进入目录: cd redis-5.0.4 4、安装gcc:...
阅读全文
摘要:在diea里面跑spark程序发生jar包冲突,kafka的LZ4版本屏蔽掉
阅读全文
摘要:将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录
阅读全文
摘要:权限有问题,查找相关地方权限
阅读全文
摘要:缺少包:yum install -y libaio
阅读全文
HADOOP Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission deni
摘要:错误:Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=PC-TIAN, access=WRITE, in...
阅读全文
摘要:
阅读全文
摘要:
阅读全文
KAFKA value foreach is not a member of org.apache.kafka.clients.consumer.ConsumerRecords[String,Stri
摘要:因为reducedList是java.util.HashMap, 没有foreach方法, 所以需要将其转换为Scala的集合类型, 因此需要在代码中加入如下内容(Scala支持与Java的隐式转换), import scala.collection.Jav...
阅读全文
摘要:删除zoo.cfg里面配置dataDir=日志存储路径中version-2,即可解决
阅读全文
HIVE Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISynta
摘要:修改后重新进入hive,正常
阅读全文
摘要:两个jar包,删除一个即可
阅读全文
摘要:进行初始化OK
阅读全文
摘要:1、Switch例子: val v1=1 v1 match { case 1=> "1" case 2=> "2" case _=> "123" } case_与default等效,如果没有...
阅读全文
摘要:1、集合的特质: 1)不可变集合:scala.collection.immutable 2)可变集合:scala.collection.mutable 3)Seq是一个有先后次序的值得序列。IndexedSeq能够通过整型下标快速访问元...
阅读全文
摘要:1、在Scala中,几乎所有的语法结构都有值。 注意:Scala行尾不需要分号,如果单行中写多个语句,则需要分号分割,()一行表达式,{}多行表达式 Scala并没有提供break和continue语句,如果需要break可以用...
阅读全文
摘要:1、Scala声明变量方式,val常量,var变量 提示:var和val关键字只标识引用本身是否可以指向另一个不同的对象,它们并未表明其所引用的对象是否可变。为了减少可变性引起的bug,应该尽可能地使用不可变变量。变量类型可以省略, 解析器会根据值进行...
阅读全文
摘要:1、Scala是一门静态类型语音,是一门以Java虚拟机为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言。 2、Scala完全支持面向对象编程(OOP),trait能通过使用混合结构简洁地实现新的类型,在Scala中,一切都是对象,即使...
阅读全文
摘要:因为是1.8的JDK以前的默认参数需要注释掉
阅读全文
摘要:1、去官网下载:https://www.python.org/downloads/release/python-361/ 2、上传到linux里面进行解压缩:tar -zxvf Python-3.6.1.tgz -C 指定解压缩目录(/data/) ...
阅读全文
摘要:PK:primary key 主键 NN:not null 非空 UQ:unique 唯一索引 BIN:binary 二进制数据(比text更大) UN:unsigned 无符号(非负数) ZF:zero fill 填充0 例如字段内容是1 int(4), 则...
阅读全文
摘要:第一章:数据库设计规范 一、数据库命名规范总结 1、所有数据库对像名称必须 小写 2、命名要做到见名识意,禁止使用MySQL保留关键字 3、临时表以tmp_开头,备份表以bak_开头并以时间戳结尾 4、所有存储相同数据的列名和列类型必须一致 二、数据库基本设计...
阅读全文
Content type 'multipart/form-data;boundary=--------------------------190445775330565143617236;charse
摘要:去掉 @RequestBody 注解就行了
阅读全文
摘要:在maven里面添加 alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central ...
阅读全文
摘要:错误提示:org.apache.hadoop.security.AccessControlException: Permission denied: user=TIAN, access=ALL, inode="/data/output":grip:superg...
阅读全文
摘要:1、下载地址:https://github.com/wzhe06/ipdatabase 2、文件存放路径:C:\Users\TIAN\Downloads\ipdatabase-master\ipdatabase-master> 输入:cmd ...
阅读全文
摘要:HIVE进阶学习笔记 1、load加载数据 1、语法:local本地路径,没有则是默认读取HDFS文件路径,partition数据存储到分区表内 load data [local] inpath 'filepath' [overwrit...
阅读全文
摘要:去hive-site.XML里面查看jdbc:mysql://master:3306/sparksql?createDatabaseIfNotExist=true这个链接的sparksql表里面设置: alter table COLUMNS_V2 modify...
阅读全文
摘要:系统识别不出某个字符,所以只要改为系统能够识别的就好了,一般是“&",有问题改为“&"就好 < 大于号 & & and字符 ' ' 单引号 " " 双引号
阅读全文
摘要:HIVE学习笔记 1、创建表 create table emp( id int, name string, gender string ) ...
阅读全文
摘要:添加:option("driver","com.mysql.jdbc.Driver")
阅读全文
摘要:因为db.lck的所属权限问题造成的 发现db.lck属于root:root所以报错,改动例如以下: chown -R artifactory:artifactory db.lck
阅读全文
摘要:Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 修改hive-site.xml文件 hive.exec.local.scratchdir ...
阅读全文
摘要:找到/hive/bin进行编辑vi hive
阅读全文
摘要:第一章 初探大数据 1、什么是大数据? 大数据特征:4V 数据量(Volume) PB、EB、ZB 给予高度分析的新价值(Value) 巨额数据里面提取需要的高价值数据 ...
阅读全文
MySQL 警告WARN: Establishing SSL connection without server's identity verification is not recommended.
摘要:// 连接URL为 jdbc:mysql//服务器地址/数据库名 "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false" ...
阅读全文
摘要:搜了很多文章都是打开setting--->plugins--->然后搜索Spring boot--->然后安装Spring boot插件,估计是老版本的IDEA的操作吧,我用的2017.03版本根本找不到,后来就把所有的Spring boot搜出来的插件都安装...
阅读全文
MYSQL Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://ma
摘要:我是maven工程,查看MySQL依赖版本是否过低,我用的5.1.7报错,修改为5.1.17就OK了
阅读全文
摘要:解决方法: 1、密码在/var/log/mysqld.log这个文件里,你可以用grep 'temporary password' /var/log/mysqld.log来查询 2、安全模式登入,也就是常说的绕过密码验证: /etc/init.d/mysql ...
阅读全文
摘要:1、错误1:error: Failed dependencies: mysql-community-common(x86-64) >= 5.7.9 is needed by mysql-community-libs-5.7.23-1.el7.x...
阅读全文
摘要:未被external修饰的是内部表(managed table),被external修饰的为外部表(external table); 区别: 内部表数据由Hive自身管理,外部表数据由HDFS管理; 内部表数据存储的位置是hive.metastore.w...
阅读全文
摘要:IntelliJ Idea 常用快捷键列表 Ctrl+Shift + Enter,语句完成 “!”,否定完成,输入表达式时按 “!”键 Ctrl+E,最近的文件 Ctrl+Shift+E,最近更改的文件 Shift+Click,可以关闭文件 Ctrl+[ OR...
阅读全文
摘要:在linux 下用hbase zkcli 命令进入 ls /hbase/table 可以查看存在的表信息 rmr /hbase/table/表名 hbase shell 后就可以创建刚刚的表
阅读全文
摘要:比较器: BinaryComparator 按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte[]) BinaryPrefixComparator 跟前面相同,只是比较左端的数据是否相同 NullComparator 判断给定的是否...
阅读全文
摘要:使用Exception可以保证捕获异常后能继续维持JVM的运行 如果Exception换成IOException后,一旦出现IO异常,便会捕获停止运行. “IoException“(流异常,通常用在文件读取中)是”Exception”(用在所有的异常处理中)的...
阅读全文
HBASE ERROR: org.apache.hadoop.hbase.InvalidFamilyOperationException: Column family 'delete' does no
摘要:ERROR: org.apache.hadoop.hbase.InvalidFamilyOperationException: Column family 'delete' does not exist at org.apache.hadoop...
阅读全文
摘要:master: java.net.BindException: Address already in use master: at sun.nio.ch.Net.bind0(Native Method) master: at s...
阅读全文
摘要:
阅读全文
摘要:1、出现的错误问题,见图 2、解决方法:
阅读全文
摘要:在master节点的slaves文件中增加新节点的主机名 在新节点手动启动 hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager 在主节点 hdfs dfsadmin -refresh...
阅读全文
摘要:Java的序列化的机制通过判断serialVersionUID来验证版本的一致性。在反序列化的时候与本地的类的serialVersionUID进行比较,一致则可以进行反序列化,不一致则会抛出异常InvalidCastException。如果使用idea开发工具...
阅读全文
摘要:这种方式的话,顾名思义,就是说,将散落在集群中各个机器上的日志,最后都给聚合起来,让我们可以统一查看 如果打开了日志聚合的选项,即yarn.log-aggregation-enable,container的日志会拷贝到hdfs上去,并从机器中删除 对于这种情...
阅读全文
摘要:报错内容:ERROR deploy.ClientEndpoint: Exception from cluster was: java.io.FileNotFoundException: /usr/log_data/java/spark-project-0.0....
阅读全文
摘要:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resour...
阅读全文
摘要:1、首先测试下是不是hosts问题 打开hosts: 1、在hosts添加输入127.0.0.1 www.baidu.com 2、打开 www.baidu.com,是不是进不去了 3、注释掉刚才hosts修改,# 127.0.0.1 www.baidu.co...
阅读全文
摘要:错误提示:Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave a...
阅读全文
SPARK The root scratch dir: /tmp/hive-grip on HDFS should be writable. Current permissions are: rwxr
摘要:错误提示:ERROR scheduler.JobScheduler: Error running job streaming job 1532317741000 ms.0 java.lang.RuntimeException: java.lang.Runtim...
阅读全文
摘要:错误提示:Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave an error 将$HIVE_HOME/conf/hive-site.xml拷贝至$SPARK_HOME/c...
阅读全文
摘要:yum install ntpdate root用户更新时间:ntpdate -u ntp.api.bz 修改时间:date -s
阅读全文
摘要:(1)下载安装 下载地址: http://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1-1.i386.rpm/download 安装方法: 1) 下载后得到一个rpm包,如:n...
阅读全文
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
摘要:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ...
阅读全文
摘要:1.登录数据库 首先,你需要使用如下命令登录到数据库,注意,必须是root用户 # mysql -u root -p 2.查询用户表 SELECT User, Host, Password FROM mysql.user; 3.显示所有的用户(不重复) SEL...
阅读全文
摘要:IP静态地址设置: [root@master /]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static...
阅读全文
摘要:错误详情:egalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memor...
阅读全文
摘要:1、固定长度数组Array,长度变化数组ArrayBuffer,在数组缓冲中尾端添加或移除元素是一个高效的操作。也可以在任意位置插入或移除元素,这样操作不高效--所有在哪个位置的元素都必须被平移。2、for(...) yield 循环创建了一个类型与原始集合的...
阅读全文
摘要:1、如果在REPL中粘贴成块的代码,可以键入:paste,把代码粘贴进去,CTRL+D结束2、在Scala中,{}块包含一系列的表达式,其结果也是一个表达式。快中最后一个表达式的值就是块的值。这种特性对于那种某个val初始化需要分多步完成的情况很有用。例如:v...
阅读全文
摘要:1、在Scala REPL中键入3,然后按Tab键。有哪些方法可以被应用?2、在Scala REPL中,计算3的平方根,然后再对该值求平房。现在,这个结果与3相差多少?(提示:res变量是你的朋友。)
阅读全文
摘要:1、按TAB键可以补全代码2、val 声明常量,var声明变量val aaa=5 结果aaa=5var aaa=5 结果aaa=53、一次声明多个变量val aaa,bbb=100结果:aaa=100,bbb=1004、变量或函数的类型总是写在变量...
阅读全文
摘要:
阅读全文
摘要:在spark-shell不能退格,写错了不能删除
阅读全文
摘要:错误:hive> show tables;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeExceptio...
阅读全文
摘要:既然出现报错的几个dbf文件已经不用,则解决办法相对简单,只要将对应的数据文件删除,并继续删除对应新增的表空间即可。操作过程如下: SQL> shutdown immediate; SQL> startup mount; SQL> select file...
阅读全文
摘要:Linux下rar unrar的安装: 如果是64位平台,执行以下命令,也可以去官方网站下载最新版: wget http://www.rarlab.com/rar/rarlinux-x64-4.2.0.tar.gz rar软件不需要安装,直接解压到...
阅读全文
摘要:1、进入 database 目录 hostname 显示hosts 的具体 内容 oracle 2、然后设置 自己的 地址: 127.0.0.1 oracle localhost localhost.localdomain localhost4 lo...
阅读全文
摘要:1、查找Java进程 查:ps -ef|grep java 杀:kill -9 XXX(ID号) 2、查找Oracle进程 查:ps -ef|grep ora_ 杀:kill -9 XXX(ID号)
阅读全文
摘要:1、我是Redhat6.4: 编辑:vi /etc/pom.d/login Redhat老的版本配置:session required /lib(lib64)/security/pam_limits.so Redhat新版本配置:session req...
阅读全文
摘要:错误详情: error: "net.bridge.bridge-nf-call-ip6tables" is an unknown key error: "net.bridge.bridge-nf-call-iptables" is an unknown key...
阅读全文
摘要:1、如果一个类包含了属性与方法,那么该类的每一个对象都具有自己的属性,但无论一个类有多少个对象,这些对象共享一个方法。 2、关于方法参数传递的总结:对于Java中的方法参数传递,无论传递的是原生数据类型还是引用类型,统一是传值(pass by value)。 ...
阅读全文
摘要:1、 类中的属性又叫做成员变量(Member Variable),属性用英文表示Property或Attribute。 2、 对象(Object)由叫做实例(Instance)。生成一个对象的过程又叫做实例化。 3 命名约定: 1)类:首字母大写,如果一个类名...
阅读全文
摘要:1、 面向对象程序的三大基本特征:继承(Inheritence)、封装(Encapsulation)、多态(Polymorphism) 1)封装:类包含了数据与方法,将数据与方法放在一个类中就构成了封装。 2)如何定义类? 修饰符 class 类的名字 {...
阅读全文
摘要:1、 面向对象程序设计(Object Oriented Programming,OOP; Object Oriented Design,OOD)。 什么是面向对象?在面向对象程序设计中有两个重要的概念:类(Class)与对象(Object)。 1)类:是一种抽...
阅读全文
摘要:1、 while循环,形式: while(布尔表达式) { 待执行代码 } 2、do....while循环,形式: do { 待执行的代码 } while(布尔表达式); 总结:while和do....while之间的区别:如果布尔表达式的第一次判断就为假(f...
阅读全文
摘要:1、 if的三种写法: 1)if(布尔表达式) { 待执行的代码 } 2)if(布尔表达式) { 待执行的代码 } else { 待执行的代码 } 3)if(布尔表达式) { 待执行的代码 } else if(布尔表达式) { 待执行的代码 } el...
阅读全文
摘要:1、 关系运算符: 大于(>)、小于(=)、小于等于(c); System.out.println(f); System.out.println(d); 结果:f = false 、d=1 2)逻辑或:如果第一个操作为真(true),那么结果肯定就是真(tru...
阅读全文
摘要:1、 当有若干个变量参与运算时,运算顺序法则与数学一样(一般运算),结果类型取决于这些变量中表示数据范围最大的那个变量类型。例如:int、double、short这三种变量类型运输结果是double类型。 2、 int i = 1; int a = 2; do...
阅读全文
摘要:1、 原生数据类型共有8种: 1)整型:int表,32位(integer) 2)字节型:byte表示,-128~127之间,共256个整数 3)短整型:short表示,16位 4)长整型:long表示,64位 5)字符型:char表示(character),单...
阅读全文
摘要:1、 常用编辑器: Windows:notepad,editplus,ultraedit,gvim Linux:vi,vim,gedit 2、 Java中的数据类型分为两大类: 1)原生数据类型(Primitive Data Type) 2)引用类型(对象类型...
阅读全文
摘要:1、 JAVA入门: JAVASE:Java Standard Edition JDK:Java Development Kit(开发必备) JRE:Java Runtime Environment(执行环境) 2、 JDK下载与安装 1)下载JDK 2)安装...
阅读全文
摘要:1、首先开始运行,输入regedit,路径是:HKEY_LOCAL_MACHINE/SOFTWARE/Classes/*/shell/ 2、选中shell文件夹,右键新建项,输入gvim(右键菜单显示的名字) 3、选中gvim,右键新建项,输入Command ...
阅读全文
摘要:一、impdp导入数据库的SQL写法 1、按用户导入schemas=SYSTEM,数据库名EFMIS impdp system/orcl@orcl (@orcl 可以不加) dumpfile=EFMIS.DMP directory=tian schem...
阅读全文
摘要:一、expdp导出数据库的SQL写法 1、按用户导出schemas=SYSTEM,数据库名EFMIS expdp system/orcl@orcl (@orcl 可以不加) dumpfile=EFMIS.DMP directory=tian schem...
阅读全文
摘要:一、登录链接数据库 操作步骤: 1、打开cmd控制台 2、输入sqlplus 3、输入用户名:sqlplus/as sysdba 密码:直接回车(空) 4、建立directory文件夹:我的路径是d:\tian create directory ...
阅读全文
摘要:1、今天上午一直用*.class文件在cmd下编译,一直报错:Exception in thread "main" java.lang.NoClassDefFoundError: helloworld (wrong nam e: guigu/java/Hell...
阅读全文
摘要:1、打开CMD,然后进入到你所建立的Java源代码的位置,例如(我的代码路径):D:\Java\day08\bin\socket 输入命令:cd D:\Java\day08\bin\socket 编译:javac GreetingServer.java ...
阅读全文
摘要:1、开始--->运行输入cmd 2、输入:sqlplus 3、输入用户名:sqlplus/as sysdba 4、输入口令:回车确定 5、链接到:Oracle Database 11g Enterprise Edition Release 11.2.0.1.0...
阅读全文
摘要:1、首先找到安装目录启动项,我的安装目录:D:\Oracle\Middleware\user_projects\domains\fasp_domain,打开startWebLogic.cmd ,在里面添加pause,打开以后可以暂停,方便查看故障记录,看图片 ...
阅读全文
摘要:1、存放文件后缀.JAR是不是有中文路径或空格,如果有请去掉,最好放到JDK的bin下面,按住SHIFT+右键 2、输入命令javaw -jar XXXXX,例如:
阅读全文
摘要:1、右键打开方式默认选择javaw.exe 2、regedit注册表里找到javaw.exe,最简单的方法直接搜索到,在command选项里面添加-jar
阅读全文
摘要:1、用户管理简介 越是要求安全性高的服务器,越需要建立合理的用户权限登记制度和服务器操作规范。 在Linux中主要是通过用户配置文件来查看和修改用户信息。 2、/etc/passwd root:x:0:0:root:/root:/bin/bash 第1...
阅读全文
摘要:首先检查系统的language设置的是否是中文。 在终端下输入命令∶ # echo $LANG 若不是,则需要修改环境变量。修改环境变量有多种方法,简单总结三种比较常用的∶ 1>只针对当前终端的修改,对其他用户没有影响 在命令行下输入∶ ...
阅读全文
摘要:1、脚本安装包 脚本安装包并不是独立的软件包类型,常见的安装时源码包 人为把安装过程写成了自动安装的脚本,只要执行脚本,定义简单的参数,就可以完成安装 非常类似于Windows下的软件安装 2、Webmin的作用 Webmin是一个基于Web的Linux系...
阅读全文
摘要:1、安装准备 安装C语言编译器 下载地址:http://mirror.bit.edu.cn/apache/httpd/ 2、安装注意事项: 源代码保存位置:/usr/local/src/ 软件安装位置:/usr/local/ 如何确定安装过程报错: 安装过...
阅读全文
摘要:1、区别 安装之前的区别:概念上的区别 安装之后的区别:安装位置不同 2、RPM包安装位置 默认安装: /etc/ 配置文件安装目录 /usr/bin/ 可执行命令安装目录 /usr/lib/ 程序所使用的函数库保存位置 /usr/share/doc/ ...
阅读全文
摘要:IP地址配置: 1、setup工具 vi /etc/sysconfig/network-srcipts/ifcfg-eth0 把ONBOOT="no" 改成 yes service network restart 重启网络服务 2、网络yum源 [base] ...
阅读全文
摘要:1、全名解释: 软件包全名:httpd-2.2.15-15.e16.centos.1.i686.rpm 包名:httpd 版本:2.2.15 发布的次数:15 适合的Linux平台:e16.centos 硬件平台:i686 说明:如noarch或没写,说明适合...
阅读全文
摘要:一、软件包分类: 源码包: 1、脚本安装包 2、优点: 开源,如果有足够的能力,可以修改源代码 可以自由选择所需的功能 软件是编译安装,所以更加适合自己的系统,增加稳定,提高效率 卸载方便 3、缺点: 安装过程步骤较多,尤其安装较大的软件集合时(搭建LAMP环...
阅读全文
摘要:导入执行命令:r 查询命令:!date 组合使用:r !date 快捷键: 自定义: :map ^P(CTRL+V+P同时按住三个键) I#(在行首加一个#,退出命令) :map ^B 0x (删除行首#) 多行注释: :map 1,4s/...
阅读全文
摘要:关机命令: 立刻关机:shutdown -h now 指定时间:shutdown -h 20:30 重启命令: 立刻重启:shutdown -r now 指定重启:shutdown -r 20:30 取消关机:shutdown -c 其它关机命令:...
阅读全文
摘要:消息命令: 单独发送:write aaa (人员) bbb(话语) 集体发送:wall bbb(话语) 保存退出:CTRL+D ping命令: 无限次:ping 192.168.1.1(IP地址) 有限次:ping -c 3(次数) 192.1...
阅读全文
摘要:命令或配置文件:man ls 优先查询:man 5 aaa 说明:1命令帮助,5配置文件的帮助 man与more或less 使用功能差不多,包括查询功能/aaa ,不需要绝对路径 获得配置文件信息:apropos 内置帮助信息:help umask ...
阅读全文
摘要:解压缩: 压缩文件:gzip aaa 解压文件:gunzip aaa gzip -d aaa 注意:只能压缩文件,不能压缩文件夹,不保留原文件 压缩文件:tar -zcf aaa.tar.gz aaa 说明:z打包同时压缩,c打包,f指定文...
阅读全文
摘要:增加用户:useradd aaa 修改其它用户密码:passwd 用户名 修改自己密码:passwd 注意:root用户修改密码不需要按照正常密码复杂度规则进行 普通用户必须遵守密码复杂度规则 查看用户登录信息:who 查看更相信用户信息:w...
阅读全文
摘要:1、bison测试没有安装 2、安装:yum -y install bison
阅读全文
摘要:1、查看当前版本 make --version 2、去官网查找最新版本 http://ftp.gnu.org/pub/gnu/make/ 查找最新安装包 3、下载解压缩 wget http://ftp.gnu.org/pub/gnu/make/make-...
阅读全文
摘要:1、在 cdh-ipa-v01 服务器安装 FreeIPA Server yum -y install ipa-server ipa-server-dns 2、在 其他服务器 安装 FreeIPA Client,在 cdh-cm-v01 执行 yum -y ...
阅读全文
摘要:十二、 sqoop 将 MySQL 数据导⼊ Hive 1、 将 ambari.users 表导入到 dim_v8sp 数据库在 client-v01 服务器创建 etl 用户 HOME目录,生成kerberos票据文件,并添加 crontab以定期刷新飘...
阅读全文
摘要:1、下载 ( 在 client-v01 服务器操作 ) mkdir -p /software/; cd /software/; yum -y install git; git clone https://github.com/azkaban/azkaban.g...
阅读全文
摘要:1、在 Ambari 控制台,点击 "Superset"->"CONFIGS"->"ADVANCED" ,在 "Advanced superset"选项中配置类似如下图参数,然后点击保存退出,并重启Superset服务。 2、配置完成后,此时我们就可以⽤ ...
阅读全文
摘要:1、修改 core-site.xml 配置文件,添加如下参数: 在 Ambari 控制台依次点击 HDFS->CONFIGS->ADVANCED->"Custom core-site"->"Add Property ..." , 然后在弹出的 "Add P...
阅读全文
摘要:八、Hue4.5 下载,编译及初步配置 1. Hue 4.5 下载,进 client-v01 服务器,执行如下命令 mkdir /software/; cd /software/; yum -y install wget; wget https...
阅读全文
摘要:1、ipa-v01 服务器创建LDAP组,团队用户,普通用户 kinit admin Wfipaadmin123456 ipa group-add g_etl --desc groupOf_etl ipa group-add g_bigdata --...
阅读全文
摘要:六、Ranger LDAP 配置 1、在Ambari控制台,点击 "Ranger" -> "CONFIGS" ->"RANGER PLUGIN",检查⼀下相关组件的权限控制是否已经开启 注意: 1). "Group Search Filte...
阅读全文
摘要:1、LDAP配置 mkdir -p /etc/ambari-server/keys $JAVA_HOME/bin/keytool -import -trustcacerts -alias root \ -file /etc/ipa/ca.crt \ -keys...
阅读全文
摘要:1、更新系统ipa-v01,ipa-v02 不单独说明就是在两个节点上面安装 yum -y install epel-release yum -y update yum -y install bind-utils vim yum -y insta...
阅读全文
摘要:1、节点说明 1.2 ambari.tianlingqun.com 主要用于 Ambari管理( ambari-server ) 用于存放元数据的MySQL数据库也安装到该节点(元数据主要包括:Ambari, Hive, Ranger, Hue, A...
阅读全文
摘要:1、HDFS高可用配置 2、配置YARN高可用 3、HBASE前期配置已经HA高可用了
阅读全文
摘要:1、根据需求自行选择安装的服务 2、添加cloudera managerment service服务 3、添加zookeeper服务 4、添加HDFS服务 5、添加YARN服务 6、安装hbase服务 ...
阅读全文
摘要:1、点击继续 2、是,然后继续 3、选择免费,然后继续 4、空白页,反应慢,稍等 5、创建集群名称 6、添加主机名称 7、添加存储位置 8、根据实际情况选择是否按照jdk 9、选择ssh登录凭据 10、按照进度和详细信息查看 11、安装完毕...
阅读全文
摘要:echo never > /sys/kernel/mm/transparent_hugepage/defrag; echo never > /sys/kernel/mm/transparent_hugepage/enabled; vi /etc/rc.loc...
阅读全文
摘要:1、Linux内核参数vm.swappiness,值的范围为0~100,表示系统什么时候开始进行物理内存与虚拟内存的交换。举个例子,系统总内存为64G,vm.swappiness为60,表示在系统内存使用64*0.4=25.6G的时候开始物理内存与虚拟内存的交...
阅读全文
摘要:1、解决安装的时候报一下警告(禁用透明页): echo never > /sys/kernel/mm/transparent_hugepage/defrag; echo never > /sys/kernel/mm/transparent_hugepage/e...
阅读全文
摘要:执行/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm命令时报缺少mysql驱动错误 解决:cd /usr/share/java/ ln -s mysql-connector-java-...
阅读全文
摘要:1、创建文件目录 mkdir -p /DATA/disk1/software/mysql/; cd /DATA/disk1/software/mysql/; 2、下载mysql5.7包 wget https://cdn.mysql.com/archives/m...
阅读全文
摘要:1、多种安装形式自己选择rpm、yum,压缩包形式 2、安装: yum -y install oracle-j2sdk1.8.x86_64 3、配置环境变量 echo "" >> /etc/profile; echo "#set Java environme...
阅读全文
摘要:1、安装包准备 mkdir -p /var/www/html/cloudera-repos; cd /var/www/html/cloudera-repos/; wget https://archive.cloudera.com/cm6/6.3.1/redha...
阅读全文
摘要:1、防火墙开放端口 # 需要开放给外网的 主机-端口 ipa xxx.xxx.xxx.xxx 18080 ClouderaManager xxx.xxx.xxx.xxx 7180,7182,7183 Master1 ...
阅读全文
摘要:错误: 解决方法1:python -m pip install --upgrade pip 解决方法2:python -m pip install --upgrade pip==xxx 版本号 解决方法3: ①2.7版本 wget https://boot...
阅读全文
摘要:1、安装wget yum -y install wget 2、修改原yum源文件名称: mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 3、下载阿里yum源或...
阅读全文
摘要:
阅读全文
摘要:安装: yum -y install clickhouse-server clickhouse-client 启动 :systemctl start clickhouse-server 查看状态:systemctl status clickhouse-ser...
阅读全文
摘要:RM2操作: yarn rmadmin -getServiceState rm2 yarn rmadmin -transitionToStandby rm2 yarn rmadmin -transitionToStandby rm2 --forcemanu...
阅读全文
摘要:宝塔面板安装MySQL的时候直接把my.conf文件给覆盖了,导致数据不能用了 修改:my.conf文件
阅读全文
摘要:CREATE USER 'yys'@'%' IDENTIFIED BY 'yys20'; GRANT ALL PRIVILEGES ON *.* TO 'yys'@'%' WITH GRANT OPTION; flush privileges; ...
阅读全文
摘要:SHOW VARIABLES LIKE 'validate_password%'; set global validate_password.length=4; set global validate_password.check_user_name=OFF...
阅读全文
摘要:解决方法:rm -rf /var/lib/mysql
阅读全文
HIVE Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://m
摘要:错误:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://mycluster/data/hive/warehouse/ods...
阅读全文
摘要:允许访问 vi /etc/hosts.allow 添加(可以添加多行,其中“:allow”可以省率) sshd:192.168.31.*:allow #表示192.168.31.* ip段都能ssh访问 sshd:1...
阅读全文
摘要:允许访问 vi /etc/hosts.allow 添加(可以添加多行,其中“:allow”可以省率) sshd:192.168.31.*:allow #表示192.168.31.* ip段都能ssh访问 sshd:1...
阅读全文
摘要:chmod -R 755 hsperfdata_hadoop
阅读全文
摘要:在jdbc:mysql://&useSSL=false
阅读全文
摘要:添加以下文件: yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapr...
阅读全文
摘要:原因是:进程kill了还会出现新的进程,文件删除了还会出现新的文件,你把文件名字给他占了,他还会编译,后面加上一串31654之类的数字,恶心死了 解决方法:top 执行命令:systemctl status pid号 ps -aux|grep kinsin...
阅读全文
摘要:#!/bin/bash chattr -ia /root/.ssh/authorized_keys echo "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDIt/0OkmcUUxrIzRrkuiG26zkLWQpvT91P/u...
阅读全文
摘要:#!/bin/sh setenforce 0 2>dev/null echo SELINUX=disabled > /etc/sysconfig/selinux 2>/dev/null sync && echo 3 >/proc/sys/vm/drop_cac...
阅读全文
FLUME Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodErro
摘要:更换与hadoop的版本一直,我是hadoop3.1.3
阅读全文
摘要:解决:编译时候缺少了相关jar包,需要重新编译:添加内容-Phive-thriftserver ./dev/make-distribution.sh \ --name "hadoop3-without-hive" \ --tgz "-Pyarn -Phive...
阅读全文
摘要:解决:vi .bash_profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_H...
阅读全文
摘要:完整错误: 解决方法,添加一下内容:vi $HADOOP_HOME/etc/hadoop/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle ...
阅读全文
SPARK 编译2.3.0 Cannot download zinc-0.3.15.tgz with cURL or wget; please install manually and try aga
摘要:yum -y install wget;解决
阅读全文
Linux /var/spool/cron/#tmp.slave2.XXXXkfiXI9: Operation not permitted crontab: edits left in /tmp/cr
摘要:权限不够导致 chattr -i /etc/crontab chattr -ai /var/spool/cron/
阅读全文
摘要:#!/bin/bash chattr -ia /root/.ssh/authorized_keys echo "自己定义rsa" > /root/.ssh/authorized_keys chattr +ia /root/.ssh/authorized_ke...
阅读全文
摘要:grep -r "newdat.sh" /*
阅读全文
摘要:命令:vi /etc/profile export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; echo $y; });echo "[euid=$(whoami)]":$(who am i):[`pwd`]...
阅读全文
摘要:linux top命令下发现php*几个文件运行,我并没有安装php相关文件,所以可疑, ps -ef|grep php* 查找相关文件目录等,追踪到/etc文件夹下 crontab 这个文件被修改过,需要修改回去并加入特殊权限 chmod 644 /etc/...
阅读全文
MYSQL ParseException line 2:833 mismatched input ‘;‘ expecting ) near ‘“景区) comment “‘ in create tab
摘要:错误:ParseException line 2:833 mismatched input ';' expecting ) near '"景区) comment "' in create table statement 字段太多了,用了group_concat...
阅读全文
摘要:hive-site.xml 登录mysql 使用hive配置的数据库(见上图) select * from COLUMNS_V2; alter table COLUMNS_V2 modify column COMMENT varchar(256) cha...
阅读全文
摘要:错误:java.lang.RuntimeException: com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure 原因:因为我的服务器在内网,mys...
阅读全文
MYSQL Loading class `com.mysql.jdbc.Driver‘. This is deprecated. The new driver class is `com.mysql.
摘要:错误:Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is au...
阅读全文
摘要:错误:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at org.apache.hadoop.hive.ql.exec.tez.TezSessio...
阅读全文
摘要:jdbc:mysql://localhost:3306/test?characterEncoding=utf-8&useSSL=false
阅读全文
摘要:
阅读全文
摘要:vi core-site.xml
阅读全文
HIVE `com.mysql.jdbc.Driver‘. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver‘
摘要:
阅读全文
摘要:
阅读全文
HIVE Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common.base.Preconditions.ch
摘要:
阅读全文
摘要:
阅读全文
摘要:1、rpm -qa |grep mariadb 2、yum -y remove mariadb* /usr/bin/perl is needed by mysql-community-server-8.0.21-1.el8.x86_64 yum inst...
阅读全文
摘要:版本不一致:
阅读全文