01 2019 档案
摘要:1 贴出完整日志信息 2 原因,原因是因为Spark提交任务到yarn集群,需要上传Hadoop相关yarn的jar包 3 解决办法,提前上传到HDFS集群,并且在Spark配置文件指定文件路径,就可以避免每次提交任务到Yarn都需要重复上传文件 4 配置步骤 Spark版本 spark-2.2.0
阅读全文
摘要:1 Local模式 本地模式 local模式 一台机器即可,开箱即用 不指定master,或者 --master local local[N] local[*] local模式下,使用多少个cores 2 standalone集群模式 spark自带的集群模式 Master Worker --mas
阅读全文
摘要:1 监控cron状态 正常开启的状态 2 检查执行日志,过滤自己配置的定时任务脚本关键字 有查询到前一天23点30分有执行清理Tomcat日志的脚本被执行过 3 自己的定时任务配置
阅读全文
摘要:1 Shell脚本案例 删除超过30天的日志文件 2 配置定时执行,每天23点30分执行一次
阅读全文
摘要:1 首先查询磁盘空间占用情况。 发现/根目录下面磁盘占用百分之一百 2 进入根目录,查询大文件与目录 3 然后不断执行上面的过程,进入大文件目录,定位大文件 4 最后找到是Tomcat下面logs日志占据了20多G文件,删除,重启Tomcat释放空间
阅读全文
摘要:1 下载源码包 赋予权限 2 安装Go语言 发现版本不对,直接去https://golang.org/dl/下载Mac下的pkg安装包 添加安装路径到path下 3 源码安装 4 然后测试安装是否成功 结果显示: SQL优化利器,简单方便实用。
阅读全文
摘要:1 下载源码 2 安装依赖环境 3 依赖libperconaserverclient_r 4 编译源码sqladvisor的依赖 5 编译sqladvisor 6 测试安装效果 使用说明详见GitHub地址
阅读全文
摘要:1 下载源码包 赋予权限 2 安装Go语言 3 源码安装 4 然后测试安装是否成功 结果显示: SQL优化利器,简单方便实用。
阅读全文
摘要:1 详细错误信息 2 解决思路 A排除扫描Spring MVC的配置文件 聊天记录 B最后发现是类冲突导致的错误
阅读全文
摘要:1 ,错误原因,循环冗余检查 result.setNearUsers(userList); Page page = new Page(); page.setTotal(searchNearUser.getTotal()); page.setSize(userList.size()); page.se
阅读全文
摘要:每个bean对象 都应该有一个默认无参数的构造方法 负责查询的时候 通过反射的方式实例化的时候 就会抛出无法实例化的情况
阅读全文
摘要:1 自己在windows上面copy过去的文件夹,在Mac下面无法查看 一开始以为是windows文件的权限问题,然后 自己赋予了everyone所有的权限,结果在Mac上面还是无法打开文件夹 2 最后解决问题 在Mac下面,get Info更多信息的选项卡里面,修改单个用户权限。 这样就解决了。
阅读全文
摘要:[root@hdp1 /mnt/software/maxwell-1.19.4]#kafka-topics.sh --zookeeper hdp1,hdp2,hdp3:2181 --create --topic maxwell --partitions 6 --replication-factor
阅读全文
摘要:1 启动hbase的时候爆出警告 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0 查看配置文件 # Configure PermSize.
阅读全文
摘要:1解决iterm远程登录主机报错 -bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory 2 更改Mac本机的ssh_config,而不是更改服务器的 sudo vi /
阅读全文
摘要:1 下载tar包 Download binary distro: https://github.com/zendesk/maxwell/releases/download/v1.19.4/maxwell-1.19.4.tar.gz 2 解压 tar -zvxf maxwell-1.19.4.tar.
阅读全文
摘要:ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)at kafka.network.Acceptor.openServerSoc
阅读全文
摘要:1 安装好连接好数据库,查询操作 注意黄色字体1 2 3 4 执行sql操作
阅读全文
摘要:1 第一个问题 Unexpected version format: 10.0.2 Unexpected version format: 10.0.2 Unexpected version format: 10.0.2 Could not initialize class org.apache.ha
阅读全文
摘要:Error: SYSTEM:CATALOG (state=08000,code=101)org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG at org.apache.phoenix.util.ServerUtil.pars
阅读全文
摘要:1 启动hbase报错 hdp3: regionserver running as process 3170. Stop it first. 2 始终没有发现错误日志 3 jps没有发现hbase的regionserver进程 4 重启无数次,还是没有用 5最后 杀死3710进程 kill -9 3
阅读全文
摘要:#显示物理核心数sysctl hw.physicalcpu#显示逻辑核心数sysctl hw.logicalcpu
阅读全文
摘要:1 解压文件 tar -zvxf kafka_2.11-0.10.0.0.tgz 2 修改配置server.properties vim server.properties broker.id=1 zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181 3 修
阅读全文
摘要:1 my.cnf文件 配置 binlog_format = ROW log_bin_trust_function_creators=1 log-error = /usr/local/mysql/data/hostname.err log-bin = /usr/local/mysql/arch/mys
阅读全文
摘要:1.解压及创建目录[root@hadoop39 local]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root@hadoop39 local]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql [
阅读全文
摘要:1 创建VPC网络 2 申请公网IP 3 回到VPC图形界面绑定公网ip 4 创建私有网络,并绑定私有网络 5 创建3台主机 6 新建防火墙,并绑定到VPC 7 配置VPC端口转发规则 8 添加防火墙下行规则 9 验证登陆信息
阅读全文
摘要:Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一
阅读全文