01 2019 档案

摘要: 阅读全文
posted @ 2019-01-29 15:43 Questions张 阅读(517) 评论(0) 推荐(0) 编辑
摘要:1 贴出完整日志信息 2 原因,原因是因为Spark提交任务到yarn集群,需要上传Hadoop相关yarn的jar包 3 解决办法,提前上传到HDFS集群,并且在Spark配置文件指定文件路径,就可以避免每次提交任务到Yarn都需要重复上传文件 4 配置步骤 Spark版本 spark-2.2.0 阅读全文
posted @ 2019-01-28 17:02 Questions张 阅读(2695) 评论(0) 推荐(0) 编辑
摘要:1 Local模式 本地模式 local模式 一台机器即可,开箱即用 不指定master,或者 --master local local[N] local[*] local模式下,使用多少个cores 2 standalone集群模式 spark自带的集群模式 Master Worker --mas 阅读全文
posted @ 2019-01-28 16:47 Questions张 阅读(1260) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:28 Questions张 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:26 Questions张 阅读(764) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:22 Questions张 阅读(730) 评论(0) 推荐(0) 编辑
摘要:1 监控cron状态 正常开启的状态 2 检查执行日志,过滤自己配置的定时任务脚本关键字 有查询到前一天23点30分有执行清理Tomcat日志的脚本被执行过 3 自己的定时任务配置 阅读全文
posted @ 2019-01-28 12:12 Questions张 阅读(7641) 评论(0) 推荐(0) 编辑
摘要:1 Shell脚本案例 删除超过30天的日志文件 2 配置定时执行,每天23点30分执行一次 阅读全文
posted @ 2019-01-28 11:42 Questions张 阅读(1330) 评论(0) 推荐(0) 编辑
摘要:1 首先查询磁盘空间占用情况。 发现/根目录下面磁盘占用百分之一百 2 进入根目录,查询大文件与目录 3 然后不断执行上面的过程,进入大文件目录,定位大文件 4 最后找到是Tomcat下面logs日志占据了20多G文件,删除,重启Tomcat释放空间 阅读全文
posted @ 2019-01-28 11:28 Questions张 阅读(21479) 评论(0) 推荐(2) 编辑
摘要:1 下载源码包 赋予权限 2 安装Go语言 发现版本不对,直接去https://golang.org/dl/下载Mac下的pkg安装包 添加安装路径到path下 3 源码安装 4 然后测试安装是否成功 结果显示: SQL优化利器,简单方便实用。 阅读全文
posted @ 2019-01-27 12:48 Questions张 阅读(1212) 评论(0) 推荐(0) 编辑
摘要:1 下载源码 2 安装依赖环境 3 依赖libperconaserverclient_r 4 编译源码sqladvisor的依赖 5 编译sqladvisor 6 测试安装效果 使用说明详见GitHub地址 阅读全文
posted @ 2019-01-27 12:07 Questions张 阅读(724) 评论(0) 推荐(0) 编辑
摘要:1 下载源码包 赋予权限 2 安装Go语言 3 源码安装 4 然后测试安装是否成功 结果显示: SQL优化利器,简单方便实用。 阅读全文
posted @ 2019-01-27 11:58 Questions张 阅读(1164) 评论(0) 推荐(0) 编辑
摘要:1 详细错误信息 2 解决思路 A排除扫描Spring MVC的配置文件 聊天记录 B最后发现是类冲突导致的错误 阅读全文
posted @ 2019-01-24 09:48 Questions张 阅读(2120) 评论(0) 推荐(0) 编辑
摘要:1 ,错误原因,循环冗余检查 result.setNearUsers(userList); Page page = new Page(); page.setTotal(searchNearUser.getTotal()); page.setSize(userList.size()); page.se 阅读全文
posted @ 2019-01-24 09:42 Questions张 阅读(6609) 评论(0) 推荐(0) 编辑
摘要:每个bean对象 都应该有一个默认无参数的构造方法 负责查询的时候 通过反射的方式实例化的时候 就会抛出无法实例化的情况 阅读全文
posted @ 2019-01-24 09:40 Questions张 阅读(665) 评论(0) 推荐(0) 编辑
摘要:1 自己在windows上面copy过去的文件夹,在Mac下面无法查看 一开始以为是windows文件的权限问题,然后 自己赋予了everyone所有的权限,结果在Mac上面还是无法打开文件夹 2 最后解决问题 在Mac下面,get Info更多信息的选项卡里面,修改单个用户权限。 这样就解决了。 阅读全文
posted @ 2019-01-19 12:20 Questions张 阅读(539) 评论(0) 推荐(0) 编辑
摘要:[root@hdp1 /mnt/software/maxwell-1.19.4]#kafka-topics.sh --zookeeper hdp1,hdp2,hdp3:2181 --create --topic maxwell --partitions 6 --replication-factor 阅读全文
posted @ 2019-01-18 17:31 Questions张 阅读(6591) 评论(0) 推荐(0) 编辑
摘要:1 启动hbase的时候爆出警告 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0 查看配置文件 # Configure PermSize. 阅读全文
posted @ 2019-01-17 13:55 Questions张 阅读(10010) 评论(0) 推荐(0) 编辑
摘要:1解决iterm远程登录主机报错 -bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory 2 更改Mac本机的ssh_config,而不是更改服务器的 sudo vi / 阅读全文
posted @ 2019-01-16 14:10 Questions张 阅读(474) 评论(0) 推荐(0) 编辑
摘要:1 下载tar包 Download binary distro: https://github.com/zendesk/maxwell/releases/download/v1.19.4/maxwell-1.19.4.tar.gz 2 解压 tar -zvxf maxwell-1.19.4.tar. 阅读全文
posted @ 2019-01-15 14:48 Questions张 阅读(1315) 评论(0) 推荐(0) 编辑
摘要:ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)at kafka.network.Acceptor.openServerSoc 阅读全文
posted @ 2019-01-15 12:22 Questions张 阅读(10523) 评论(0) 推荐(2) 编辑
摘要:1 安装好连接好数据库,查询操作 注意黄色字体1 2 3 4 执行sql操作 阅读全文
posted @ 2019-01-15 10:48 Questions张 阅读(934) 评论(0) 推荐(0) 编辑
摘要:1 第一个问题 Unexpected version format: 10.0.2 Unexpected version format: 10.0.2 Unexpected version format: 10.0.2 Could not initialize class org.apache.ha 阅读全文
posted @ 2019-01-14 22:48 Questions张 阅读(1795) 评论(0) 推荐(0) 编辑
摘要:Error: SYSTEM:CATALOG (state=08000,code=101)org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG at org.apache.phoenix.util.ServerUtil.pars 阅读全文
posted @ 2019-01-14 19:00 Questions张 阅读(1765) 评论(0) 推荐(0) 编辑
摘要:1 启动hbase报错 hdp3: regionserver running as process 3170. Stop it first. 2 始终没有发现错误日志 3 jps没有发现hbase的regionserver进程 4 重启无数次,还是没有用 5最后 杀死3710进程 kill -9 3 阅读全文
posted @ 2019-01-14 18:48 Questions张 阅读(2916) 评论(0) 推荐(0) 编辑
摘要:#显示物理核心数sysctl hw.physicalcpu#显示逻辑核心数sysctl hw.logicalcpu 阅读全文
posted @ 2019-01-14 17:25 Questions张 阅读(950) 评论(0) 推荐(0) 编辑
摘要:1 解压文件 tar -zvxf kafka_2.11-0.10.0.0.tgz 2 修改配置server.properties vim server.properties broker.id=1 zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181 3 修 阅读全文
posted @ 2019-01-14 11:54 Questions张 阅读(934) 评论(0) 推荐(0) 编辑
摘要:1 my.cnf文件 配置 binlog_format = ROW log_bin_trust_function_creators=1 log-error = /usr/local/mysql/data/hostname.err log-bin = /usr/local/mysql/arch/mys 阅读全文
posted @ 2019-01-14 10:36 Questions张 阅读(294) 评论(0) 推荐(0) 编辑
摘要:1.解压及创建目录[root@hadoop39 local]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root@hadoop39 local]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql [ 阅读全文
posted @ 2019-01-13 13:20 Questions张 阅读(160) 评论(0) 推荐(0) 编辑
摘要:1 创建VPC网络 2 申请公网IP 3 回到VPC图形界面绑定公网ip 4 创建私有网络,并绑定私有网络 5 创建3台主机 6 新建防火墙,并绑定到VPC 7 配置VPC端口转发规则 8 添加防火墙下行规则 9 验证登陆信息 阅读全文
posted @ 2019-01-13 12:04 Questions张 阅读(680) 评论(0) 推荐(0) 编辑
摘要:Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一 阅读全文
posted @ 2019-01-07 16:41 Questions张 阅读(472) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示