摘要：
由于公司不允许使用外网，之前用的idea 15 安装了一次。但是idea15的提示不够友好，今天升级idea2017.3.2，同样又需要安装，那就写个教程吧。 网上其他的安装教程不通用，也是针对不同idea版本的。安装方法也适用其他idea plugins插件。 在有网略的地方访问下面的网址，按照流 阅读全文
摘要：
1.开始怀疑是 修改修复了 但是get时还是null 后来清理了 浏览器缓存 ok 阅读全文
摘要：
如果公司有提供证书如： 拿到证书秘钥可直接在springboot 的配置文件中配置： 注意cert.pfx文件的位置 启动服务访问：这种只支持https访问ok; 如果要同时支持http自动转换为https（springboot2.x） springboot 1.5.x http://localho 阅读全文
idea打包报错Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\...
摘要：
关于idea的打包报错：Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\commons-beanutils-1.9.2.jar 先配置在run configuration 阅读全文
摘要：
java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Tomcat].StandardHost[localh 阅读全文
摘要：
插入 Insert: image.png image.png 查看插入数据： image.png image.png Save: image.png image.png 现在有两条数据： image.png image.png 插入定义好的变量： image.png image.png 查看结果： 阅读全文
摘要：
~~~<html><head> <script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script></head><body><h4>声明式渲染 </h4><i>Vue.js 的核心是一个允许采用简洁的模板语法来声明式地将数据渲染进 阅读全文
摘要：
业务场景:当一行中有一个CheckBox被选中，则为此行添加class。 阅读全文
摘要：
1． 下载rabbitMq以及对应依赖 地址：http://www.rabbitmq.com/install-windows.html image.png image.png 2． 安装rabbitMq 安装完默认是启动 查看rabbitMq状态 安装完后进入对应的安装目录，执行rabbitmqct 阅读全文
摘要：
1. 简要概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的框架。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据,然后接受观察者的注册,一但这些数据的状态发生变化, Zookeeper就将负责通知已经在 Zo 阅读全文
摘要：
1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 阅读全文
摘要：
1.官方网址 http://spark.apache.org/ image.png image.png 2.点击下载 下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址：http://spark.apa 阅读全文
摘要：
当我们每个机器的时间都不一致时，假如有一个定时任务，定的10点启动执行。结果namenode十点了启动任务，可是分配到的执行节点DataNode才九点五十导致任务执行失败怎么办？这就需要将机器之间的时间保持一致 时间同步方式：找一台机器，作为时间服务器，所有的机器与这台机器的时间进行同步，如每隔十分 阅读全文
摘要：
HDFS背景 随着数据量的增大，在一个操作系统中内存不了了，就需要分配到操作系统的的管理磁盘中，但是不方便管理者维护，迫切需要一种系统来管理多态机器上的文件，这就是分布式文件管理系统。 HDFS的概念 HDFS英文hadoop distributed file system ，是一个分布式文件系统， 阅读全文
摘要：
集群测试 上传小文件到集群，随便选择一个小文件上传到hdfs的根目录 验证是否上传成功，验证ok,Replication的3代表三个副本数 image.png image.png 上传一个大文件如我们的hadoop安装包 image.png image.png 查看每个文件在hdfs的副本情况和存储 阅读全文
摘要：
linux机版本：centos7虚拟机工具版本：vmware121.查看虚拟时间 2.在vmware选择对应虚拟机右键 右键 右键 3.点击设置后，选择选项 勾选时间同步 勾选时间同步 4.在虚拟中输入如下命令 5.重启虚拟机 6.开机验证 阅读全文
摘要：
前置章节：hadoop集群namenode启动ssh免密登录（hadoop完全分布式五）|11 集群启动 配置workers(3.x之前是slaves)， 删除localhost，添加102/103/104 注：workers文件结尾不能有空格，文件中不能有空行 同步workers到其他机器 验证是 阅读全文
摘要：
前置章节：hadoop集群配置同步（hadoop完全分布式四）|10 启动namenode之前： 1. 先查看有无节点启动，执行jps查看，有的话停掉 2. 删除每个机器上之前运行的data和logs文件 启动namenode 格式化namenode执行命令和执行成功的部分日志 启动102的name 阅读全文
摘要：
前置配置：rsync远程同步|xsync集群分发(hadoop完全分布式准备三）|9 1. 分布式集群分配原则 部署分配原则 部署分配原则 说明Namenode和secondarynamenode占用内存较大，建议两个分开。我们的环境都是本地虚拟机，部署在一起内存不够。Resourcemanager 阅读全文
摘要：
canal是阿里巴巴的来源项目。我们可以通过配置binlog实现数据库监控，得到数据库表或者数据的更新信息。参考我的文档前先去官网看下，可能已经支持更高版本的MySQL了 1. 查看官方开源项目 https://github.com/alibaba/canal 2. 下载最新的canal.deplo 阅读全文
摘要：
前置环境准备：centos7克隆ip|机器名|映射关系|别名配置（hadoop完全分布式准备一）scp命令copy文件和配置(hadoop完全分布式准备二) rsync远程同步工具 优点 rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用 rs 阅读全文
摘要：
机器的克隆参考centos7克隆ip|机器名|映射关系|别名配置（hadoop完全分布式准备一） 那么问题来了，如果我们有30台机器，之间可以互相访问，那我们如何快速安装配置环境如jdk hadoop等？可通过scp命令将配置、下载好的工具等直接copy到我们新的机器上就可以了。 scp(secur 阅读全文
摘要：
hadoop完全分布式准备工作 克隆默认基础虚拟机三台102/103/104目标：在win10主机上能连上这三台机器，三台机器之间可以互相ping通，用机器名也可ping通。基础虚拟机：创建了文件opt/modle，/opt/software添加了普通用户shaozhiqi（和root权限同级别）基 阅读全文
摘要：
大数据 大数据简要概念 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。需要新处理模式，才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据作用 主要解决：通过对海量数据的存储和分析计算，找出其中的价值。 数据单位 按顺序给出数据存储单位:b 阅读全文
摘要：
伪分布模式hdfs 1.启动hsfs 2. 编辑vi hadoop-env.sh image.png image.png image.png image.png 3.配置nameNode和生产文件第地址 指定HDFS中NameNode的地址 4.指定HDFS的副本数 只有一个节点的话相同数据只存放一 阅读全文
摘要：
前提步骤安装Hadoop，安装步骤: https://www.jianshu.com/p/2ce9775aeb6e 单节点案例官方文档地址：http://hadoop.apache.org/docs/r3.1.2/ 配置非常重要 配置非常重要 单节点的案例 可以看到有三项，本地单节点，伪分布式，完全 阅读全文
摘要：
1. 查看主机名，三个命令都可以 # hostname # uname -n # cat /proc/sys/kernel/hostname 2. 使用 vi /etc/hostname 文件 修改为Hadoop100 3. 设置主机名及IP映射 vi 编辑器打开vi /etc/hosts 文件 在 阅读全文
摘要：
NAT的静态ip设置并且修改网卡名为eth0 1 cd /etc/sysconfig/network-scripts/ mv eno16777736 ifcfg-eth0 #修改名称 vi eth0 #编辑 NAME=eth0 #修改为eth0 DEVICE=eth0 #修改eth0 :wq! #保 阅读全文
摘要：
安装JDK 下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择最新版本： 下载hadoop 官网：https://hadoop.apache.org/release 阅读全文
摘要：
复合类型构建操作 1. Map类型构建: map 语法: map (key1, value1, key2, value2, …) 说明：根据输入的key和value对构建map类型 举例： hive> Create table lxw_test as select map('100','tom',' 阅读全文