摘要: 《快学Scala》心得体会 1 基础 1.1 声明和定义 Val无法改变它的内容,实际上就是一个常量 Var 声明其值可变的变量 在scala中,与java不同的是,变量或函数的类型总是写在变量或函数名称的后面。 1.2 常用类型 Scala有7种数值类型:Byte、Char、Short、Int、L 阅读全文
posted @ 2019-09-17 17:43 ~清风煮酒~ 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 在idea中新建工程 删除新项目的src,创建moudle 在父pom中添加spark和scala依赖,我们项目中用scala开发模型,建议scala,开发体验会更好(java、python也可以) 在我们Moudle中配置打包插件 安装scala开发插件到idea 安装后重启 设置scalasdk 阅读全文
posted @ 2019-09-17 16:54 ~清风煮酒~ 阅读(1719) 评论(0) 推荐(0) 编辑
摘要: 原文链接 引言 本文整理自工作多年以来遇到的所有 Git 问题汇总,之前都是遗忘的时候去看一遍操作,这次重新整理了一下,发出来方便大家收藏以及需要的时候查找答案。 一、必备知识点 image.png image.png 仓库 二、git add 提交到暂存区,出错怎么办 一般代码提交流程为:工作区  阅读全文
posted @ 2019-09-17 16:53 ~清风煮酒~ 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 由于公司不允许使用外网,之前用的idea 15 安装了一次。但是idea15的提示不够友好,今天升级idea2017.3.2,同样又需要安装,那就写个教程吧。 网上其他的安装教程不通用,也是针对不同idea版本的。安装方法也适用其他idea plugins插件。 在有网略的地方访问下面的网址,按照流 阅读全文
posted @ 2019-09-17 16:44 ~清风煮酒~ 阅读(5421) 评论(0) 推荐(0) 编辑
摘要: 1.开始怀疑是 修改修复了 但是get时还是null 后来清理了 浏览器缓存 ok 阅读全文
posted @ 2019-09-17 16:41 ~清风煮酒~ 阅读(952) 评论(0) 推荐(0) 编辑
摘要: 如果公司有提供证书如: 拿到证书秘钥可直接在springboot 的配置文件中配置: 注意cert.pfx文件的位置 启动服务访问:这种只支持https访问ok; 如果要同时支持http自动转换为https(springboot2.x) springboot 1.5.x http://localho 阅读全文
posted @ 2019-09-17 16:40 ~清风煮酒~ 阅读(860) 评论(0) 推荐(0) 编辑
摘要: 关于idea的打包报错:Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\commons-beanutils-1.9.2.jar 先配置在run configuration 阅读全文
posted @ 2019-09-17 16:40 ~清风煮酒~ 阅读(2075) 评论(0) 推荐(0) 编辑
摘要: java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Tomcat].StandardHost[localh 阅读全文
posted @ 2019-09-17 16:38 ~清风煮酒~ 阅读(2313) 评论(0) 推荐(0) 编辑
摘要: 插入 Insert: image.png image.png 查看插入数据: image.png image.png Save: image.png image.png 现在有两条数据: image.png image.png 插入定义好的变量: image.png image.png 查看结果: 阅读全文
posted @ 2019-09-17 16:37 ~清风煮酒~ 阅读(193) 评论(0) 推荐(0) 编辑
摘要: ~~~<html><head> <script src="https://cdn.jsdelivr.net/npm/vue/dist/vue.js"></script></head><body><h4>声明式渲染 </h4><i>Vue.js 的核心是一个允许采用简洁的模板语法来声明式地将数据渲染进 阅读全文
posted @ 2019-09-17 16:33 ~清风煮酒~ 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 业务场景:当一行中有一个CheckBox被选中,则为此行添加class。 阅读全文
posted @ 2019-09-17 16:32 ~清风煮酒~ 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 1. 下载rabbitMq以及对应依赖 地址:http://www.rabbitmq.com/install-windows.html image.png image.png 2. 安装rabbitMq 安装完默认是启动 查看rabbitMq状态 安装完后进入对应的安装目录,执行rabbitmqct 阅读全文
posted @ 2019-09-17 16:30 ~清风煮酒~ 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 1. 简要概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的框架。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据,然后接受观察者的注册,一但这些数据的状态发生变化, Zookeeper就将负责通知已经在 Zo 阅读全文
posted @ 2019-09-17 16:28 ~清风煮酒~ 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步(hadoop完全分布式四)|9 阅读全文
posted @ 2019-09-17 16:27 ~清风煮酒~ 阅读(1100) 评论(0) 推荐(1) 编辑
摘要: 1.官方网址 http://spark.apache.org/ image.png image.png 2.点击下载 下载最新版本目前是(2.4.3)此spark预设为hadoop2.7或者更高版本,我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址:http://spark.apa 阅读全文
posted @ 2019-09-17 16:25 ~清风煮酒~ 阅读(4765) 评论(0) 推荐(0) 编辑
摘要: 当我们每个机器的时间都不一致时,假如有一个定时任务,定的10点启动执行。结果namenode十点了启动任务,可是分配到的执行节点DataNode才九点五十导致任务执行失败怎么办?这就需要将机器之间的时间保持一致 时间同步方式:找一台机器,作为时间服务器,所有的机器与这台机器的时间进行同步,如每隔十分 阅读全文
posted @ 2019-09-17 16:24 ~清风煮酒~ 阅读(380) 评论(0) 推荐(0) 编辑
摘要: HDFS背景 随着数据量的增大,在一个操作系统中内存不了了,就需要分配到操作系统的的管理磁盘中,但是不方便管理者维护,迫切需要一种系统来管理多态机器上的文件,这就是分布式文件管理系统。 HDFS的概念 HDFS英文hadoop distributed file system ,是一个分布式文件系统, 阅读全文
posted @ 2019-09-17 16:24 ~清风煮酒~ 阅读(714) 评论(0) 推荐(0) 编辑
摘要: 集群测试 上传小文件到集群,随便选择一个小文件上传到hdfs的根目录 验证是否上传成功,验证ok,Replication的3代表三个副本数 image.png image.png 上传一个大文件如我们的hadoop安装包 image.png image.png 查看每个文件在hdfs的副本情况和存储 阅读全文
posted @ 2019-09-17 16:23 ~清风煮酒~ 阅读(1404) 评论(0) 推荐(0) 编辑
摘要: linux机版本:centos7虚拟机工具版本:vmware121.查看虚拟时间 2.在vmware选择对应虚拟机右键 右键 右键 3.点击设置后,选择选项 勾选时间同步 勾选时间同步 4.在虚拟中输入如下命令 5.重启虚拟机 6.开机验证 阅读全文
posted @ 2019-09-17 16:22 ~清风煮酒~ 阅读(8017) 评论(1) 推荐(1) 编辑
摘要: 前置章节:hadoop集群namenode启动ssh免密登录(hadoop完全分布式五)|11 集群启动 配置workers(3.x之前是slaves), 删除localhost,添加102/103/104 注:workers文件结尾不能有空格,文件中不能有空行 同步workers到其他机器 验证是 阅读全文
posted @ 2019-09-17 16:20 ~清风煮酒~ 阅读(605) 评论(0) 推荐(0) 编辑