上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 15 下一页
摘要: Spring事务 1)定义 事务是指多个操作单元组成的集合,多个操作单元是整体不可分割的,要么都成功,要么都不成功。必须遵守四个原则(ACID) ●原子性(Atomicity):即事务是不可分割的最小工作单元,事务内的操作要么全做,要么全不做; ●一致性(Consistency):在事务执行前数据库 阅读全文
posted @ 2019-05-08 16:31 技术小白丁 阅读(237) 评论(0) 推荐(0) 编辑
摘要: 一、Spring AOP简介(百度百科) 面向切面编程(也叫面向方面编程):Aspect Oriented Programming(AOP),是软件开发中的一个热点,也是 Spring 框架中的一个重要内容。利用 AOP 可以对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度 降低,提 阅读全文
posted @ 2019-05-08 16:29 技术小白丁 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 一、Spring IOC 简介 IOC(Inverse of control):控制反转,又称作依赖注入,主要是把创建对象和查找依赖对象的控制权交给IOC容器,由IOC容器管理对象的生命周期,是一种重要的面向对象编程的法则来消减计算机程序的耦合问题,是Spring框架的核心。 1、IOC例子说明 业 阅读全文
posted @ 2019-05-08 16:28 技术小白丁 阅读(275) 评论(0) 推荐(0) 编辑
摘要: Spark—RDD编程常用转换算子代码实例 Spark rdd 常用 Transformation 实例: 1、def map[U: ClassTag](f: T => U): RDD[U] 将函数应用于RDD的每一元素,并返回一个新的RDD 2、def filter(f: T => Boolean 阅读全文
posted @ 2019-05-08 10:53 技术小白丁 阅读(633) 评论(0) 推荐(0) 编辑
摘要: IDEA上搭建spark开发环境 我本地系统是windows10,首先IDEA上要安装了scala插件。 1、下载winutils.exe文件 winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的 阅读全文
posted @ 2019-05-08 10:48 技术小白丁 阅读(501) 评论(0) 推荐(0) 编辑
摘要: Spark—RDD 1、概念介绍 RDD(Resilient Distributed Dataset):弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 官方定义还是比较抽象,个人理解为:它本质就是一个类,屏蔽了底层对数据的复杂抽象和处理,为用 阅读全文
posted @ 2019-05-08 10:44 技术小白丁 阅读(677) 评论(0) 推荐(0) 编辑
摘要: Spark——local模式环境搭建 一、Spark运行模式介绍 1、本地模式(loca模式):spark单机运行,一般用户测试和开发使用 2、Standalone模式:构建一个主从结构(Master+Slave)的spark集群,spark运行在集群中。 3、Spark on yarn 模式:Sp 阅读全文
posted @ 2019-05-06 10:37 技术小白丁 阅读(3012) 评论(0) 推荐(0) 编辑
摘要: Spark版本:Spark-2.1.0 Hadoop版本:hadooop-2.6.0-cdh5.7.0 官方文档:http://spark.apache.org/docs/latest/building-spark.html 一、环境配置 安装并配置好JDK 安装并配置好MAVEN 安装并配置好SC 阅读全文
posted @ 2019-05-06 10:35 技术小白丁 阅读(347) 评论(0) 推荐(0) 编辑
摘要: Spark——初识spark 一、Spark背景 1)MapReduce局限性 <1>仅支持Map和Reduce两种操作,提供给用户的只有这两种操作 <2>处理效率低效 Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据 任务调度和启动开销大: mr的启动开销一,客户端需 阅读全文
posted @ 2019-05-06 10:34 技术小白丁 阅读(282) 评论(0) 推荐(0) 编辑
摘要: 一、慢查询分析(查询日志:所谓慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阀值,就将这条命令的相关信息(例如:发生时间,耗时,命令的详细信息)记录下来,Redis也提供了类似的功能。) Redis客户端执行一条命令分为如下4个部分:1)发送命令 2)命令排队 3)命令执行 4) 阅读全文
posted @ 2019-05-05 14:22 技术小白丁 阅读(379) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 15 下一页