摘要: Scala Actor Model 概念理解 Actor Model是用来编写并行计算或分布式系统的高层次抽象(类似java中的Thread)让程序员不必为多线程模式下共享锁而烦恼,被用在Erlang 语言上, 高可用性99.9999999 % 一年只有31ms 宕机Actors将状态和行为封装在一 阅读全文
posted @ 2020-12-02 16:02 shaoyayu 阅读(115) 评论(0) 推荐(0) 编辑
摘要: Scala 隐式转换 隐式转换是在Scala编译器进行类型匹配时,如果找不到合适的类型,那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。 1.隐式值与隐式参数 隐式值是指在定义参数时前面加上implicit。隐式参数是指在定义方法时,方法中的部分参数是由implicit修饰【必须使用柯里化 阅读全文
posted @ 2020-12-02 16:01 shaoyayu 阅读(119) 评论(0) 推荐(0) 编辑
摘要: Scala Trait+Match+Case class+偏函数 trait 特性 概念理解 Scala Trait(特征) 相当于 Java 的接口,实际上它比接口还功能强大。 与接口不同的是,它还可以定义属性和方法的实现。 一般情况下Scala的类可以继承多个Trait,从结果来看就是实现了多重 阅读全文
posted @ 2020-12-02 15:59 shaoyayu 阅读(125) 评论(0) 推荐(0) 编辑
摘要: Scala 元组 元组定义 与列表一样,与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。 创建元组与取值 val tuple = new Tuple(1) 可以使用new val tuple2 = Tuple(1,2) 可以不使用new,也可以直接写成val 阅读全文
posted @ 2020-12-02 15:58 shaoyayu 阅读(320) 评论(0) 推荐(0) 编辑
摘要: Scala里面的Set与Map Set package icu.shaoyayu.scala /** * @author shaoyayu * @date 2020/7/26 11:15 * @E_Mail * @Version 1.0.0 * @readme : * set介绍 * */ obje 阅读全文
posted @ 2020-12-02 15:55 shaoyayu 阅读(161) 评论(0) 推荐(0) 编辑
摘要: Scala字符串与集合 package icu.shaoyayu.scala import scala.collection.mutable.{ArrayBuffer, ListBuffer} /** * @author shaoyayu * @date 2020/7/25 16:26 * @E_M 阅读全文
posted @ 2020-12-02 15:53 shaoyayu 阅读(277) 评论(0) 推荐(0) 编辑
摘要: Scala 中方法与函数 方法 package icu.shaoyayu.scala /** * @author shaoyayu * @date 2020/7/23 23:16 * @E_Mail * @Version 1.0.0 * @readme : */ object Lesson3 { d 阅读全文
posted @ 2020-12-02 15:52 shaoyayu 阅读(154) 评论(0) 推荐(0) 编辑
摘要: Scala 基础 数据类型 数据类型描述 Byte 8bit的有符号数字,范围在-128 -- 127 Short 16 bit有符号数字,范围在-32768 -- 32767 Int 32 bit有符号数字,范围-2147483648到2147483647 Long 64 bit有符号数字,范围- 阅读全文
posted @ 2020-12-02 15:50 shaoyayu 阅读(94) 评论(0) 推荐(0) 编辑
摘要: Scala 介绍与环境配置 Scala介绍 官方文档 Scala用一种简洁的高级语言将面向对象和函数式编程结合在一起。 Scala的静态类型有助于避免复杂应用程序中的错误,其JVM和JavaScript运行时使您可以轻松访问庞大的库生态系统来构建高性能系统。 Spark1.6中使用的是Scala2. 阅读全文
posted @ 2020-12-02 15:49 shaoyayu 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 与RMI 参考: https://my.oschina.net/huangyong/blog/345164 https://www.jianshu.com/p/d8ffa1ff0727 https://developer.ibm.com/zh/articles/os-cn-zoo 阅读全文
posted @ 2020-12-02 15:47 shaoyayu 阅读(176) 评论(0) 推荐(0) 编辑
摘要: Zookeeper java API 测试 pom <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> <dependency> <groupId>org.apache.zookeeper</group 阅读全文
posted @ 2020-12-02 15:46 shaoyayu 阅读(1353) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 安装与配置 我使用的是解压版的, 直接解压配置环境变量就行了,这里不对安装进行过多的描述 zook.cfg 在文件的/conf/下面的模板配置文件修改成zook.cfg 文件 # The number of milliseconds of each tick tickTime=2 阅读全文
posted @ 2020-12-02 15:44 shaoyayu 阅读(454) 评论(0) 推荐(0) 编辑
摘要: Zookeeper 架构 材料大部分来源于网上,我会备注网址 学习学习 推荐阅读:https://developer.ibm.com/zh/articles/os-cn-zookeeper/ 项目介绍 转至元数据结尾 由 Benjamin Reed创建, 最终由 Carlos D. Morales修 阅读全文
posted @ 2020-12-02 15:43 shaoyayu 阅读(313) 评论(0) 推荐(0) 编辑
摘要: HBase 优化 表优化 在使用List Put写入的时候可能会丢失一些数据,包括读写的时候都有可能存在丢书数据的情况 表切分 默认的表是存储再同一个Region上面的,当表太大的时候,表会自动的切分到其他的Region上面。 手动切分 # 手动的切分表名 >split ‘表名’ 这样当数据太大的时 阅读全文
posted @ 2020-12-02 15:40 shaoyayu 阅读(125) 评论(0) 推荐(0) 编辑
摘要: HBase 与 MapReduce 整合 phoenix.apache.org Mapreduce运行3种方式 本地方式运行: pc环境 1.1、将 Hadoop安装本地解压 1.2、配置 Hadoop的环境变量 添加%HADOOP_HOME% 修改%PATH%添加%HADOOP_HOME%/bin 阅读全文
posted @ 2020-12-02 15:39 shaoyayu 阅读(1111) 评论(0) 推荐(0) 编辑
摘要: 案例: 3、通话记录: 手机号 对方手机号 通话时长 时间 通话类型(主叫/被叫) 后续更新 阅读全文
posted @ 2020-12-02 15:37 shaoyayu 阅读(105) 评论(0) 推荐(0) 编辑
摘要: HBase数据库设计 题目: 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 2、组织架构 部门-子部门 查询 顶级部门 查询 每个部门的所有子部门 部门 添加、删除子部门 部门 添加、删除 3、通话记录: 手机号 对方手 阅读全文
posted @ 2020-12-02 15:36 shaoyayu 阅读(517) 评论(0) 推荐(0) 编辑
摘要: Fork/Join并发处理框架 学习材料来源于网络 如有侵权,联系删除 概念 ForkJoinPool是ExecutorService接口的实现,它专为可以递归分解成小块的工作而设计。fork / join框架将任务分配给线程池中的工作线程,充分利用多处理器的优势,提高程序性能。 使用fork / 阅读全文
posted @ 2020-12-02 15:20 shaoyayu 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 并发容器-队列 学习材料来源于网络 如有侵权,联系删除 Queue-队列数据结构的实现。分为阻塞队列和非阻塞队列。下列的蓝色区块,为阻塞队列特有方法。 分类 Queue 非阻塞队列 BlockingQueue 阻塞队列 ArrayBlockingQueue 示例1 package icu.shaoy 阅读全文
posted @ 2020-12-02 15:18 shaoyayu 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 并发容器Map 学习材料来源于网络 如有侵权,联系删除 HashMap 简单分析 在了解并发容器之前呢,我们先了解Hash,这一章节是基于个人理解中快速讲解的 我们先从Hash计算,到存储结构,再到源码分析,再到细节介绍 Hash计算 哈希算法(Hash)又称摘要算法(Digest),它的作用是:对 阅读全文
posted @ 2020-12-02 15:16 shaoyayu 阅读(136) 评论(0) 推荐(0) 编辑