03 2018 档案
摘要：一、概述 1.什么是spark 从官网http://spark.apache.org/可以得知： Apache Spark™ is a fast and general engine for large-scale data processing. 主要的特性有： Speed：快如闪电（HADOOP
阅读全文
摘要：一、概述 1.什么是akka Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。 更多入门的基础与介绍，参考：https://www.iteblog.com/archives/1154.html
阅读全文
摘要：注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。 Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃 一、概述 1.什么是actor Scala的Actor类似于Java中的多线程编程。但是不同的是，Sca
阅读全文
摘要：一、 类、对象、继承、特质 1.类 Scala的类与Java、C++的类比起来更简洁 定义： 当然，变量和Java一样可以进行访问控制： //对象私有字段,访问权限更加严格的，Person类的方法只能访问到当前对象的字段 private[this] val pet = "小强" 构造器： 2.对象
阅读全文
摘要：一、基础语法 1.变量类型 // 上表中列出的数据类型都是对象，也就是说scala没有java中的原生类型。在scala是可以对数字等基础类型调用方法的。 2.变量声明——能用val的尽量使用val！！！ 3.条件表达式 常规判断 4.块表达式 5.循环 to是闭区间；until是左闭右开 6.方法
阅读全文
摘要：一、安装插件 见Scala入门篇 二、新建项目 选择new project，其中SBT相当于精简版的maven，其他的待补充。这里选择IDEA 填写信息，选择Scala SDK 在src目录下新建Scala Class，类型可以选择Class——普通类、Object——静态的、Trait——特指的，
阅读全文
摘要：一、RC版本 RC：(Release Candidate) Candidate是候选人的意思，用在软件上就是候选版本。Release是发行、发布的意思。Release.Candidate.就是发行候选版本。和Beta版最大的差别在于Beta阶段会一直加入新的功能，但是到了RC版本，几乎就不会加入新的
阅读全文
摘要：一、概述 1.什么是scala Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。 官网：http://www.scala-lang.org/ scala 特性： 面向对象特性、 函数式
阅读全文
摘要：一、概述 相关redis的概述，参见Nosql章节 redisTemplate的介绍，参考：http://blog.csdn.net/ruby_one/article/details/79141940 StringRedisTemplate作为RedisTemplate的子类，只支持KV为Strin
阅读全文
摘要：一、推荐系统概述 为了解决信息过载和用户无明确需求的问题，找到用户感兴趣的物品，才有了个性化推荐系统。其实，解决信息过载的问题，代表性的解决方案是分类目录和搜索引擎，如hao123，电商首页的分类目录以及百度，360搜索等。不过分类目录和搜索引擎只能解决用户主动查找信息的需求，即用户知道自己想要什么
阅读全文
摘要：尴尬的发现，今天才开始使用win10的手势，之前都是单指操作/笑哭 参考：http://www.sohu.com/a/63678223_230077 https://support.microsoft.com/zh-cn/help/4027871/windows-10-touchpad-gestur
阅读全文
摘要：一、介绍 lombok是一个可以通过注解来简化许多繁琐的get、set以及构造函数等的工具。它可以让我们在代码编写的时候省去代码，而在编译生成的字节码中生成相应的字节码！ 官网：https://projectlombok.org/ 相关介绍，参照features 但是也是有缺点的，得到了代码优雅的同
阅读全文
摘要：一、概述 1.python是什么 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 因为Python是解释型语言，你的代码在执行时会一行一行地翻译成CPU能理解的机器码
阅读全文
摘要：一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品
阅读全文
摘要：一、kafka文件存储机制 1.topic存储 在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。 以上面创建的t
阅读全文
摘要：一、kafka常用命令 1.创建topic bin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181 // 如果配置了PATH可以省略相关命令路径
阅读全文
摘要：一、概述 1.kafka是什么 根据标题可以有个概念：kafka是storm的上游数据源之一，也是一对经典的组合，就像郭德纲和于谦 根据官网：http://kafka.apache.org/intro 的解释呢，是这样的： Apache Kafka® is a distributed streami
阅读全文
摘要：一、集群提交任务流程分析 1.集群提交操作 参考：https://www.jianshu.com/p/6783f1ec2da0 2.任务分配与启动流程 参考：https://www.cnblogs.com/heitaok/p/5531535.html 二、相关目录树 1.组件本地目录树 2.stor
阅读全文
摘要：一、常用命令 1.提交命令 2.杀死任务 3.停用任务 4.启用任务 5.重新部署任务 更多命令，参考：http://blog.csdn.net/u010003835/article/details/52123807 完整命令，参考官网文档：http://storm.apache.org/relea
阅读全文
摘要：一、概述 今天起就正式进入了流式计算。这里先解释一下流式计算的概念 离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度
阅读全文
摘要：一、功能简述 1.笔记本管理（增删改） 2.笔记管理 3.共享笔记查询功能 4.回收站 效果预览： 二、库表设计 1.设计理念 将云笔记信息分别存储在redis和hbase中。 redis（缓存）：存储每个用户的笔记本信息 hbase（持久层）：存储用户的笔记本信息、笔记本下的笔记列表、笔记具体信息
阅读全文
摘要：一、基本原理 1.hbase的位置 上图描述了Hadoop 2.0生态系统中的各层结构。其中HBase位于结构化存储层，HDFS为HBase提供了高可靠性的底层存储支持， MapReduce为HBase提供了高性能的批处理能力，Zookeeper为HBase提供了稳定服务和failover机制，Pi
阅读全文
摘要：一、hbase数据模型 完整的官方文档的翻译，参考：https://www.cnblogs.com/simple-focus/p/6198329.html 1.rowkey 与nosql数据库们一样,row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个r
阅读全文
摘要：一、概述 1.什么是Hbase 根据官网：https://hbase.apache.org/ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. HBASE是一个高可靠性、高性能、面向列、可伸缩
阅读全文
