摘要:
摘要: 为了保证线程安全,在迭代器迭代的过程中,线程是不能对集合本身进行操作(修改,删除,增加)的,否则会抛出ConcurrentModificationException的异常。 示例: 1 public static void main(String[] args) { 2 Collection 阅读全文
摘要:
如果你想定义一个函数,而让它只接受和处理其参数定义域范围内的子集,对于这个参数范围外的参数则抛出异常,这样的函数就是偏函数(顾名思异就是这个函数只处理传入来的部分参数)。 偏函数是个特质其的类型为PartialFunction[A,B],其中接收一个类型为A的参数,返回一个类型为B的结果。 其有个重 阅读全文
摘要:
case类在模式匹配和actor中经常使用到,当一个类被定义成为case类后,Scala会自动帮你创建一个伴生对象并帮你实现了一系列方法且带来了不少好处,如下: 3.实现了类构造参数的getter方法(构造参数默认被声明为val),但是当你构造参数是声明为var类型的,它将帮你实现setter和ge 阅读全文
摘要:
1.在Scala中,变量或函数的类型总是写在变量或函数的名称的后面。 2.Scala并不区分基本类型和引用类型 3.定义常量用val,定义变量用var 通过val声明的只会生成getter,而var会生成setter,getter 4.java中的++ i和i ++在Scala里不起作用 5.参数化 阅读全文
摘要:
一旦用户的应用打包后,就可以使用bin/spark-submit脚本来启动,此脚本就会为Spark和它的依赖安排配置环境变量,还支持不同的集群管理和部署模式: 阅读全文
摘要:
先简单讲讲只用HBase来实现分页的思路: HBase利用scan来扫描表,通过startKey,stopKey来确定扫描范围,在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的行数使scan返回N条数据达到分页的目的(N为每页的记数),此时有以下两种方案达可以达到分页目的: 阅读全文
摘要:
Phoenix:Phoenix将SQL查询语句转换成多个scan操作,并编排执行最终生成标准的JDBC结果集。 Spring将数据库访问的样式代码提取到JDBC模板类中,JDBC模板还承担了资源管理和异常处理的工作,Phoenix作为JDBC驱动同样可以将其与Spring集成,提高开发效率。 具体操 阅读全文
摘要:
Phoenix--HBase的JDBC驱动 序列(Sequence)是Phoenix提供的允许产生单调递增数字的一个SQL特性,序列会自动生成顺序递增的序列号,以实现自动提供唯一的主键值。 使用CREATE SEQUENCE语句建立序列的语法如下: create sequence <deq_name 阅读全文
摘要:
最近在做web项目使用到了Hadoop,HBase,在这里对Spring For Hadoop(SHDP)的使用做个总结,主要使用了SHDP中提供的一些封装好的HBase模块。 Spring For Hadoop--Working With HBase的介绍 SHDP对HBase和Spring进行了 阅读全文
摘要:
Spring中Bean的生命周期过程:1.Spring对Bean进行实例化(相当于程序中的new Xx())2.Spring将值和Bean的引用注入进Bean对应的属性中3如果Bean实现了BeanNameAware接口,Spring将Bean的ID传递给setBeanName()方法(实现Bean... 阅读全文