摘要： 类 简单类 最简单的类的定义形式是： 最简单的类的定义形式是： 可以使用new关键字来生成对象 可以使用new关键字来生成对象 给类增加字段和方法 Unit后面的等号和大括号里面，包含了该方法要执行的具体操作语句 Unit后面的等号和大括号里面，包含了该方法要执行的具体操作语句 如果大括号里面只有一 阅读全文

摘要： 关键字 Lazy Scala中用lazy定义的变量叫惰性变量，会实现延迟加载；惰性变量只能是不可变变量，而且只有在调用惰性变量时，才会去实列化这个变量 Scala中用lazy定义的变量叫惰性变量，会实现延迟加载；惰性变量只能是不可变变量，而且只有在调用惰性变量时，才会去实列化这个变量 阅读全文

摘要： 数据结构 容器(Collection) Scala提供了一套丰富的容器（collection）库，包括列表 （List）、数组（Array）、集合（Set）、映射（Map）等 根据容器中元素的组织方式和操作方式，可以区分为有序 和无序、可变和不可变等不同的容器类别 Scala用了三个包来组织容器类， 阅读全文

摘要： 方法、函数、柯里化 方法 声明方法： 声明方法： 函数 函数声明 函数声明 方法转换为函数 柯里化 柯里化（Currying）是把接受多个参数的函数变换成接受一个单一参数(最初函数的第一个参数)的函数，并且返回接受余下的参数且返回结果的新函数的技术 声明方法 柯里化（Currying）是把接受多个参 阅读全文

摘要： 控制结构 if条件表达式 有一点与Java不同的是，Scala中的if表达式的值可以赋值给变量 有一点与Java不同的是，Scala中的if表达式的值可以赋值给变量 while循环 for循环 格式 格式 不希望打印出所有的结果，过滤出一些满足制定条件的结 果，需要使用到称为“守卫(guard)”的 阅读全文

摘要： 基本语法 声明值和变量 Scala有两种类型的变量： val：是不可变的（变量的引用不可变），在声明时就必须被初始化，而且初始化以后就不能再赋值； var：声明的时候需要进行初始化，初始化以还可以再对其赋值 val：是不可变的（变量的引用不可变），在声明时就必须被初始化，而且初始化以后就不能再赋值； 阅读全文

摘要： 自主producer、consumer 首先在不同的终端，分别开启两个consumer，保证groupid一致 ]# python consumer_kafka.py 执行一次producer ]# python producer_kafka.py 指定key的partition进行发送信息： fr 阅读全文

摘要： 单机版 开启进程： ./bin/kafka-server-start.sh config/server.properties 查看topic列表： ./bin/kafka-topics.sh --list --zookeeper localhost:2181 创建topic： ./bin/kafka 阅读全文

摘要： kafka 简介 Kafka是Linkedin于2010年12月份开源的消息系统 一种分布式的、基于发布/订阅的消息系统 ，另外提供数据分布式缓存功能 Kafka是Linkedin于2010年12月份开源的消息系统 一种分布式的、基于发布/订阅的消息系统 ，另外提供数据分布式缓存功能 特点 消息持久 阅读全文

摘要： Hive优化 目标：①横向增加并发，②纵向较少依赖 Map的优化 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size(=128) 是不是每个map处理接近文件块的大小？ 如何合并小文件，减少map数 set mapred.max.split.size=1000 阅读全文