1.8学习进度

今日学习2h

主要通过钉钉上一级的直播回放学习scala语言

进行了scala的安装配置一级scala的一些基本语法

常见的数据处理方式：

1-离线计算

2-流式计算

2-实时计算

 

 

企业中常用的技术点：

 

1-文件存储： hdfs  Tachyon[基于内存]

 

2-离线计算：  MapReduce\ Spark-SQL\hive\Flink

 

3-流式计算、实时计算：strom sparkString  Spark-core Flink

 

4-NoSQL:数据库 Hbase Redis MongoDB

 

5-资源管理： yarn Mesos

 

6-日志收集：flume logstash kibana

 

7-消息系统[mq]: kafka  StromMQ

 

8-查询分析工具： hive\ sqpakSQL\Flink

 

9-分布式的协调服务： zookeeper

 

1-数据挖掘、机器学习：Spark-Mllid 

 

 

学了if else for dowhile while

方法和函数是不一样的。函数定义用val 。方法定义用def。

函数可以作为参数调用

 

因为例子和视频上一起来的所以没有保存下来