摘要：
首先“表输出”连接数据库表 接着配置表输出的具体参数 阅读全文
摘要：
如果一个人没有听说过《重构》这本书，那么他一定不敢说自己是程序员；如果一个人没有阅读过《重构》这本书，那么很难想象他会是一名优秀的程序员。这本书是很多公司要求Java程序员必读的三本书之一（另外两本书是《Java编程思想》和《Effective Java》），其实无关编程语言，是程序员就能够从这本书 阅读全文
摘要：
网站的安全性战术分为：与抵抗攻击有关的战术、与检测攻击有关的战术以及从攻击中恢复有关的战术。 抵抗攻击 1.对用户身份验证。在用户登陆方面进行限制即可。 登录时候自定义的拦截器过滤器换成了基于SpringSecurity来做 在pom.xml中加入 <dependency> <groupId>org 阅读全文
摘要：
1、可用性： 刺激源:淘宝用户 刺激:淘宝网服务器崩溃 制品:淘宝网的处理器和服务器 环境:正常的登录操作 响应:显示登录过程的进度条或登录超时提醒或网络环境异常 响应度量:系统服务器后台启用降级模式，并且在30分钟内进行快速修复 2、可修改性： 刺激源:系统开发人员 刺激:首页界面的修改优化 制品 阅读全文
摘要：
1、共享变量之累加器 通常在向 Spark 传递函数时，比如使用map()函数或者用filter()传条件时，可以使用驱 动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本， 更新这些副本的值也不会影响驱动器中的对应变量。 下面这段scala程序读取文件的同时统计了空白行的 阅读全文
摘要：
在Spark中，一个应用（Application）由一个任务控制节点（Driver）和若干个作业（Job）构成，一个作业由多个阶段（Stage）构成，一个阶段由多个任务（Task）组成。当执行一个应用时，任务控制节点会向集群管理器（Cluster Manager）申请资源，启动Executor，并向 阅读全文
摘要：
基础代码： 1 //创建一个List 2 val lst0 = List(1,7,9,8,0,3,5,4,6,2) 3 //将lst0中每个元素乘以10后生成一个新的集合 4 val lst1 = lst0.map(_*10) 5 println(lst1) 6 7 //将lst0中的偶数取出来生成 阅读全文
摘要：
今天往虚拟机上安装了Scala和spark，下面说一下安装的一些过程和遇到的一些问题。 首先，根据网上的Hadoop3.2+Scala2.12.1+Spark2.3.3环境搭建教程：https://www.jianshu.com/p/82ad3e15545a 了解基本安装流程，由于之前已经安装好了v 阅读全文
摘要：
Spark的处理速度要比Hadoop快100倍以上。 Spark在批处理和流式处理上都具有极佳的性能。这是因为Spark使用了一种叫DAG的最佳调度，以及查询优化和物理执行引擎。 可以使用Java,Scala,Python,R,SQL快速写一个Spark应用。 Spark提供了超过80中操作使它更容 阅读全文