摘要：
shell脚本练习示例 1.计算1到100的和 #!/bin/bashsum=0for i in `seq 1 100`;do sum=$[$i+$sum]doneecho $sum 2.输入一个数N,计算前n个数的和 #!/bin/bashsum=0for i in `seq 1 100`;do 阅读全文
摘要：
机器学习 一、线性回归 1.理解回归 主要关注确定一个唯一的因变量和一个或多个数值型的自变量 广义线性回归：逻辑回归、泊松回归 简单的线性回归：形如y=ax+b 2.梯度下降算法 先确定向下一步的步伐大小，称之learning rate 任意给定一个初始值 确定一个向下的方向，并向下走预先规定的步伐 阅读全文
摘要：
初识flink 一、认识flink 1、flink简介 flink是一个低延迟、高吞吐、统一的大数据计算引擎。 flink的计算平台可以实现毫秒级的延迟情况下，每秒钟处理上亿次的消息或者事件。 提供一个Exactly-once的一致性语义，保证了数据的正确性；使得flink大数据引擎可以提供金融级的 阅读全文
摘要：
kylin的认识 一、cubo和cudoid 1.维度和度量 数据分析领域中两个常用的概念。 维度 观察数据的角度，也就是数据记录的一个属性。 度量 基于数据所计算出来的考量值，通常是一个数据，例如销售额、不同的用户数量。 我们就是从不同的维度来审查度量值，以便我们分析找出其中的变化规律。 对于我们 阅读全文
摘要：
1.资源优化 部署spark集群中指定资源分配的默认参数 SPARK_WORKER_CORES 核数 SPARK_WORKER_MEMORY 内存大小 SPARK_WORKER_INSTANCES 每台机器启动worker数 在提交application时给当前的application分配更多的资源 阅读全文
摘要：
SparkStreaming 一.简介 1.sparkstreaming简介 sparkstreaming是流式处理框架,是sparkAPI的扩展,支持可扩展,高吞吐量.容错的准实时数据流处理 数据来源可以是:kafka,flume,Twitter,ZeroMQ或者TCP sockets,并且可以使 阅读全文
摘要：
数据仓库 一、什么是数据仓库 数据仓库,英文名称之为DataWarehouse,可以简写成DW或者DWH。 是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 它处于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进,监视时间、成本、质量以及控制。 二、数据仓 阅读全文
摘要：
正则表达式和插件 一.正则表达式 1.定义:正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。 正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。 正则表达式是繁琐的，但它是强大的，学会之后的 阅读全文
摘要：
HADOOP简介 一.大数据思维 1.什么是大数据思维 分而治之:把一个复杂的问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的中间结果，把各部分的中间结果组成整个问题的最终结果。 并行：提升速度的关键 分布式运行 计算与数据在一起 计算向数据移动 二.Hadoop 阅读全文
摘要：
一.设置虚拟机 1.克隆三台虚拟机 设置IP地址和主机名称 2.设置免密钥登录 三台虚拟机各自生成密钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 设置映射名称 vim hosts (etc 目录下) 将密钥互相拷贝给对方 ssh-copy-id root@no 阅读全文
摘要：
1.天气案列 1.1原始数据 1949-10-01 14:21:02 34c 1949-10-01 19:21:02 38c 1949-10-02 14:01:02 32c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:2 阅读全文
摘要：
MapReduce流程讲解 一.简介 对于用户来说只需要书写map操作和reduce操作 mapreduce计算数据的时间较长 整个过程分为map和reduce,map负责处理原始数据，reduce负责处理map数据 二.原理分析 1.map过程 block:块-->物理上的概念,默认是128M s 阅读全文
摘要：
一,简介 JSP：Java Server Page SUN 公司提供的 动态网页编程技术，是 Java Web 服务器端的 动态资源。它相比 html 而言，html 只能为用户提供静态数据，而 Jsp 技术允许在页面中嵌套 java 代码，为用户提供动态数据。相比 servlet 而言，servl 阅读全文
摘要：
过滤器和监听器 一.过滤器 1.简介 Filter 即为过滤，用于在 Servlet 之外对 Request 或者 Response 进行修改。它主要用于对用户请求进行预处理，也可以对 HttpServletResponse 进行后处理。使用 Filter 的完整流程： Filter 对用户请求进行 阅读全文
摘要：
初识服务器 一.XML简介 1. 标记语言 标记语言，是一种将文本（Text）以及文本相关的其他信息结合起来，展现出关于文档结构和数据处理细节的电脑文字编码。当今广泛使用的标记语言是超文本标记语言（HyperText Markup Language，HTML）和可扩展标记语言(Extensible 阅读全文
摘要：
jQuery jQuery 是一套兼容多浏览器的 javascript 脚本库. 核心理念是写得更少，做得更多， 使用 jQuery 将极大的提高编写 javascript 代码的效率,帮助开发者节省了大量的工作,让 写出来的代码更加优雅, 更加健壮，“如虎添翼”. 同时网络上丰富的 jQuery 阅读全文
摘要：
JS — 事件和 BOM 一.事件 事件(Event)是 JavaScript 应用跳动的心脏 ，进行交互，使网页动起来。当我们与浏览器 中 Web 页面进行某些类型的交互时，事件就发生了。事件可能是用户在某些内容上的点击、 鼠标经过某个特定元素或按下键盘上的某些按键。事件还可能是 Web 浏览器中 阅读全文
摘要：
一.JS的使用方式: 1、行内JS:写在html标签中的js代码 2、内部JS:写在<script type="text/javascript"></script>标签之间可以放在html中的任意位置，一般放在<head>标签中或<body>标签中或<body>标签后 3、外部JS:引入外部的js文 阅读全文
摘要：
一.简介 CSS（Cascade Style Sheets）层叠样式表, 是一种用来表现HTML（标准通用标记语言的一个应用）或XML（标准通用标记语言的一个子集）等文件样式的计算机语言。 CSS目前最新版本为CSS3，是能够真正做到网页表现与内容分离的一种样式设计语言。相对于传统HTML的表现而言 阅读全文
摘要：
一.MyBatis介绍 1.简介 MyBatis 是一个支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis 可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO（n Plain 阅读全文