摘要：
首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢？可以理解为是 阅读全文
|
摘要：
首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢？可以理解为是 阅读全文
摘要：
能干什么？ 文章去重，语句去重，提取关键词（文章摘要，页面指纹），图片识别，语音识别 想要做一个相似度，最重要的是什么？ 必须得到一个度量：计算个体之间的相似程度（分数，0-1之间，0代表完全不同，一代表完全一样） 相似度值越小，距离越大，相似度值越大，距离越小 两方面考虑： 文本角度 语义角度 例 阅读全文
摘要：
由于没具体研究过画图，以前在公司每天都用Excel，所以很多图画都是画在了Excel上再剪切的，看着可能不太舒服。 先来看一下数据走向： 这样我们就大致了解了flume是干嘛的，在什么位置了。 Flume简介： Apache Flume是一个分布式、可信任（事务性）的弹性系统，用于高效收集、汇聚和移 阅读全文
摘要：
经典组合： Flume+Kafka+Storm+HDFS/HBase Flume：分布式采集 Kafka：分布式缓存 Kafka简介： 一种分布式的、基于发布/订阅的消息系统（Scala编写的） Kafka特点： 1.消息持久化：通过O(1)的磁盘数据结构提供数据的持久化 Kafka严重依赖磁盘，但 阅读全文
摘要：
1.linux shell函数： 将一组命令集或语句形成一个可用的块，这些语句块成为函数。 2.shell 函数的组成： 函数名：函数的名字，注意一个脚本中函数名要唯一，否则会引起调用函数紊乱 函数体：函数内部命令的集合，实现一个业务的功能 3.shell 函数定义的格式： function 函数名 阅读全文
摘要：
shell程序流程控制的三大结构： 1. 顺序结构 2.选择结构 3.循环结构 顺序结构的定义： 顺序结构的程序设计是最简单的一种结构，它的执行顺序自上而下，依次执行，因此，我们只要按照解决问题的思路依次编写程序即可。 顺序结构程序编写流程： 1.编写脚本文件，以#！/bin/bash 2.编写业务 阅读全文
摘要：
test比较两个值： 测试比较两个值是linux中常用的比较运算，test命令可以进行对两个值的比较，如果比较成功则返回值为0，否则为非0 常用比较方法： ·1.整数比较 2.字符串比较 3.逻辑比较 与或非 4.文件比较 阅读全文
摘要：
shell的运算操作： let整数运算 expr整数运算 bc浮点运算 字符串运算 let命令： let命令让BASH shell 执行算数值的操作，使用let，可以比较两个值或执行加减乘除等这样的算数操作，这种操作经常用于shell程序中的控制流程结构或执行需要的运算，注意let命令只能执行整数的 阅读全文
摘要：
shell脚本中变量的定义和使用： 1.shell中变量名可以由字母，数字，下划线组成，但数字不能作为变量名的第一个字符。 2.通过赋值符号"="来定义一个变量 如：myname='galley' #字符串类型，不解析任何字符 courses="abcdef" #双引号内部会解析$和反斜杠特殊字符 阅读全文
摘要：
shell脚本的编写步骤 1.创建以.sh为扩展名的文件 touch 2.编辑脚本文件 vim 3.增加脚本文件执行权限 chmod 4.运行脚本文件 sh或者./ 编辑脚本文件需要注意的内容 1.第一行以“#！”开头，声明所使用的全路径 2.脚本中适量的加注释内容 注释的语法以“#”开头，“#”之 阅读全文
|