摘要： spark读mysql 阅读全文

摘要： spark写hbase 阅读全文

摘要： spark读hbase 阅读全文

摘要： 1.背景 要求：每天凌晨1：00后开始每2min执行一次sql查询 2.作业编排 3.各模块配置 3.1 GenerateFlowFile 作用：用于产生flowfile，该flowfile内容为空。 主要配置如下其余默认配置： 3.2 UpdateAttribute 作用：给flowfile添加属 阅读全文

摘要： Processor(处理器)之配置 选择一个Processor，比如ExecuteSQL，从它的名字可以看出该处理器的功能就是去执行一个sql(当然是执行的该sql必须要有返回值的)，下面就以ExecuteSQL做示例说明，在画布上添加ExecuteSQL处理器，选中右键查看设置如图 1. conf 阅读全文

摘要： 一. NiFi介绍 Apache NiFi支持功能强大且可扩展的数据路由，转换和系统中介逻辑的有向图。 Apache NiFi的一些高级功能和目标包括： 基于Web的用户界面 设计，控制，反馈和监控之间的无缝体验 高度可配置 容忍损失与保证交付 低延迟与高吞吐量 动态优先级 可以在运行时修改流程 备 阅读全文

摘要： PyCharm连接远程服务器 1.Tools->Start SSH session 2.新建一个连接或者选择一个已经存在的sftp 3.选择Edit credentials 填写相关连接信息 4.选择配置过的sftp，连接上远程服务器 阅读全文

摘要： PyCharm进行远程开发 1.背景 在Windows开发Python或Web应用程序，但是它们最后需要在linux上面来运行 2.解决办法 2.1 使用PyCharm内置支持的Vagrant 2.2 通过PyCharm的远程解释器加上文件同步功能，实现本地编辑代码->同步到服务器->通过远程deb 阅读全文

摘要： 文件上传下载 1. 安装 yum -y install lrzsz (参数-y中"y"的意思是：当安装过程提示选择全部为"yes") 2.上传 第一种方式：rz（上传已存在的文件会失败） 第二种方式：Alt + p （cd destdir，cd到指定目录；然后拖拉方式上传） 3.下载（下载至默认路径 阅读全文

摘要： NLP文本相似度 相似度 相似度度量：计算个体间相似程度 相似度值越小，距离越大，相似度值越大，距离越小 最常用--余弦相似度：​ 一个向量空间中两个向量夹角的余弦值作为衡量两个个体之间差异的大小 余弦值接近1，夹角趋于0，表明两个向量越相似 如果向量a和b不是二维而是n维 ​ 相似度度量：计算个体 阅读全文