上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 24 下一页
2020年8月4日
Parquet
摘要： Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件（例如CSV或TSV文件）相比，Apache Parquet旨在提供高效且高性能的扁平列式数据存储格式。 Parquet使用记录粉碎和组装算法，该算法优于嵌套名称空间的简单拼合。Parquet经过优化，可以批量处理复杂 阅读全文
posted @ 2020-08-04 15:47 独孤风 阅读(833) 评论(0) 推荐(0) 编辑
“/usr/bin/hdp-select”, line 226 print “ERROR: Invalid package – “ + name ^ SyntaxError: Missing parentheses in call to ‘print’. Did you mean print(“ERROR: Invalid package
摘要： spark-submit时报错 python升级3.7引起 恢复2.7正常 阅读全文
posted @ 2020-08-04 11:03 独孤风 阅读(773) 评论(0) 推荐(0) 编辑
用Spark进行实时流计算
摘要： Spark Streaming VS Structured Streaming Spark Streaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。 提供了基于RDDs的Dstream API，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算 Apache 阅读全文
posted @ 2020-08-04 08:51 独孤风 阅读(3207) 评论(0) 推荐(0) 编辑
2020年7月7日
什么是流处理
摘要： 流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴，它正在成为一种提供数据处理（包括批处理），实时应用乃至分布式事务的新方法的技术。 1、什么是流处理？ 流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。它只是形成一系列事件，这些 阅读全文
posted @ 2020-07-07 08:32 独孤风 阅读(6162) 评论(0) 推荐(1) 编辑
2020年7月3日
Plink v0.1.0 发布——基于Flink的流处理平台
摘要： Plink是一个基于Flink的流处理平台，旨在基于 [Apache Flink]封装构建上层平台。 提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。 Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存， 阅读全文
posted @ 2020-07-03 08:01 独孤风 阅读(1009) 评论(0) 推荐(0) 编辑
2020年6月29日
用户画像产品化——从零开始搭建实时用户画像(六)
摘要： 在开发好用户标签以后，如何将标签应用到实际其实是一个很重要的问题。只有做好产品的设计才能让标签发挥真正的价值，本文将介绍用户画像的产品化过程。 一、标签展示 首先是标签展示功能，这个主要供业务人员和研发人员使用，是为了更直观的看见整个的用户标签体系。 不同的标签体系会有不同的层级，那么这个页面的设计 阅读全文
posted @ 2020-06-29 08:18 独孤风 阅读(2515) 评论(1) 推荐(5) 编辑
2020年6月24日
用Python进行实时计算——PyFlink快速入门
摘要： Flink 1.9.0及更高版本支持Python，也就是PyFlink。 在最新版本的Flink 1.10中，PyFlink支持Python用户定义的函数，使您能够在Table API和SQL中注册和使用这些函数。但是，听完所有这些后，您可能仍然想知道PyFlink的架构到底是什么？作为PyFlin 阅读全文
posted @ 2020-06-24 08:34 独孤风 阅读(13431) 评论(1) 推荐(1) 编辑
2020年6月22日
Spark3.0分布，Structured Streaming UI登场
摘要： 近日，在Spark开源十周年之际，Spark3.0发布了，这个版本大家也是期盼已久。登录Spark官网，最新的版本已经是3.0。而且不出意外，对于Structured Streaming进行了再一次的加强，这样Spark和Flink在实时计算领域的竞争，恐怕会愈演愈烈。 Spark 3.0 主要的新 阅读全文
posted @ 2020-06-22 08:06 独孤风 阅读(957) 评论(0) 推荐(0) 编辑
2020年6月18日
在linux后台运行脚本的方法和命令
摘要： 后台运行脚本 执行脚本test.sh:./test.sh 中断脚本test.sh：ctrl+c 在1的基础上将运行中的test.sh，切换到后台并暂停：ctrl+z 执行ctrl+z后，test.sh在后台是暂停状态（stopped）,使用命令：bg number让其在后台开始运行（“number” 阅读全文
posted @ 2020-06-18 10:28 独孤风 阅读(2690) 评论(0) 推荐(0) 编辑
2020年6月17日
Scala Http请求工具类
摘要： import java.io.IOException import java.util import org.apache.http.client.ClientProtocolException import org.apache.http.client.entity.UrlEncodedFormE 阅读全文
posted @ 2020-06-17 15:58 独孤风 阅读(1802) 评论(0) 推荐(0) 编辑
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 24 下一页