06 2020 档案
摘要:在开发好用户标签以后,如何将标签应用到实际其实是一个很重要的问题。只有做好产品的设计才能让标签发挥真正的价值,本文将介绍用户画像的产品化过程。 一、标签展示 首先是标签展示功能,这个主要供业务人员和研发人员使用,是为了更直观的看见整个的用户标签体系。 不同的标签体系会有不同的层级,那么这个页面的设计
阅读全文
摘要:Flink 1.9.0及更高版本支持Python,也就是PyFlink。 在最新版本的Flink 1.10中,PyFlink支持Python用户定义的函数,使您能够在Table API和SQL中注册和使用这些函数。但是,听完所有这些后,您可能仍然想知道PyFlink的架构到底是什么?作为PyFlin
阅读全文
摘要:近日,在Spark开源十周年之际,Spark3.0发布了,这个版本大家也是期盼已久。登录Spark官网,最新的版本已经是3.0。而且不出意外,对于Structured Streaming进行了再一次的加强,这样Spark和Flink在实时计算领域的竞争,恐怕会愈演愈烈。 Spark 3.0 主要的新
阅读全文
摘要:后台运行脚本 执行脚本test.sh:./test.sh 中断脚本test.sh:ctrl+c 在1的基础上将运行中的test.sh,切换到后台并暂停:ctrl+z 执行ctrl+z后,test.sh在后台是暂停状态(stopped),使用命令:bg number让其在后台开始运行(“number”
阅读全文
摘要:import java.io.IOException import java.util import org.apache.http.client.ClientProtocolException import org.apache.http.client.entity.UrlEncodedFormE
阅读全文
摘要:方法: 切换root #sudo su 或是 #su root 输入下面指令: vim /etc/sysctl.conf 追加以下内容: vm.max_map_count=655360 保存后,执行: sysctl -p vm.max_map_count = 655360
阅读全文
摘要:elasticsearch安装后启动时候,遇到此问题 问题翻译过来就是:elasticsearch用户拥有的可创建文件描述的权限太低,至少需要65536; 解决办法: #切换到root用户修改 vim /etc/security/limits.conf 在最后面追加下面内容 *** hard nof
阅读全文
摘要:把elasticsearch目录换到不属于root目录的其他目录就行了
阅读全文
摘要:原因: 为了安全不允许使用root用户启动 解决: es5之后的都不能使用添加启动参数或者修改配置文件等方法启动了,必须要创建用户 问题: es安装好之后,使用root启动会报错:can not run elasticsearch as root [root@iZbp1bb2egi7w0ueys54
阅读全文
摘要: 数据接入 数据的接入可以通过将数据实时写入Kafka进行接入,不管是直接的写入还是通过oracle和mysql的实时接入方式,比如oracle的ogg,mysql的binlog ogg Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉、变换、投递。 通过OGG可以实时的将or
阅读全文
摘要:根据最新的统计显示,仅在过去的两年中,当今世界上90%的数据都是在新产生的,每天创建2.5万亿字节的数据,并且随着新设备,传感器和技术的出现,数据增长速度可能会进一步加快。 从技术上讲,这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且,许多用例(例如,移动应用广告,欺诈检测,出租车预订,病人
阅读全文
摘要: 本章我们开始正式搭建大数据环境,目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境,使用原生的方式搭建Flink,Druid,Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式,共同完成大数据环境的安装。 Ambari搭建底层大数
阅读全文