2020年5月7日

阿里，头条，美团，快手大数据开发岗面试总结
摘要： 从3月份开始，陆续面了阿里，头条，美团，快手四家公司的大数据开发岗位，近20场面试面下来挺耗费脑力的，不过结果还行，除了头条外，目前拿到了其他三家的offer，今天把还能记住的题目做个整理，整理是按技术分类的，因为确实记不太清哪一场问了哪些题了。 先说一下这几场面试的整体感受，头条和快手风格相似，每 阅读全文
posted @ 2020-05-07 10:53 XIAO的博客 阅读(7971) 评论(1) 推荐(2)

2020年1月19日

大数据风控系统概述
摘要： 为什么要做风控系统 不做的话，会有以下风险： 各种小号、垃圾账号泛滥 撞库攻击、盗号、毁号、拖库等 拉新 10w 留存率不到 5% 百万营销费用，却增加不了用户粘性 投票票数差距非常悬殊 各种榜单被垃圾账号占领 实物奖励被机器人领走 红包被秒抢 下单不付款占库存 虚拟占座 刷单炒信 …… 风控场景 阅读全文
posted @ 2020-01-19 10:13 XIAO的博客 阅读(4321) 评论(0) 推荐(2)

2020年1月8日

redis集群JedisCluster连接关闭问题
摘要： JedisCluster连接关闭问题 set方法为例 进入到set方法 类JedisCluster中； 初始化一个JedisClusterCommand对象，调用run方法； 需要实现一个execute方法，通过Jedis调用set方法（这里又回到单节点调用set的方式了）； 进入到run方法 类J 阅读全文
posted @ 2020-01-08 16:18 XIAO的博客 阅读(7686) 评论(0) 推荐(0)

2019年12月13日

调用rest api杀死yarn上的应用
摘要： 调用rest api杀死yarn上的应用 调用yarn reat api,通过app name 获取application id public static String getApplicationID(String appName){ String getAppsURL = "http://rm 阅读全文
posted @ 2019-12-13 17:43 XIAO的博客 阅读(2298) 评论(0) 推荐(0)

2019年11月1日

Spark Streaming任务延迟监控及告警
摘要： 概述 StreamingListener 是针对spark streaming的各个阶段的事件监听机制。 StreamingListener接口 自定义StreamingListener 功能：监控批次处理时间，若超过阈值则告警，每次告警间隔2分钟 应用 订阅关注微信公众号《大数据技术进阶》，及时获 阅读全文
posted @ 2019-11-01 14:42 XIAO的博客 阅读(2656) 评论(0) 推荐(0)

2019年10月29日

Apache Flink 入门示例demo
摘要： 在本文中，我们将从零开始，教您如何构建第一个Apache Flink （以下简称Flink）应用程序。 开发环境准备 Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机器上需要有 Java 8.x 和 maven 环境。 如 阅读全文
posted @ 2019-10-29 10:49 XIAO的博客 阅读(25442) 评论(3) 推荐(2)

2019年10月28日

阿里蒋晓伟谈计算引擎Flink和Spark的对比
摘要： 本文整理自云栖社区之前对阿里搜索事业部资深搜索专家蒋晓伟老师的一次采访，蒋晓伟老师，认真而严谨。在加入阿里之前，他曾就职于西雅图的脸书，负责过调度系统，Timeline Infra和Messenger的项目。而后在微软的SQL Server引擎担任过Principal Engineer，负责关系数据 阅读全文
posted @ 2019-10-28 11:12 XIAO的博客 阅读(14018) 评论(0) 推荐(0)

2019年10月25日

Flink实战| Flink+Redis实时防刷接口作弊
摘要： 随着人口红利的慢慢削减，互联网产品的厮杀愈加激烈，大家开始看好下沉市场的潜力，拼多多，趣头条等厂商通过拉新奖励，购物优惠等政策率先抢占用户，壮大起来。其他各厂商也紧随其后，纷纷推出自己产品的极速版，如今日头条极速版，腾讯新闻极速版等，也通过拉新奖励，阅读奖励等政策来吸引用户。 对于这类APP，实时风 阅读全文
posted @ 2019-10-25 13:04 XIAO的博客 阅读(2118) 评论(0) 推荐(0)

2019年10月19日

数据存储检索之B+树和LSM-Tree
摘要： 作为一名应用系统开发人员，为什么要关注数据内部的存储和检索呢？首先，你不太可能从头开始实现一套自己的存储引擎，往往需要从众多现有的存储引擎中选择一个适合自己应用的存储引擎。因此，为了针对你特定的工作负载而对数据库调优时，最好对存储引擎的底层机制有一个大概的了解。 今天我们就先来了解下关系型数据库My 阅读全文
posted @ 2019-10-19 16:33 XIAO的博客 阅读(1803) 评论(0) 推荐(1)

2019年10月16日

Kylin构建Cube过程详解
摘要： 1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的 阅读全文
posted @ 2019-10-16 13:36 XIAO的博客 阅读(1082) 评论(0) 推荐(0)
下一页

导航