摘要：
鉴于很多小白经常问我如何用idea提交任务到yarn，这样测试的时候不用频繁打包。 昨天，晚上健身回来录了一个小视频，说是小视频但是耗时也比较长，将近40min。可能是健身脱水太多，忘了补充盐分，无力感十足。 构建工程的命令： 这样做的目的是，为我接下来分享spark streaming视频做铺垫， 阅读全文
摘要：
“国际大学生节”又称“世界大学生节”、“世界学生日”、“国际学生日”。1946年，世界各国学生代表于布拉格召开全世界学生大会，宣布把每年的11月17日定为“世界大学生节”，以加强全世界大学生的团结和友谊。 注意，本文讨论的hive join优化器是从hive 0.11.0版本起添加的， 本文描述了H 阅读全文
摘要：
本来想祝大家节日快乐，哎，无奈浪尖还在写文章。谴责一下，那些今天不学习的人。对于今天入星球的人，今天调低了一点价格。减少了20大洋。机不可失失不再来。点击阅读原文或者扫底部二维码。 hive概述 Hive为Hadoop提供了一个SQL接口。 Hive可以被认为是一种编译器，它将SQL（严格来说，Hi 阅读全文
摘要：
1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 面对这些问题，我们能有哪些有效的优化手段呢？下面列出一些在工作有效可行的优化手段： 而接下来，我们心中应该会有一些疑问，影响性能的根源是什么？ 2.性能低下的根源 hive性能优化时，把HiveQL当做M/R程序来读， 阅读全文
摘要：
并行执行 本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务（转换/操作符、数据源和sinks）组成。任务被分成多个并行实例来执行，每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。 如果要使用保存点，还应该考虑设置最大并行性（或最大并行性）。当从保存点还原 阅读全文
摘要：
用SQL分析数据流 越来越多的公司在采用流处理技术，并将现有的批处理应用程序迁移到流处理或者为新的应用设计流处理方案。其中许多应用程序专注于分析流数据。分析的数据流来源广泛，如数据库交易，点击，传感器测量或物联网设备。 Apache Flink非常适合流式分析，因为它提供了事件时间语义支持，恰一次的 阅读全文
摘要：
云栖君导读：有时候我们操作数据库的时候不小心误删数据，这时候如何找回？mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢？ 数据保护 当误删数据发生时候，不管三七二十一，第一要务是进入hbase shell，执行 阅读全文
摘要：
Spark Streaming的back pressure 在讲flink的back pressure之前，我们先讲讲Spark Streaming的back pressure。Spark Streaming的back pressure出现的原因呢，我想大家应该都知道，是为了应对短期数据尖峰。Spa 阅读全文
摘要：
花名：越祈 部门：算法中心搜索策略组 入职时间：2017/06/01 主要从事蘑菇街推荐算法相关研发工作 蘑菇街是一家社会化导购电商平台，推荐一直是其非常重要的流量入口。在电商平台中，推荐的场景覆盖到用户浏览行为和交易的各个环节，如搜相似、商品详情页、购物车、订单和支付等。传统的itemCF、关联规 阅读全文
摘要：
本文主要是想聊聊flink与kafka结合。当然，单纯的介绍flink与kafka的结合呢，比较单调，也没有可对比性，所以的准备顺便帮大家简单回顾一下Spark Streaming与kafka的结合。 看懂本文的前提是首先要熟悉kafka，然后了解spark Streaming的运行原理及与kafk 阅读全文