摘要：
云栖君导读：人工智能研究这个领域是有一定门槛的。对于初学者来说，一般通常的做法是直接购买一些热门的书籍，比如“西瓜书”、“花书”、“xx天从入门到精通”、“xx天从入门到放弃”等等，但大多数书籍都是讲的基础知识，稍显乏味和枯燥，此外内容太深奥，初学者可能看一段时间就想放弃了。本文作者以过来人的身份将 阅读全文
摘要：
shuffle概览 一个spark的RDD有一组固定的分区组成，每个分区有一系列的记录组成。对于由窄依赖变换（例如map和filter）返回的RDD，会延续父RDD的分区信息，以pipeline的形式计算。每个对象仅依赖于父RDD中的单个对象。诸如coalesce之类的操作可能导致任务处理多个输入分 阅读全文
摘要：
来源：培训每日谈 （peixunmeiritan） 作 者：张立志，专注学习设计和课程开发 看了一篇文章，说《一个人靠不靠谱，就看这三件小事》，文中提到： 我所理解的靠谱就是你把这事交给他之后完全不用操心后续，因为你知道他肯定能落实，就算没办好，也能及时给你一个回馈，这就叫靠谱。 而文章认为，一个人 阅读全文
摘要：
今天知识星球球友，微信问浪尖了一个spark源码阅读中的类型限定问题。这个在spark源码很多处出现，所以今天浪尖就整理一下scala类型限定的内容。希望对大家有帮助。 scala类型参数要点 1. 非变 trait Queue[T] {}?这是非变情况。这种情况下，当类型S是类型A的子类型，则Qu 阅读全文
摘要：
想当年读大学时，那时毛片还叫毛片，现在有文明的叫法了，叫小电影或者爱情动作片。那时宿舍有位大神，喜欢看各种毛片，当我们纠结于毛片上的马赛克时，大神大手一挥说道：这算啥，阅尽天下毛片，心中自然无码！突然想到我们在学习spark时，也可以有这种精神，当我们能读懂spark源码时，spark的技术世界也就 阅读全文
摘要：
Spark技术学院是什么？ 主要是浪尖，前腾讯现阿里的大神一起搞的知识分享基地，旨在帮助大家由入门到精通spark，hbase，kafka大数据重要的框架，还有给入门小白指点入门方法，分享入门资料，对这种有经验的主要是解决问题，分享深层次的只是，比如最近浪尖在逐步分享源码视频教程。 当然，目前团队成 阅读全文
摘要：
这是个老生常谈的话题，大家是不是看到这个文章标题就快吐了，本来想着手写一些有技术深度的东西，但是看到太多童鞋卡在入门的门槛上，所以还是打算总结一下入门经验。这种标题真的真的在哪里都可以看得到，度娘一搜就是几火车皮，打开一看都是千篇一律的“workcount”、“quickstart”，但是这些对于初 阅读全文
摘要：
hbase1.0.0版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资 阅读全文
摘要：
?/ 为什么需要 Yarn？ /? Yarn?的全称是?Yet Anther Resource Negotiator（另一种资源协商者）。它作为 Hadoop?的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn?最早出现于?Hadoop 0.23?分支中，0.23?分支是一个实 阅读全文
摘要：
Redis混合存储产品是阿里云自主研发的完全兼容Redis协议和特性的混合存储产品。 通过将部分冷数据存储到磁盘，在保证绝大部分访问性能不下降的基础上，大大降低了用户成本并突破了内存对Redis单实例数据量的限制。 其中，对冷热数据的识别和交换是混合存储产品性能的关键因素。 在Redis混合存储中， 阅读全文
摘要：
与RDD进行互操作 Spark SQL支持两种不同方法将现有RDD转换为Datasets。第一种方法使用反射来推断包含特定类型对象的RDD的schema。这种基于反射的方法会导致更简洁的代码，并且在编写Spark应用程序时已经知道schema的情况下工作良好。 第二种创建Datasets的方法是通过 阅读全文
摘要：
为什么你写的sql查询慢？为什么你建的索引常失效？通过本章内容，你将学会MySQL性能下降的原因，索引的简介，索引创建的原则，explain命令的使用，以及explain输出字段的意义。助你了解索引，分析索引，使用索引，从而写出更高性能的sql语句。还在等啥子？卷起袖子就是干！ 我们先简单了解一下非 阅读全文
摘要：
1.kafka消费者编程模型 分区消费模型 组(group)消费模型 1.1.1.分区消费架构图，每个分区对应一个消费者。 1.1.2.分区消费模型伪代码描述 指定偏移量，用于从上次消费的地方开始消费. 提交offset ，java客户端会自动提交的集群，所以这一步可选。 1.2.1.组消费模型架构 阅读全文
摘要：
好久没发过kafka的文章了，今天整理一下kafka-manager神器。 java环境要求 jdk8 kafkamanager源码下载 https://github.com/yahoo/kafka-manager/releases 编译 先修改sbt源，否则会报错，而且非常慢 在～/.sbt目录下 阅读全文
摘要：
一，架构介绍 生产中由于历史原因web后端，mysql集群，kafka集群(或者其它消息队列)会存在一下三种结构。 1，数据先入mysql集群，再入kafka 数据入mysql集群是不可更改的，如何再高效的将数据写入kafka呢？ A),在表中存在自增ID的字段，然后根据ID，定期扫描表，然后将数据 阅读全文
摘要：
浪尖的kafka源码系列以kafka0.8.2.2源码为例给大家进行讲解的。纯属个人爱好，希望大家对不足之处批评指正。 一，zookeeper在分布式集群的作用 1，数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是讲发布者将数据发布到zk节点上，共订阅者动态获取数据，实现配 阅读全文
摘要：
最近，浪尖在做flink的项目时source和sink的绑定那块用到了注解，当然新版本1.6以后就变为server load的方式加载。 但是浪尖也是觉得很有毕业讲一下注解，毕竟高级免试也会问答的吧。抗倒这篇文章不错，转发一下。 博主在初学注解的时候看到网上的介绍大部分都是直接介绍用法或者功能，没有 阅读全文
摘要：
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥 阅读全文
摘要：
关于这个标题的内容是面试笔试中比较常见的考题，大家跟随我的博客一起来学习下这个过程。 ? ? JAVA中的序列化和反序列化主要用于： （1）将对象或者异常等写入文件，通过文件交互传输信息； （2）将对象或者异常等通过网络进行传输。 ? ? 那么为什么需要序列化和反序列化呢？简单来说，如果你只是自己同 阅读全文
摘要：
为了方便大家交流Spark大数据，浪尖建了微信群，目前人数过多，只能通过浪尖或者在群里的朋友拉入群。纯技术交流，偶有吹水，但是打广告，不提醒，直接踢出。有兴趣加浪尖微信。 常量使用目的 1，为什么要将常亮提取出来？ 2，提取出来怎么定义，定义在interface中，还是class中？有什么区别？ 1 阅读全文