随笔分类 - 大数据
摘要：大数据作为一门偏实践类的学科，有没有可以提升自己简历含金量的证书呢？ 最近总有同学咨询大数据专业可以考的证书的问题。目前来看，大数据面试更注重的是工作经验，以及对大数据专业知识的掌握程度。大数据是一门特别注重实践的学科，所以还是建议大家将实践放在首位，在本地搭好大数据集群好好的练一练。 当然，如果是
阅读全文
摘要：对于大数据学习而言，Linux运维可以说是必备的技能。可以不研究的过于高深，但是基本的操作和使用一定要熟练。Linux的学习需要大量的实践，本文从linux的基本知识，实战操作，到常用的指令与软件安装等都有总结。 也是为了在掌握Linux的同时，也为今后的大数据学习做好准备。文章较长，建议收藏。 相
阅读全文
摘要：近日华为发布了《智能世界2030》报告，探索未来十年的趋势。华为汪涛以“无界探索,翻开未来”为主题演讲。本文带大家来看一下这份124页的报告主要讲了什么内容，同时也关注下和大数据发展的关系。 报告全文从医、食、住、行、城市、企业、能源和数据可信等八个领域展望了2030年一些可能的变化，引用了一些预测
阅读全文
摘要：大数据迅速发展，但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍，虽然有一些组件已经不太常用。但是理解第一批组件的相关知识对于以后的学习很有帮助，未来的很多组件也借鉴了之前的设计理念。 文章较
阅读全文
摘要：个人非常喜欢这种说法，最后一公里不是说目标全部达成，而是把整个路程从头到尾走了一遍。 大数据在经过前几年的野蛮生长以后，开始与数据中台的概念一同向着更实际的方向落地。有人问，数据可视化是不是等同于数据大屏。数据大屏是数据可视化的一部分，其承载更多的是展示与监控的功能。 而真正对业务产生影响的，确是比
阅读全文
摘要：过去的相当长的一段时间里，商用对象存储占据了市场上的大量的份额。国外的Amazon S3，国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖（包括结构化和非结构化数据）已经成为了越来越多公司的目标。那么Hadoop还能满足我们的要求吗？还是我们需要更多的选择？ 存储方案 如图所示
阅读全文
摘要：本系列文章基于Superset 1.3.0版本。1.3.0版本目前支持分布，趋势，地理等等类型共59张图表。本次1.3版本的更新图表有了一些新的变化，而之前也一直没有做过非常细致的图表教程。 而且目前可以参考的资料有限，大部分还需要自己探索。所以本系列文章将对这59张图表的使用做一个整理。 Supe
阅读全文
摘要：1、什么是数据湖？ 数据湖是一种技术系统，可以大批量并且廉价的分析结构化和非结构化数据资产。 其实很简单，数据湖的最大魅力在于可以分析一切类型的数据。 自 2010 年首次提出“数据湖”一词以来，采用数据湖架构的组织数量呈指数级增长。 它们支持多种分析功能，从数据的基本 SQL 查询到实时分析，再到
阅读全文
摘要：（二）Superset 1.3图表篇——Time-series Table 本系列文章基于Superset 1.3.0版本。1.3.0版本目前支持分布，趋势，地理等等类型共59张图表。本次1.3版本的更新图表有了一些新的变化，而之前也一直没有做过非常细致的图表教程。 而且目前可以参考的资料有限，大部
阅读全文
摘要：今天被朋友圈刷屏了，StarRocks开源——携手未来，星辰大海！ 原文链接:StarRocks开源——携手未来，星辰大海！ 可能大家对StarRocks不太熟悉，但是DorisDB想必都是听说过的。 在过去相当长的一段时间，对于ClickHouse 与 DorisDB的性能之争一直经久不息。 对于
阅读全文
摘要：本系列文章基于Superset 1.3.0版本。1.3.0版本目前支持分布，趋势，地理等等类型共59张图表。本次1.3版本的更新图表有了一些新的变化，而之前也一直没有做过非常细致的图表教程。 而且目前可以参考的资料有限，大部分还需要自己探索。所以本系列文章将对这59张图表的使用做一个整理。 Supe
阅读全文
摘要：近期Superset发布了新的版本1.3.0，此版本专注于提升用户体验。并进行了大量的改进与错误修复。 用户体验 此版本的一个主要目标是改进仪表盘原生过滤器。这些过滤器的级别为仪表盘级别,而不是图表级别。并影响仪表盘内其范围内的所有图表。 过滤器也可以设置为折叠加载，这也改进了缩略图和警报功能。 对
阅读全文
摘要：前言 近几年来数据的量级在疯狂的增长，由此带来了系列的问题。作为对人工智能团队的数据支撑，我们听到的最多的质疑是 “正确的数据集”，他们需要正确的数据用于他们的分析。我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。 也就是
阅读全文
摘要：前文中，我们已经在windows环境进行了superset的安装，也对图表功能进行了展示。但是在平时使用以及生产环境中，还是需要在centos环境下进行操作。 本文将带大家详解在centos7环境进行apache superset安装的全过程。 参考文档： https://superset.apac
阅读全文
摘要：hive中设置 set hive.exec.dynamici.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;
阅读全文
摘要：解决 分区需要指定分区 insert into table XXX partition（分区=''）
阅读全文
摘要：工欲善其事必先利其器，在经过大量的理论学习以后，需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境，在家也可以随意的练习。而自学大数据的同学，也可以进行本地练习，大数据是一门偏实践的学科，在找工作之前进行一些实践操作，也更利于对大数据知识的理解。 本文将从头开始详细的记录整个大数据
阅读全文
摘要：通过之前章节的学习，我们已经成功地安装了superset，并且连接mysql数据库，可视化了王者英雄的数据。使用的是最简单Table类型的图表，但是superset还支持非常多的图表类型。 本文我们将对各种图表类型进行逐一的演示，文章较长，建议收藏后阅读。 图表分类 Superset提供了大量的图表
阅读全文
摘要：上一篇我们已经成功的安装了superset，那么该如何可视化我们的数据呢？本文将可视化王者英雄的数据，快速的入门Superset。 一、连接数据源 首先确保mysql可以正常连接使用，并且准备好数据。 登录进入superset，选择Databases 点击右上方+号，新建数据库 superset是通
阅读全文
摘要：Apache Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 近日推出了全新的 1.2.0版本，本教程也就从头开始讲解Apache Superset的使用。
阅读全文
