上一页 1 2 3 4 5 6 ··· 13 下一页
摘要: 编者按:本文是松子(李博源)的大数据平台发展史系列文章的第二篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆,对非互联网、互联网,从数据平台的用户角度、数据架构演进、模型等进行了阐述。 前言,本篇幅将进入大家熟知的互联网时代,数据平 阅读全文
posted @ 2019-07-12 17:59 天下尽好 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 编者按:本文是松子(李博源)的大数据平台发展史系列文章的第一篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆,对非互联网、互联网,从数据平台的用户角度、数据架构演进、模型等进行了阐述。 前言,这个数据平台发展史仅是自己经历过由传统数 阅读全文
posted @ 2019-07-12 17:58 天下尽好 阅读(572) 评论(0) 推荐(0) 编辑
摘要: 整体结构 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 数据中心整体架构.png DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写,用来 阅读全文
posted @ 2019-07-12 17:46 天下尽好 阅读(3351) 评论(0) 推荐(0) 编辑
摘要: 作为产品总监,要面对的群体和要做的事儿 面对的群体(三角关系) 1. 老板与投资人(为什么做?Why) 老板与投资人会指出大的方向,通常是描述大的赛道和市场机会,但是如何在这个市场里抓住机会,还需要再细化,当然有可能老板与投资人也会有分歧 2. 用户与市场(做什么?What) 知道赛道和方向在哪里了 阅读全文
posted @ 2019-07-09 18:42 天下尽好 阅读(1299) 评论(0) 推荐(1) 编辑
摘要: 本文首先详细介绍了数据工程的职责、与数据科学家之间的差别以及其不同的工作角色,然后重点列出了很多与核心技能相关的的优秀学习资源,最后介绍行业内认可度较高的3种数据工程认证。 简介 在建立模型之前,在数据经过清洗用于探索分析之前,甚至在数据科学家工作开始之前,数据工程师就已经闪亮登场了。每一个数据驱动 阅读全文
posted @ 2019-07-08 16:38 天下尽好 阅读(1168) 评论(0) 推荐(0) 编辑
摘要: 随着物联网技术和应用的普及,以运营商、互联网以及实体经济行业为代表的企业产生了越来越多的数据,大数据的发展越来越蓬勃。 从2007年开始,大数据应用成为很多企业的需求,2012年兴起并产生了大数据平台,使用者主要是程序员;2013年到2017年间,数据逐渐增多,大数据平台变成了融合大数据平台,使用者 阅读全文
posted @ 2019-07-08 12:19 天下尽好 阅读(1276) 评论(0) 推荐(0) 编辑
摘要: 近日,Ramesh Dontha 在 DataConomy 上连发两篇文章,扼要而全面地介绍了关于大数据的 75 个核心术语,这不仅是大数据初学者的很好的入门资料,对于高阶从业人员也可以起到查缺补漏的作用。本文分为上篇(25 个术语)和下篇(50 个术语)。机器之心对文章进行了编译,原文链接请见文末 阅读全文
posted @ 2019-07-01 16:04 天下尽好 阅读(1811) 评论(0) 推荐(0) 编辑
摘要: 务系统中来,各个业务系统的数据库服务器运行什么DBMS,是否存在手工数据,手工数据量有多大,是否存在非结构化的数据等等,当收集完这些信息之后才可以进行数据抽取的设计。 1、对于与存放DW的数据库系统相同的数据源处理方法 这一类数据源在设计上比较容易。一般情况下,DBMS(SQLServer、Orac 阅读全文
posted @ 2019-06-25 17:22 天下尽好 阅读(21212) 评论(1) 推荐(2) 编辑
摘要: 1.’对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 阅读全文
posted @ 2017-12-13 09:43 天下尽好 阅读(41878) 评论(1) 推荐(9) 编辑
摘要: 当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。 阅读全文
posted @ 2017-11-22 14:44 天下尽好 阅读(491) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 13 下一页