2018年4月12日
浅谈数据仓库的基本架构
摘要： 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入 阅读全文
posted @ 2018-04-12 10:26 可可的私房菜 阅读(5666) 评论(0) 推荐(0) 编辑
python中的GIL详解
摘要： GIL是什么 首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同 阅读全文
posted @ 2018-04-12 09:08 可可的私房菜 阅读(71198) 评论(14) 推荐(32) 编辑
2018年4月10日
ML入门理论
摘要： http://www.mamicode.com/info-detail-1707941.html 阅读全文
posted @ 2018-04-10 14:26 可可的私房菜 阅读(333) 评论(0) 推荐(0) 编辑
2018年3月29日
presto架构和原理
摘要： Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业 阅读全文
posted @ 2018-03-29 09:01 可可的私房菜 阅读(1556) 评论(0) 推荐(0) 编辑
SQL数据分析概览——Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto+druid
摘要： 转自infoQ！ 根据 O’Reilly 2016年数据科学薪资调查显示，SQL 是数据科学领域使用最广泛的语言。大部分项目都需要一些SQL 操作，甚至有一些只需要SQL。 本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calci 阅读全文
posted @ 2018-03-29 09:00 可可的私房菜 阅读(1325) 评论(0) 推荐(0) 编辑
大数据时代快速SQL引擎-Impala
摘要： 背景 随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的Big Data的时候，Hadoop就会暴露出它对于数据分析查询支持的弱点。 阅读全文
posted @ 2018-03-29 08:59 可可的私房菜 阅读(1629) 评论(0) 推荐(0) 编辑
值得关注的sql-on-hadoop框架
摘要： http://www.infoq.com/cn/news/2014/06/sql-on-hadoop 数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于 阅读全文
posted @ 2018-03-29 08:58 可可的私房菜 阅读(567) 评论(0) 推荐(0) 编辑
SQL on Hadoop中用到的主要技术——MPP vs Runtime Framework
摘要： 转载声明 本文转载自盘点SQL on Hadoop中用到的主要技术，个人觉得该文章对于诸如Impala这样的MPP架构的SQL引擎和Runtime Framework架构的Hive/Spark SQL进行对比，感觉总结的特别好，并且和本人最近的公司相近，学习转载之。 自hive出现之后，经过几年的发 阅读全文
posted @ 2018-03-29 08:57 可可的私房菜 阅读(440) 评论(0) 推荐(0) 编辑
tomcat配置文件server.xml
摘要： 前言 Tomcat隶属于Apache基金会，是开源的轻量级Web应用服务器，使用非常广泛。server.xml是Tomcat中最重要的配置文件，server.xml的每一个元素都对应了Tomcat中的一个组件；通过对xml文件中元素的配置，可以实现对Tomcat中各个组件的控制。因此，学习serve 阅读全文
posted @ 2018-03-29 08:55 可可的私房菜 阅读(199) 评论(0) 推荐(0) 编辑
详解MySQL基准测试和sysbench工具
摘要： 前言 作为一名后台开发，对数据库进行基准测试，以掌握数据库的性能情况是非常必要的。本文介绍了MySQL基准测试的基本概念，以及使用sysbench对MySQL进行基准测试的详细方法。 文章有疏漏之处，欢迎批评指正。 目录 一、基准测试简介 1、什么是基准测试 2、基准测试的作用 3、基准测试的指标 阅读全文
posted @ 2018-03-29 08:53 可可的私房菜 阅读(679) 评论(0) 推荐(0) 编辑