2017年6月3日
Micro-PaaS(Docker+K8S)
摘要： 1、概述 Docker是一种Linux容器工具集，它是为构建（Build）、交付（Ship）和运行（Run）分布式应用而设计的。 Kubernates:是开源的容器集群管理系统。它构建在Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等一套功能，本质上可看作是基于容器技 阅读全文
posted @ 2017-06-03 20:41 365upit 阅读(1325) 评论(0) 推荐(0) 编辑
云平台概述
摘要： 云计算的三层架构 1、IaaS：通过虚拟化和分布式存储等技术，实现了包括服务器、存储设备、网络设备等各种物理资源的抽象，从而形成一个可扩展、可按需分配的虚拟资源池。它对外呈现的服务是各种基础设置，如虚拟机，磁盘以及主机互联而成的网络。主要面向运维人员。典型产品：AWS 2、PaaS：为开发者提供了应 阅读全文
posted @ 2017-06-03 11:59 365upit 阅读(1042) 评论(0) 推荐(0) 编辑
2017年5月12日
1、Docker学习笔记
摘要： Docker是一个基于LXC 的高级容器引擎，源代码托管在 GitHub 上, 基于Go语言开发并遵从Apache 2.0协议开源。它是一个开发的平台，用来为开发者和系统管理员构建、发布和运行分布式应用。 是程序运行的“容器”(Linux containers)，实现了应用级别的隔离(沙箱)。多个容 阅读全文
posted @ 2017-05-12 10:19 365upit 阅读(189) 评论(0) 推荐(0) 编辑
2017年4月21日
2、Hive UDF编程实例
摘要： Hive的UDF包括3种：UDF(User-Defined Function)、UDAF(User-Defined Aggregate Function)和UDTF(User-Defined Table-Generating Function)，Hive只支持Java编写UDF，其他的编程语言只能通 阅读全文
posted @ 2017-04-21 09:57 365upit 阅读(1168) 评论(0) 推荐(0) 编辑
2017年4月15日
3、MR开发入门
摘要： 1、预先准备2个文件file1.txt和file2.txt。文件内容为网页上摘下，不具有代表性，只为举例。 file1.txt内容为： With this setup, whenever you change the content of ambari-web files on the host m 阅读全文
posted @ 2017-04-15 10:41 365upit 阅读(1814) 评论(0) 推荐(1) 编辑
2017年4月13日
1、spark集群搭建
摘要： 前提：已经搭建完全分布式的Hadoop集群，请参看http://www.cnblogs.com/netbloomy/p/6660131.html 1、Scala2.12.1环境搭建 1)、下载scala安装包：wget https://downloads.lightbend.com/scala/2. 阅读全文
posted @ 2017-04-13 10:09 365upit 阅读(373) 评论(0) 推荐(0) 编辑
2017年4月10日
2、ambari搭建HDP集群
摘要： 一、平台环境 二、环境准备1、 增加系统打开文件数和进程数 在每台服务器命令行执行：ulimit -n 显示当前可以打开的最大文件数 sudo vim /etc/security/limits.conf 在文件中添加 * - nofile 655350 * - nproc 655350 然后保存 断 阅读全文
posted @ 2017-04-10 17:40 365upit 阅读(7684) 评论(0) 推荐(0) 编辑
1-3 superset数据模型
摘要： 在models.py中大部分的class对应数据库中的表，那么我们就从AuditMixinNullable这个类开始我们的模型解析。 AuditMixin：这个类是FAB（Flask AppBuild）中的，它的作用是向子类中加入create_by_fk、create_by、changed_by_f 阅读全文
posted @ 2017-04-10 15:49 365upit 阅读(2335) 评论(1) 推荐(2) 编辑
1-0 superset的安装和配置
摘要： Superset安装及教程官网（http://airbnb.io/superset/installation.html）讲解的已经够详细的了，本篇以官网教程为蓝本进行说明。 入门 Superset目前使用Python 2.7和Python 3.4+进行测试。 推荐Python 3，不支持Python 阅读全文
posted @ 2017-04-10 15:46 365upit 阅读(9108) 评论(1) 推荐(1) 编辑
1、Java通过JDBC操作Hive
摘要： 0、概述 使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询、更新等操作。然而Hive也提供客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向 阅读全文
posted @ 2017-04-10 13:42 365upit 阅读(11197) 评论(0) 推荐(1) 编辑