摘要: 一.下载安装docker 1.windows系统中Docker目前仅有win10专业版和企业版的安装包,win7/win8/win10家庭版需要通过docker toolbox来安装。CE为免费版 docker toolbox下载地址:http://mirrors.aliyun.com/docker 阅读全文
posted @ 2019-05-11 17:28 番薯大大 阅读(1108) 评论(0) 推荐(0) 编辑
摘要: 一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me 阅读全文
posted @ 2019-05-10 20:05 番薯大大 阅读(3915) 评论(0) 推荐(0) 编辑
摘要: 一.数据运输面临问题 1.数据来源不同,webserver,物联网,用户行为/接口数据等 2.数据速度快 3.数据量大 二.message queue信息队列 1.各个系统隔离,挂一个不影响 2.增加可扩展性 3.消息广播,告诉每一台机器 4.容易处理数据高峰 5.缓存失败的数据 三.message 阅读全文
posted @ 2019-05-10 20:02 番薯大大 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 1.软件开发会经历多个阶段,如开发、测试、生产等,如何保证这些阶段的环境一致?通常人们使用虚拟化技术(如虚拟机)解决,但虚拟化技术存在占用空间资源大等问题。相对来说,docker极大的提高了资源的利用率,可在短时间内大量部署server。 2.为什么使用? 保证不同环境软件版本同步,qa测试环境版本 阅读全文
posted @ 2019-05-10 18:27 番薯大大 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 一.分布式主从模式 1.主机选举: 整个系统初始化时和现有主机崩溃时 2.主机master崩溃:crash detection检测主机是否崩溃 3.节点worker崩溃:group membership主机把特定的任务分给特定的worker 4.主从机联系崩溃:metadata management 阅读全文
posted @ 2019-05-05 20:41 番薯大大 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 1.查询磁盘空间 df -h 显示总的磁盘空间和使用情况 du -sh * 显示具体每个文件的大小 2.命令:jps 查询正在运行的程序 3.查看linux系统版本: uname -a,可显示电脑以及操作系统的相关信息 cat /proc/version,说明正在运行的内核版本 cat /etc/i 阅读全文
posted @ 2019-03-21 12:11 番薯大大 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 1.一列拆为两列 select count(*) from (select test4.uid uid ,case when test4.money_on>=test4.money_off then ""线上"" else ""线下"" end main_channel from (select t 阅读全文
posted @ 2019-03-21 11:47 番薯大大 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 描述: azkaban主要用于离线计算任务的调度 说明: 此处Azkaban选择版本为:3.52.0,部署方式为Cluster模式,即支持多Executor计算节点,目前默认安装方式选择在同一台机器上安装web/executor两个服务。 安装步骤: 解压安装包中的azkaban目录下的`azkab 阅读全文
posted @ 2019-01-19 10:57 番薯大大 阅读(424) 评论(0) 推荐(0) 编辑
摘要: 1.安装说明 操作用户:root 软件下载目录:/root/opt 无root权限时,放到自定义目录即可 2.预置条件 1.需要JDK1.6+支持; 2.需要Mysql数据库支持;(虽然SonarQube自带了H2数据库,但是为了方便管理数据推荐使用Mysql数据库) 3.安装 在安装之前,介绍一下 阅读全文
posted @ 2019-01-12 16:19 番薯大大 阅读(443) 评论(0) 推荐(0) 编辑
摘要: QQ起昵称专用特效字符︻︼︽︾〒↑↓☉⊙●〇◎¤★☆■▓「」『』◆◇▲△▼▽◣◥◢◣◤ ◥№↑↓→←↘↙Ψ※㊣∑⌒∩【】〖〗@ξζω□∮〓※》∏卐√ ╳々♀♂∞①ㄨ≡╬╭╮╰╯╱╲ ▂ ▂ ▃ ▄ ▅ ▆ ▇ █ ▂▃▅▆█ ▁▂▃▄▅▆▇█▇▆▅▄▃▂▁贴图字符大全A、希腊字母大写 ΑΒΓΔΕΖΗ 阅读全文
posted @ 2019-01-05 11:07 番薯大大 阅读(4357) 评论(0) 推荐(0) 编辑