上一页 1 2 3 4 5 6 7 8 ··· 10 下一页
2017年3月4日
Flume简介及安装
摘要： Hadoop业务的大致开发流程以及Flume在业务中的地位： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。 Flume概念 flume是分布式的日志收集系统，它将各个服务器中的数据收集起来 阅读全文
posted @ 2017-03-04 15:23 星空str 阅读(124) 评论(0) 推荐(0) 编辑
Sqoop简介及安装
摘要： Hadoop业务的大致开发流程以及Sqoop在业务中的地位： Sqoop概念 Sqoop可以理解为【SQL–to–Hadoop】，正如名字所示，Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具。它可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoo 阅读全文
posted @ 2017-03-04 15:22 星空str 阅读(1019) 评论(0) 推荐(0) 编辑
hadoop2.7.2单机与伪分布式安装
摘要： 环境相关 系统：CentOS 6.8 64位 jdk：1.7.0_79 hadoop：hadoop 2.7.2 安装java环境 详见： "linux中搭建java开发环境" 创建hadoop用户 <! more 可为hadoop用户增加管理员权限，避免一些对新手来说比较棘手的权限问题。 保存退出后 阅读全文
posted @ 2017-03-04 15:21 星空str 阅读(4967) 评论(0) 推荐(0) 编辑
2017年2月21日
Github+Hexo,搭建专有博客
摘要： 前言 记得从大二开始，就一直想搭个专属网站，当时使劲抠页面【前端页面是从QQ空间抠的，现在想抠估计没这么容易了】，写代码，忙活半天才把程序弄好。 可惜最终项目还是没上线，因为当时有两问题绕不开 需要购买服务器【服务器太贵，现在便宜的阿里云服务器每月都需100左右】。 需要运维管理【麻烦且危险，服务器 阅读全文
posted @ 2017-02-21 17:45 星空str 阅读(417) 评论(0) 推荐(0) 编辑
2017年2月16日
大数据进阶计划
摘要： 最近看了一篇文章，里面认为大数据学习有以下几个步骤 初识Hadoop 更高效的WordCount 把别处的数据搞到Hadoop上 把Hadoop上的数据搞到别处去 快一点吧，我的SQL 一夫多妻制 越来越多的分析任务 我的数据要实时 我的数据要对外 牛逼高大上的机器学习 15年曾自学走到第六步，装了 阅读全文
posted @ 2017-02-16 09:57 星空str 阅读(371) 评论(0) 推荐(0) 编辑
2017年2月14日
通过Percona Xtrabackup实现数据的备份与恢复
摘要： Xtrabackup简介 Percona XtraBackup是一个开源、免费的MySQL热备份软件,能够为InnoDB和XtraDB数据库执行非阻塞备份，特点如下： 1、快速、可靠的完成备份 2、备份期间不间断事务处理 3、节省磁盘空间和网络带宽 4、自动对备份文件进行验证 5、恢复快，保障在线运 阅读全文
posted @ 2017-02-14 18:00 星空str 阅读(5271) 评论(0) 推荐(0) 编辑
大型网站技术架构梳理
摘要： 本文是对《大型网站架构设计》(李智慧 著)一书的梳理， 文末附有相关技术图谱。 大型网站演化进程 初始阶段的网站架构 ：一台服务器，上面同时拥有应用程序，数据库，文件，等所有资源。例如 LAMP 架构 应用和数据服务分离 ：三台服务器（硬件资源各不相同），分别是应用服务器，文件服务器和数据库服务器 阅读全文
posted @ 2017-02-14 18:00 星空str 阅读(245) 评论(0) 推荐(0) 编辑
MySQL备份与恢复
摘要： 最近整理了下MySQL备份与恢复的知识点，部分知识点还附有链接。 内容持续更新中，访问地址： https://www.processon.com/view/link/58805970e4b098bf4cddc5cd 阅读全文
posted @ 2017-02-14 17:59 星空str 阅读(178) 评论(0) 推荐(0) 编辑
MySQL主从同步报错故障处理集锦
摘要： 前言 在发生故障切换后，经常遇到的问题就是同步报错，下面是最近收集的报错信息。 记录删除失败 在master上删除一条记录，而slave上找不到 解决方法：master要删除一条记录，而slave上找不到报错，这种情况主都已经删除了，那么从机可以直接跳过。 如果这种情况很多，需要针对这种错误专门写相 阅读全文
posted @ 2017-02-14 17:58 星空str 阅读(7922) 评论(0) 推荐(0) 编辑
MySQL数据目录更改及相关问题解决方案
摘要： 步骤相关 1、停掉MySQL服务 service mysql stop 2、把旧的数据目录/var/lib/mysql备份到新的数据目录/data/mysql cp /var/lib/mysql /data R 3、给mysql组的mysql用户赋予新的数据目录的权限 chown R mysql:m 阅读全文
posted @ 2017-02-14 17:57 星空str 阅读(261) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 10 下一页