yfb - 博客园

2017年6月19日

摘要：常用 Git 命令清单我每天使用 Git ，但是很多命令记不住。一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要记住60～100个命令。下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。Workspace：工作区Index / Stage：暂存区Reposito 阅读全文

posted @ 2017-06-19 18:50 yfb 阅读(266) 评论(1) 推荐(0) 编辑

vim常用快捷键

摘要： 1、vim ~/.vimrc 进入配置文件如果不知道vimrc文件在哪，可使用 :scriptnames 来查看set nu #行号set tabstop=4 #一个tab为4个空格长度set ai? #设置自动缩进syntax on?? #高亮?2、基本空格键向右移动一格x 删除后面的字符 X 阅读全文

posted @ 2017-06-19 18:49 yfb 阅读(144) 评论(0) 推荐(0) 编辑

2017年6月18日

hadoop 3.0.0 alpha3 安装、配置

摘要： 1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz ..注意下载二进制（省时间） 1解压 tar -zxvf hadoop-3.0.0-a 阅读全文

posted @ 2017-06-18 01:43 yfb 阅读(1048) 评论(0) 推荐(0) 编辑

2017年6月17日

集群使用初步

摘要： 5 集群使用初步 5.1 HDFS使用 1、查看集群状态命令： hdfs dfsadmin –report 可以看出，集群共有3个datanode可用也可打开web控制台查看HDFS集群信息，在浏览器打开http://hdp-node-01:50070/ 2、上传文件到HDFS ² 查看HDFS 阅读全文

posted @ 2017-06-17 14:09 yfb 阅读(247) 评论(0) 推荐(0) 编辑

集群搭建

摘要： 4. 集群搭建 4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资阅读全文

posted @ 2017-06-17 14:06 yfb 阅读(297) 评论(0) 推荐(0) 编辑

离线数据分析流程介绍

摘要： 3. 离线数据分析流程介绍注：本环节主要感受数据分析系统的宏观概念及处理流程，初步理解hadoop等框架在其中的应用环节，不用过于关注代码细节一个应用广泛的数据分析系统：“web日志数据挖掘” 3.1 需求分析 3.1.1 案例名称 “网站或APP点击流日志数据挖掘系统”。 3.1.2 案例需求阅读全文

posted @ 2017-06-17 14:01 yfb 阅读(2423) 评论(0) 推荐(0) 编辑

分布式系统概述

摘要： 2 分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed Software Systems) ² 该软件系统会划分成多个子系统或模块，各自运行阅读全文

posted @ 2017-06-17 13:56 yfb 阅读(294) 评论(0) 推荐(0) 编辑

HADOOP背景介绍

摘要： 1. HADOOP背景介绍 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源阅读全文

posted @ 2017-06-17 13:55 yfb 阅读(2785) 评论(0) 推荐(0) 编辑

2017年6月16日

WebPack 简单使用

摘要： WebPack是什么如今，越来越多的JavaScript代码被使用在页面上，我们添加很多的内容在浏览器里。如何去很好的组织这些代码，成为了一个必须要解决的难题。对于模块的组织，通常有如下几种方法：思考：为什么只有JS需要被模块化管理，前台的很多预编译内容，不需要管理吗？基于以上的思考，Web 阅读全文

posted @ 2017-06-16 00:24 yfb 阅读(187) 评论(0) 推荐(0) 编辑

2017年6月13日

PHP 设置调试工具XDebug PHPStorm IDE

摘要：先下载PHP扩展Xdebug https://xdebug.org, 可以复制自己的phpinfo粘贴到https://xdebug.org/wizard.php中, 会生成需要下载的版本, php.ini的设置语句. 下载好之后放入php目录的ext文件夹中, 然后设置php.ini, 在最后加上阅读全文

posted @ 2017-06-13 18:47 yfb 阅读(238) 评论(0) 推荐(0) 编辑