随笔分类 - Hadoop
摘要：一、MapReduce 1.1、什么是MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并
阅读全文
摘要：之前已经在虚拟机上安装好了hadoop,下面纪录下用java操作hdfs和中间遇到的一些问题,使用的是伪分布式模式 一 本地配置hadoop环境变量 此处默认已经具备jdk环境.将hadoop的压缩包解压到任意目录 在环境变量中配置HADOOP_HOME变量,值为hadoop所在的目录 二、编写测试
阅读全文
摘要：1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 1
阅读全文
摘要：ssh服务（重点） ssh（secureshell，安全外壳协议），该协议有2个常用的作用：远程连接协议、远程文件传输协议。 协议使用端口号：默认是22可以是被修改的，如果需要修改，则需要修改ssh服务的配置文件： #/etc/ssh/ssh_config 端口号可以修改， 但是得注意2个事项：a.
阅读全文
摘要：一、关于shell脚本 1、什么是shell Shell（外壳） 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 Shell是一个
阅读全文
摘要：1、Liunx基础指令： 1、ls ：指令 含义：ls（list) 用法1：#ls 列出当前工作目录下的所有文件/文件夹的名 用法2：#ls 路径 含义：列出指定路径下的所有文件/文件夹的名称 关于路径（重要）： 路径可以分为两种：相对路径、绝对路径。 相对路径：相对首先得有一个参照物（一般就是当前
阅读全文
