2016年6月
Hadoop 配置（1）
摘要： 1/增加hadoop 的用户;sudo useradd -m hadoop -s /bin/bash创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。设置密码：sudo passwd hadoop2/可为 hadoop 用户增加管理员权限 sudo adduser hadoop sudo更新源 2 sudo apt update3/安装ssh服务器，配置无密... 阅读全文
posted @ 2016-06-25 07:37 iAthena 阅读(319) 评论(0) 推荐(0) 编辑
Hadoop 配置（2）-Hadoop伪分布式配置
摘要： Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件... 阅读全文
posted @ 2016-06-25 07:36 iAthena 阅读(955) 评论(0) 推荐(0) 编辑
spark配置（1）
摘要： Hadoop 安装好之后，开始安装 Spark。环境：ubuntu16.04,hadoop 2.7.2选择spark1.6.1，基于hadoop2.6的预编译版本。官网：http://spark.apache.org/downloads.html检查：md5sum spark-1.6.1-bin-hadoop2.6.tgz下载后，执行如下命令进行安装：sudo tar -zxf ~/下载/spar... 阅读全文
posted @ 2016-06-23 15:35 iAthena 阅读(209) 评论(0) 推荐(0) 编辑
ldconfig命令的作用
摘要： ldconfig是一个动态链接库管理命令为了让动态链接库为系统所共享,还需运行动态链接库的管理命令--ldconfigldconfig 命令的用途,主要是在默认搜寻目录(/lib和/usr/lib)以及动态库配置文件/etc/ld.so.conf内所列的目录下,搜索出可共享的动态 链接库(格式如前介绍,lib*.so*),进而创建出动态装入程序(ld.so)所需的连接和缓存文件.缓存文件默认为 ... 阅读全文
posted @ 2016-06-16 18:38 iAthena 阅读(1463) 评论(0) 推荐(0) 编辑
2016年5月
yarn对mapreducev1的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。
摘要： 为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，yarn对mapreducev1的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个... 阅读全文
posted @ 2016-05-25 11:34 iAthena 阅读(440) 评论(0) 推荐(0) 编辑
2016年4月
调整vi多窗口的大小
摘要： This tip is about how to resize Windows efficiently.You can use the :resize command or its shortcut :res to change the height of the window. To change the height to 60 rows, use::resize 60 You can als... 阅读全文
posted @ 2016-04-28 17:22 iAthena 阅读(636) 评论(0) 推荐(0) 编辑
for range
摘要： 1.range与xrange（用于生成一系列等差数列）函数定义：range([start,] stop[, step])此函数用于生成一系列等差数列，如:In [1]: range(0,10,2) #生成以0为起始，10为停止，步长为2的等差数列 Out[1]: [0, 2, 4, 6, 8]In [2]: range(0,10) #如果去掉后面的2，则默认生成步长为1的等差数列 Out[2]: ... 阅读全文
posted @ 2016-04-26 16:10 iAthena 阅读(241) 评论(0) 推荐(0) 编辑
range小数
摘要： You can also use the NumPy library (which isn't part of standard library but is relatively easy to obtain) which has the arange function:>>> import numpy as np >>> np.arange(0,1,0.1) array([ 0. , 0.1... 阅读全文
posted @ 2016-04-26 16:10 iAthena 阅读(462) 评论(0) 推荐(0) 编辑
CentOS 6.5下安装NumPy、SciPy、Scikit-Learn
摘要： 1. 安装依赖包scipy需要依赖于第三方软件包，例如atlas、blas等。sudo yum install blas-devel lapack-devel 2. 使用PIP安装按照顺序安装pip install numpy pip install scipy pip install scikit-learn来源： https://segmentfault.com/a/1190000002695... 阅读全文
posted @ 2016-04-22 10:02 iAthena 阅读(466) 评论(0) 推荐(0) 编辑
python 字典get方法
摘要： t1 = [['aa'],['ff'],['er']]t2 = [['aa', 11,],['er', 99,]]d2 = dict(t2)res = [[k[0], d2.get(k[0], 0)] for k in t1]来自为知笔记(Wiz) 阅读全文
posted @ 2016-04-19 16:04 iAthena 阅读(279) 评论(0) 推荐(0) 编辑