2016年9月29日
cloudera learning5:Hadoop集群高级配置
HDFS-NameNode Tuning: dfs.namenode.handler.count: NameNode可开启的thread number,thread为从NameNode到DataNode的RPC请求。Default值为30(CM，Non CM is 10)。推荐设置为集群node数量 Read More
posted @ 2016-09-29 22:53 软件心理学工程师 Views(609) Comments(0) Diggs(0) Edit
cloudera learning4:Hadoop集群规划
涉及到一些关于硬件的东西，我也不是很懂，记录下来有待以后学习。 Hadoop集群一般都是由小到大，刚开始可能只有4到6个节点，随着存储数据的增加，计算量的增大，内存需求的增加，集群慢慢变大。 比如按照数据存储量增大集群，每个星期数据存储3TB数据，HDFS的block备份数为3，则集群就需要9TB的 Read More
posted @ 2016-09-29 21:46 软件心理学工程师 Views(415) Comments(0) Diggs(0) Edit
cloudera learning3:Hadoop配置和守护进程logs
Services:Haddoop cluster上可以部署的组件,比如HDFS，YARN，HBase等。 Roles:在service配置时，由Cloudera Manager创建。比如NameNode是HDFS service的一个role。 Role Group:对Role的管理，可以将相同类别 Read More
posted @ 2016-09-29 21:07 软件心理学工程师 Views(366) Comments(0) Diggs(0) Edit
2016年9月28日
cloudera learning2:HDFS
存入HDFS的文件会按块（block）划分，默认每块128MB。默认1个block还有2个备份。备份增加了数据的可靠性和提高计算效率（数据本地化）。 HDFS部署可选择不支持HA，也可选择支持HA。 NameNode内存中有metadata，metadata里主要记录的信息包括：file locat Read More
posted @ 2016-09-28 08:43 软件心理学工程师 Views(439) Comments(0) Diggs(0) Edit
2016年9月27日
cloudera learning1:cloudera简介及安装
cloudera分为两个部分：CDH和CM。CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的comp Read More
posted @ 2016-09-27 23:48 软件心理学工程师 Views(1174) Comments(0) Diggs(0) Edit
2016年3月14日
机器学习中的规则化
最近重新看了《机器学习实战》第八章：预测数值型数据：回归。发现了一个以前没有重视的问题，规则化（regularization），通过网上各种查找资料，发现规则化对数据的特征选择，防止回归模型过拟合都有非常大的帮助。 简单的讲，规则化就是给损失函数（cost function）多项式再加上一项，使得训 Read More
posted @ 2016-03-14 23:15 软件心理学工程师 Views(440) Comments(0) Diggs(0) Edit
2016年3月4日
TF-IDF 文本相似度分析
前阵子做了一些IT opreation analysis的research，从产线上取了一些J2EE server运行状态的数据（CPU,Menory...），打算通过训练JVM的数据来建立分类模型，用于server状态的分类。这个过程中发现最难的地方就是构建训练数据集，训练数据必须要有明确的typ Read More
posted @ 2016-03-04 22:58 软件心理学工程师 Views(6507) Comments(0) Diggs(0) Edit
2016年1月30日
数据分析实践：遇到的问题及感想
在使用机器学习算法进行分类预测的过程中，往往最困难的部分在于如何提高模型预测的准确率。有时候当我们辛辛苦苦准备了数据集，进行了繁琐的数据预处理，编码，提交到集群完成了模型训练之后，忽然发现预测的准确率低到让人无语，笔者曾经遇到过进行0,1分类，结果训练出来的模型准确率是51.8%，这和人工随机分类几 Read More
posted @ 2016-01-30 11:16 软件心理学工程师 Views(1050) Comments(0) Diggs(0) Edit
2016年1月6日
记录工作中用到的linux命令
日常工作中会对centos进行操作，总是会有一些常用的命令记不住，特开一贴，记录那些命令，学而时习之。RPM操作类命令：查看RPM安装路径：1.rpm -qa|grep Memcached2.rpm -ql Memcached-1.4.13_02-6.x86_64yum显示源中可安装的mysql文件... Read More
posted @ 2016-01-06 22:05 软件心理学工程师 Views(234) Comments(0) Diggs(0) Edit
2015年11月13日
回归：预测数值型数据
何为回归？“回归”一词是由达尔文的表兄弟Francis Galton发明的。Galton于1877年完成了第一次回归预测，目的是根据上一代豌豆种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸。Galton在大量对象上应用了回归分析，甚至包括人的身高预测。他注意到，如果双亲的高高度比平均高度高，他... Read More
posted @ 2015-11-13 22:38 软件心理学工程师 Views(631) Comments(0) Diggs(0) Edit