04 2019 档案
摘要:前提已经安装好hadoop的hdfs集群,可以查看 https://www.cnblogs.com/tree1123/p/10683570.html Mapreduce是hadoop的运算框架,可以对hdfs中的数据分开进行计算,先执行很多maptask,在执行reducetask,这个过程中任务的
阅读全文
摘要:无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时, 计算的负荷会非常大。 比如识别图像,是否是一辆汽车,可能就需要判断太多像素。 这时候就需要神经网络。 神经网络是模拟人类大脑的神经网络,由神经元,输入树突,输出树突构成。 由此设计神经网络模型: x1,x2,x3是输入单元,将原始数据给
阅读全文
摘要:过拟合(over-fitting) 欠拟合 正好 过拟合 怎么解决 1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用一 些模型选择的算法来帮忙(例如 PCA) 2.正则化。 保留所有的特征,但是减少参数的大小(magnitude) 回归问题的模型是 是高次项导致了这个问题
阅读全文
摘要:1、饿汉模式 public class Singleton{ private static Singleton instance = new Singleton(); private Singleton() public static Singleton newInstance(){ return
阅读全文
摘要:需要精通java开发,有一定linux基础。 1、简介 大数据就是对海量数据进行数据挖掘。 已经有了很多框架方便使用,常用的有hadoop,storm,spark,flink等,辅助框架hive,kafka,es,sqoop,flume等。 常见应用推荐系统,用户画像等。 2、hadoop hado
阅读全文