摘要:
传送门 阅读全文
摘要:
算法简介 算法实现 我只是简单处理了一下图像的灰度值,如果要处理RGB值的话,就需要分别进行SVD分解,最后再合起来即可。 import numpy as np from PIL import Image import matplotlib.pyplot as plt def picture_pro 阅读全文
摘要:
前言 之前写过稀疏图的实现方法,这次写用矩阵存储数据的算法实现,只要会矩阵相乘的话,实现这个就很简单了。如果有不懂的可以先看一下下面两篇随笔。 MapReduce实现PageRank算法(稀疏图法) Python+MapReduce实现矩阵相乘 算法实现 我们需要输入两个矩阵A和B,我一开始想的是两 阅读全文
摘要:
算法原理 map阶段 在map阶段,需要做的是进行数据准备。把来自矩阵A的元素aij,标识成p条<key, value>的形式,key="i,k",(其中k=1,2,...,p),value="a:j,aij";把来自矩阵B的元素bij,标识成m条<key, value>形式,key="k,j"(其 阅读全文
摘要:
前言 本文用Python编写代码,并通过hadoop streaming框架运行。 算法思想 下图是一个网络: 考虑转移矩阵是一个很多的稀疏矩阵,我们可以用稀疏矩阵的形式表示,我们把web图中的每一个网页及其链出的网页作为一行,即用如下方式表示: 1 A B C D 2 B A D 3 C C 4 阅读全文
摘要:
前言 Hadoop 本身是用 Java 开发的,所以之前的MapReduce代码小练都是由Java代码编写,但是通过Hadoop Streaming,我们可以使用任意语言来编写程序,让Hadoop 运行。 本文用Python语言实现了词频统计功能,最后通过Hadoop Streaming使其运行在H 阅读全文
摘要:
基本原理 在互联网上,如果一个网页被很多其他网页所链接,说明它受到普遍的承认和信赖,那么它的排名就高。这就是PageRank的核心思想。 引用来自《数学之美》的简单例子: 网页Y的排名应该来自于所有指向这个网页的其他网页的权重之和,在上图中Y的网页排名就是0.001 + 0.01 + 0.02 + 阅读全文
摘要:
前言 学SVM看到对偶问题的时候很难受,因为看不懂,数学知识真的太重要了。后来在B站看到某up主的精彩推导,故总结如下。 SVM基本型 由之前最大化间隔的计算可得SVM的基本型为: $\underset{\mathbf{w},b}{min}\ \ \ \ \frac{1}{2}\left \| \m 阅读全文
摘要:
问题描述 输入一个矩阵,按照从外向里以顺时针的顺序依次打印出每一个数字,例如,如果输入如下4 X 4矩阵: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10。 解题思路 以四个变 阅读全文
摘要:
超平面 超平面是 $n$ 维空间的 $n-1$ 维子空间,类似二维空间的直线,三维空间的平面。 分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开。以二维空间为例: 如图所示,若要把图中的红圆和蓝圆分开,有许多直线可以选择,而这些直线的定义就是: $Ax+By+ 阅读全文
摘要:
问题描述 将乱序数字按照升序排序。 思路描述 按照mapreduce的默认排序,依次输出key值。 代码 package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import 阅读全文
摘要:
问题描述 现在有三个文件分别代表学生的各科成绩,编程求各位同学的平均成绩。 编程思想 map函数将姓名作为key,成绩作为value输出,reduce根据key即可将三门成绩相加。 代码 package org.apache.hadoop.examples; import java.io.IOExc 阅读全文
摘要:
基本形式 最小二乘法估计拟合参数 最小二乘法:基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method) 即(左边代表 $\mathbf{\omega }$ 和 b 的解) 为了计算的方便,可以把常数 b 看出一个特殊的值为 1 的 x 。 将 $\mathb 阅读全文
摘要:
在pip安装时,有些库速度及其缓慢从而导致失败,可以通过更改镜像源的方式来安装。 我在安装的时候使用了清华的镜像源,格式如下: 想要安装什么库就在后面替换即可。 阅读全文
摘要:
char * strcpy( char *strDest, const char *strSrc ) { assert((strDest != NULL)&&(strSrc != NULL)); char *address = strDest; while( (*strDest++ = * strS 阅读全文
摘要:
编程实现单词去重要用到NullWritable类型。 NullWritable: NullWritable 是一种特殊的Writable 类型,由于它的序列化是零长度的,所以没有字节被写入流或从流中读出,可以用作占位符。比如,在MapReduce 中,在不需要这个位置的时候,键或值能够被声明为Nul 阅读全文
摘要:
hadoop包装了java的基本数据类型使他们实现以上的接口而且给予实现细节,这些类都实现了WritableComparable接口,能够在不同的hadoop节点之间毫无障碍的传输了。 阅读全文
摘要:
首先在项目的src文件中需要加入以下文件,log4j的内容为: log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org. 阅读全文
摘要:
传送门:厦门大学博客 阅读全文
摘要:
阅读全文