随笔分类 - 大数据
统计，数据分析，机器学习。
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁转载。 概率是生活中平常不过的概念。我们用概率来量化某种结果的可能性。日常生活中常见到概率。成功有概率，体育比赛的胜负有概率，彩票中奖也有概率。概率就是“概率论”这门学科研究的核心。不过，像概率这样“日常”的概念，
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁转载。 统计最开始的主要任务就是描述数据。正如我们在统计概述中提到的，群体的数据可能包含大量的数字，往往让人读起来头昏脑涨。电影《美丽心灵》中，数学家纳什不自觉地沉浸在一串数字中。这样的电影桥段经常让观众感到惭愧。
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁转载。 完成了概率论之后，数据之旅的下一站就是统计。统计是研究数据的学科。它包括了数据很多方面，比如如何描述数据、如何通过抽样推测整体的信息、如何通过数据判断假设的真伪。近年来，“数据科学”成为一门显学。统计随之风
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁任何形式转载。 线性代数是一门大学课程，但也是相当“惨烈”的一门课程。在大学期间，我对这门学科就没怎么学懂。先是挣扎于各种行列式、解方程，然后又看到奇怪的正交矩阵、酉矩阵。还没来得及消化，期末考试轰然到来，成绩自然
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！最近挖煤君上了博客园推荐博客的排行榜，甚是高兴。看着自己名次上升，是件很开心的事情。看着推荐榜上的诸位大神，再加上QQ群里的交流，我骨子里的八卦精神又一次发痒，所以就做了个爬虫，把推荐榜上各位的入园时间、粉丝数、排名给搜罗了一下，做成一个泡泡图。看起来，排名不是完全由粉丝数决定的，但也有相当大的相关性。大伙的眼睛是雪亮的啊。看到肥嘟嘟沉淀在下面的诸位大神，挖煤君表示由衷敬佩。大家来找自己的泡泡吧。Vamei躲在右下角的小角落哦！挖煤君的小小爬虫是Python写的，图是D3.js画
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！结束了概率论，我们数据之旅的下一站是统计。这一篇，是统计的一个小介绍。统计是研究数据的学科。它包括描述数据，推测群体信息，判断假设的真伪。统计是一门实用学科。人们利用统计，寻找下一个NBA巨星，推测奥斯卡奖项，寻找自己的真心伴侣。在电影“点球成金”中，球队的经理就是利用统计思想，来搜寻球员，管理球队，最终造就了一支劲旅。点球成金统计这件大事如果说最早有统计意识的人，那莫过于古往今来的“王霸”之人。精明的王者，早早的意识到数据的重要性，也因此从统计数据中获得信息优势。刘邦占领咸阳后
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 终于写完概率论部分的内容。写一个总结，同时算是导读。这两天花了些时间，对原文进行修订。自己预期的目标，是将概率论的理论和编程结合起来。这里选择的编程工具是Python和一些第三方的包
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！概率论早期用于研究赌博中的概率事件。赌徒对于结果的判断基于直觉，但高明的赌徒尝试从理性的角度来理解。然而，赌博中的一些结果似乎有矛盾。比如掷一个骰子，每个数字出现的概率相等，都是1/6。然而，如果有两个骰子，那么出现的2到12这些数字的概率却不相同。概率论这门学科正是为了搞清楚这些矛盾背后的原理。早期的概率论是一门混合了经验的数学学科，并没有严格的用语。因此，概率论在数学的精密架构下，显得有些异类。许多名词，如“概率”等，一定程度上是按照人们的直觉来定义的。1933年，俄国数学家
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁转载。 概率 概率论研究随机事件。它源于赌徒的研究。赌博中有许多随机事件，比如投掷一个骰子，是否只凭运气呢？ 赌徒逐渐发现随机事件的规律。投掷两个骰子是常见的赌博游戏。如果重复很多次，那么总数为2的次数会比总数7的
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！信号(singal)简介我们在生活中经常遇到信号。比如说，股票的走势图，心跳的脉冲图等等。在通信领域，无论是的GPS、手机语音、收音机、互联网通信，我们发送和接收的都是信号。最近，深圳地铁通信系统疑似与WiFi信号冲突，也就是地铁的天线收到了WiFi的信号，而误把该信号当作地铁通信信号。我们的社会信息化，是建立在信号的基础上的。信号：最近三年的沪指指数信号是随着时间或者空间变化的序列。在信号处理中，我们常用“信号”来特指一维信号，也就是只随单一一个时间或空间维度变化的序列，这样的
阅读全文
摘要：作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！matplotlib是基于numpy的一套Python工具包。这个包提供了丰富的数据绘图工具，主要用于绘制一些统计图形。你可以找到很多各式各样的例子：通过数据绘图，我们可以将枯燥的数字转换成容易被人们接受的图表，从而让人留下更加深刻的印象。实际上，早在一百多年前，南丁格尔就曾经用统计图形来说服英国政府，以改善军队的卫生状况。我们将以GDP数据为例子，看看如何绘制经典的饼图和条形图。数据下面是我们要使用的数据，为2011年GDP前十的国家以及其具体的GDP：USA 1...
阅读全文
