一个用Python编写的股票数据（沪深）爬虫和选股策略测试框架
摘要：一个股票数据（沪深）爬虫和选股策略测试框架，数据基于雅虎YQL和新浪财经。根据选定的日期范围抓取所有沪深两市股票的行情数据。根据指定的选股策略和指定的日期进行选股测试。计算选股测试实际结果（包括与沪深300指数比较）。保存数据到JSON文件、CSV文件。支持使用表达式定义选股策略。...
阅读全文
posted @ 2015-12-26 23:18
12 2015 档案
eclipse上运行spark程序
摘要：最近在学spark，尝试在Windows+Eclipse运行程序，现在分享给大家 首先，你得把你要处理的文件上传带HDFS,怎么上传文件网上都有教程，此处不再赘述。项目结构图 源代码import org.apache.spark.SparkContextimport org.ap...
阅读全文
posted @ 2015-12-23 21:37
Java实现高斯模糊算法处理图像
摘要：高斯模糊（英语：Gaussian Blur），也叫高斯平滑，是在Adobe Photoshop、GIMP以及Paint.NET等图像处理软件中广泛使用的处理效果，通常用它来减少图像噪声以及降低细节层次。简介高斯模糊（Gaussian Blur）是美国Adobe图像软件公司开发的一个...
阅读全文
posted @ 2015-12-21 21:53
Hadoop环境共享
摘要：最近花了很长时间搭载了Hadoop生态系统环境，其中包含Spark,Hive，HBase等，将环境压缩成一个压缩包，现在分享给大家，亲测可用虚拟机镜像链接1.下载解压后直接用VMVare打开（有点大，7个多G)2.虚拟机登录密码为liu 3.打开终端，输入:su 然后输入密码：l...
阅读全文
posted @ 2015-12-14 09:48
TFS(Taobao File System)安装办法
摘要：TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器 集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对...
阅读全文
posted @ 2015-12-09 11:46
Hadoop的HA机制
摘要：NameNode是HDFS集群的单点故障，每一个集群只有一个NameNode，如果这个机器或进程不可用，整个集群就无法使用，直到重启NameNode或者新启动一个NameNode节点 影响HDFS集群不可用主要包括以下两种情况 - 类似机器宕机这样的意外情况将导致集群不可用，只有重...
阅读全文
posted @ 2015-12-06 08:52
从源码中分析Hadoop的RPC机制
摘要：RPC是Remote Procedure Call（远程过程调用）的简称，这一机制都要面对两个问题 对象调用方式；序列/反序列化机制在此之前，我们有必要了解什么是架构层次的协议。通俗一点说，就是我把某些接口和接口中的方法称为协议，客户端和服务端只要实现这些接口中的方法就可以进行通信...
阅读全文
posted @ 2015-12-04 13:50
一个完整的MapReduce程序
摘要：最近初学Hadoop，仿照参考书上编写了一个wordcount程序，本文主要解决运行过程中出现的一些问题，下边先看一下这个项目。 项目结构 WordMapper类package wordcount;import java.io.IOException;import java.ut...
阅读全文
posted @ 2015-12-01 14:18
