摘要: 上篇已经搭建好环境,本篇主要测试hadoop中的hdfs和mapreduce功能。 首先填坑:启动环境时发现DataNode启动不了。查看日志 从日志中可以看出,原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。打开hdfs-site.xml里配置的d 阅读全文
posted @ 2016-07-22 15:38 天羽星河落 阅读(1525) 评论(0) 推荐(1) 编辑
摘要: hadoop的基本概念: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HD 阅读全文
posted @ 2016-07-22 15:36 天羽星河落 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 观察者模式 当对象间存在一对多关系时,则使用观察者模式(Observer Pattern)。比如,当一个对象被修改时,则会自动通知它的依赖对象。观察者模式属于行为型模式。 观察者模式在状态检测和事件处理等场景中是非常有用的。这种模式确保一个核心对象可以由一组未知并可能正在扩展的“观察者”对象来监控。 阅读全文
posted @ 2016-04-24 20:19 天羽星河落 阅读(581) 评论(0) 推荐(0) 编辑
摘要: 装饰器模式 装饰器模式(Decorator Pattern)允许向一个现有的对象添加新的功能,同时又不改变其结构。这种类型的设计模式属于结构型模式,它是作为现有的类的一个包装。 这种模式创建了一个装饰类,用来包装原有的类,并在保持类方法签名完整性的前提下,提供了额外的功能。 函数传入装饰器并返回一个 阅读全文
posted @ 2016-04-23 21:33 天羽星河落 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 左图中,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。 K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方 阅读全文
posted @ 2016-03-29 23:18 天羽星河落 阅读(523) 评论(0) 推荐(0) 编辑
摘要: #region 分页获取数据 /// /// 分页获取数据 /// /// 实体类 /// 获取列 /// 表名 /// 页码 /// 每页数据量 /// 查询条件 ... 阅读全文
posted @ 2015-09-16 15:50 天羽星河落 阅读(746) 评论(0) 推荐(0) 编辑
摘要: 1.在访问页遇到重定向,Get,Post跳转处理,在跳转后的页面获取访问端的IP,他们的IP是否发生变化。。。2.重定向处理后获取的IP还是访问端IP,而用Get,Post请求处理后,获取的访问端IP则是处理页的IP。3.获取客户端IP的代码 public string GetClientIP(... 阅读全文
posted @ 2015-09-06 10:13 天羽星河落 阅读(3112) 评论(0) 推荐(0) 编辑
摘要: string strPath = HttpContext.Current.Server.MapPath("/开放式DLL"); DirectoryInfo df = new DirectoryInfo(strPath); System.... 阅读全文
posted @ 2015-08-30 16:17 天羽星河落 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 1 string strPath = HttpContext.Current.Server.MapPath("/封闭式DLL");//获取链接库的虚拟路径的物理路径 2 DirectoryInfo df = new DirectoryInfo(strPath);... 阅读全文
posted @ 2015-08-04 15:11 天羽星河落 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 1.注意安装的软件和系统的位数是否匹配。 2.安装Django框架的时候注意是否安装了setuptools工具。在Python中,安装第三方模块,是通过setuptools这个工具完成的。Python有两个封装了setuptools的包管理工具:easy_install和pip。目前官方推荐使用pi 阅读全文
posted @ 2015-06-22 15:16 天羽星河落 阅读(372) 评论(0) 推荐(0) 编辑