摘要: 许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(mast 阅读全文
posted @ 2016-10-10 16:45 三驾马车 阅读(314) 评论(0) 推荐(0) 编辑
摘要: GFS的全称是Google file System,为了满足Google迅速增长的数据处理要求,Google设计并实现的Google文件系统(GFS)。Google文件系统是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可 阅读全文
posted @ 2016-10-10 10:49 三驾马车 阅读(1282) 评论(0) 推荐(0) 编辑
摘要: java.net.SocketTimeoutException: connect timed outUpload file "1003.png"fails:connect timed out at java.net.DualStackPlainSocketImpl.waitForConnect(Na 阅读全文
posted @ 2016-10-10 10:45 三驾马车 阅读(2463) 评论(0) 推荐(0) 编辑
摘要: 1. HTML静态化 使用信息发布系统实现最简单的信息录入自动生成静态页面,将网站的帖子、文章进行实时的静态化。 也可在一定的策略下进行定时静态化和定时判断调用。 2. 图片服务器分离 3. 数据库集群和库表散列 4. 缓存 缓存数据:memcached memcachedb 缓存HTTP请求: s 阅读全文
posted @ 2016-10-10 09:02 三驾马车 阅读(234) 评论(0) 推荐(0) 编辑
摘要: [root@GW1 client]# ./fdfs_test ../conf/client.conf upload /home/tmp/1009.png This is FastDFS client test program v5.02 Copyright (C) 2008, Happy Fish 阅读全文
posted @ 2016-10-09 16:24 三驾马车 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 1: 启动FastDFS tracker: ./fdfs_trackered .../tracker.conf storage: ./fdfs_storaged .../storage.conf 2:关闭FastDFS tracker:../FastDFS/stop.sh /usr/local/df 阅读全文
posted @ 2016-10-09 15:01 三驾马车 阅读(345) 评论(0) 推荐(0) 编辑
摘要: FastDFS是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,FastDFS非常适用于基于文件服务的站点,例如图片分享和视频分享网站. FastDFS有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以 阅读全文
posted @ 2016-10-09 09:28 三驾马车 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 在生产中我们一般希望文件系统能帮我们解决以下问题,如:1.超大数据存储;2.数据高可用(冗余备份);3.读/写高性能;4.海量数据计算。最好还得支持多平台多语言,支持高并发。 由于单台服务器无法满足以上要求,这就迫使开发者不得不考虑使用其他方式解决此类问题。分布式文件系统就在这样迫切的需求下孕育而生 阅读全文
posted @ 2016-10-09 08:47 三驾马车 阅读(275) 评论(0) 推荐(0) 编辑
摘要: Jenkins和Hudson有很深的渊源,Jenkins目前更新频繁,目前选用Jenkins为持续集成工具和自动部署 Jenkins的使用有很多的介绍,主要记录如下要点: 192.168.1.240:Tomcat: /usr/local/share/apache-tomcat-6.0.37/ 访问端 阅读全文
posted @ 2016-10-08 17:43 三驾马车 阅读(1969) 评论(0) 推荐(0) 编辑
摘要: 问题1: 404 版本库中不存在该条目和(或)其修订版本。 1.1 GIT库: 参考:http://stackoverflow.com/questions/13000247/redmine-gitolite-issue-with-repository-permissions-and-more I m 阅读全文
posted @ 2016-10-08 17:43 三驾马车 阅读(501) 评论(0) 推荐(0) 编辑