2016 年 10月随笔档案 - 三驾马车

springmvc HandlerInterceptoer WebRequestInterceptor MethodInterceptor使用

摘要：HandlerInterceptoer拦截的是请求地址，所以针对请求地址做一些验证、预处理等操作比较合适。阅读全文

posted @ 2016-10-26 14:43 三驾马车阅读(262) 评论(0) 推荐(0) 编辑

摘要：[root@GW1 bin]# lsb_release -aLSB Version: :core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarchDistr 阅读全文

posted @ 2016-10-24 17:10 三驾马车阅读(194) 评论(0) 推荐(0) 编辑

10 款最好的 Python IDE

摘要：Python 非常易学，强大的编程语言。Python 包括高效高级的数据结构，提供简单且高效的面向对象编程。 Python 的学习过程少不了 IDE 或者代码编辑器，或者集成的开发编辑器（IDE）。这些 Python 开发工具帮助开发者加快使用 Python 开发的速度，提高效率。高效的代码编辑器或阅读全文

posted @ 2016-10-24 14:40 三驾马车阅读(2158) 评论(0) 推荐(0) 编辑

PyCharm2016.2专业版注册码

摘要：43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGl 阅读全文

posted @ 2016-10-24 14:00 三驾马车阅读(153) 评论(0) 推荐(0) 编辑

Flex HTTPService json

摘要：import mx.rpc.events.FaultEvent; import mx.rpc.events.ResultEvent; import mx.rpc.http.HTTPService; import mx.controls.Alert; import com.adobe.serializ 阅读全文

posted @ 2016-10-24 10:42 三驾马车阅读(355) 评论(0) 推荐(0) 编辑

ContextLoaderListener ServletContextListener使用方法

摘要：待定阅读全文

posted @ 2016-10-20 10:56 三驾马车阅读(179) 评论(0) 推荐(0) 编辑

spring log4j.properties 没有日志的问题

摘要：一. log4j.properties 1. log4j.properties放在spring工程的src/main/rescours目录下无法读取。测试后发现需要把log4j.properties文件放在src/main/webapp/WEB-INF目录下， 2. web.xml配置 <cont 阅读全文

posted @ 2016-10-20 10:45 三驾马车阅读(3691) 评论(0) 推荐(0) 编辑

getServletPath getRequestURI getRequestURL区别

摘要：getContextPath:/test //上下文，类似工程名 getServletPath:/test.jsp getRequestURI:/test/test.jsp getRequestURL:http://localhost:8080/test/test.jsp 阅读全文

posted @ 2016-10-18 16:02 三驾马车阅读(518) 评论(0) 推荐(2) 编辑

springmvc Failed to load resource: the server responded with a status of 404 (Not Found)

摘要：jsp页面导入css、js提示上述问题。 Spring对静态资源的请求做专门处理 <mvc:resources location="/js/" mapping="/js/**"/> 阅读全文

posted @ 2016-10-17 17:39 三驾马车阅读(557) 评论(0) 推荐(0) 编辑

linux 解压xz包

摘要：1.下载xz包 http://tukaani.org/xz/xz-4.999.9beta.tar.bz2 2.解压安装包 $tar -jxvf xz-4.999.9beta.tar.bz2 3.配置&安装 $./configure --prefix=/opt/gnu/xz $make $sudo m 阅读全文

posted @ 2016-10-12 17:46 三驾马车阅读(380) 评论(0) 推荐(0) 编辑

流式大数据处理的三种框架：Storm，Spark和Samza

摘要：许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（mast 阅读全文

posted @ 2016-10-10 16:45 三驾马车阅读(314) 评论(0) 推荐(0) 编辑

GFS文件系统和在RedHat Linux下的配置

摘要：GFS的全称是Google file System,为了满足Google迅速增长的数据处理要求，Google设计并实现的Google文件系统（GFS）。Google文件系统是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可阅读全文

posted @ 2016-10-10 10:49 三驾马车阅读(1294) 评论(0) 推荐(0) 编辑

FastDFS connect timed out

摘要：java.net.SocketTimeoutException: connect timed outUpload file "1003.png"fails:connect timed out at java.net.DualStackPlainSocketImpl.waitForConnect(Na 阅读全文

posted @ 2016-10-10 10:45 三驾马车阅读(2463) 评论(0) 推荐(0) 编辑

大型高并发高负载网站的系统架构

摘要：1. HTML静态化使用信息发布系统实现最简单的信息录入自动生成静态页面，将网站的帖子、文章进行实时的静态化。也可在一定的策略下进行定时静态化和定时判断调用。 2. 图片服务器分离 3. 数据库集群和库表散列 4. 缓存缓存数据：memcached memcachedb 缓存HTTP请求： s 阅读全文

posted @ 2016-10-10 09:02 三驾马车阅读(234) 评论(0) 推荐(0) 编辑

FastDFS 上传文件

posted @ 2016-10-09 16:24 三驾马车阅读(516) 评论(0) 推荐(0) 编辑

FastDFS常见命令

摘要：1：启动FastDFS tracker: ./fdfs_trackered .../tracker.conf storage: ./fdfs_storaged .../storage.conf 2：关闭FastDFS tracker:../FastDFS/stop.sh /usr/local/df 阅读全文

posted @ 2016-10-09 15:01 三驾马车阅读(345) 评论(0) 推荐(0) 编辑

FastDFS安装、配置、部署

摘要：FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站. FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以阅读全文

posted @ 2016-10-09 09:28 三驾马车阅读(240) 评论(0) 推荐(0) 编辑

分布式文件系统FastDFS原理介绍

摘要：在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。由于单台服务器无法满足以上要求，这就迫使开发者不得不考虑使用其他方式解决此类问题。分布式文件系统就在这样迫切的需求下孕育而生阅读全文

posted @ 2016-10-09 08:47 三驾马车阅读(276) 评论(0) 推荐(0) 编辑

Jenkins+Maven+Svn搭建持续集成环境持续集成和自动部署

摘要：Jenkins和Hudson有很深的渊源，Jenkins目前更新频繁，目前选用Jenkins为持续集成工具和自动部署 Jenkins的使用有很多的介绍，主要记录如下要点： 192.168.1.240:Tomcat: /usr/local/share/apache-tomcat-6.0.37/ 访问端阅读全文

posted @ 2016-10-08 17:43 三驾马车阅读(1969) 评论(0) 推荐(0) 编辑

redmine问题

摘要：问题1： 404 版本库中不存在该条目和（或）其修订版本。 1.1 GIT库：参考：http://stackoverflow.com/questions/13000247/redmine-gitolite-issue-with-repository-permissions-and-more I m 阅读全文

posted @ 2016-10-08 17:43 三驾马车阅读(503) 评论(0) 推荐(0) 编辑

maven仓库私服配置

摘要：私服访问地址：[[http://192.168.1.252:9080/nexus/content/groups/public/ 地址]] 1. 打开eclipse/myeclipse的maven插件：点菜单 Window > Preferences，找到maven插件，点开User Settings 阅读全文

posted @ 2016-10-08 17:41 三驾马车阅读(21538) 评论(0) 推荐(0) 编辑

SVN配置管理（trunk、branches、tags）

摘要：利用SVN的分支，合理地管理项目代码由于SVN固有的特点，目录在SVN中并没有特别的意义，但是这三个目录却在大多数开源项目中存在，这是因为这三个目录反映了软件开发的通常模式。 trunk是主分支，是日常开发进行的地方。branches是分支。一些阶段性的release版本，这些版本是可以继续进行开阅读全文

posted @ 2016-10-08 17:40 三驾马车阅读(630) 评论(0) 推荐(0) 编辑

Gitolite配置管理和GIT基本操作

摘要：简述公司版gitolite的项目配置与管理 1. 基于秘钥对的管理 1.1 客户端（需要访问代码库的机器）生成秘钥对，采用RSA加密ssh-keygen -t rsa -f path_to_store_keys/name_of_your_key运行后将在指定目录（就是path_to_store_ke 阅读全文

posted @ 2016-10-08 17:39 三驾马车阅读(464) 评论(0) 推荐(0) 编辑

storm在linux系统下安装调试

摘要：安装：安装 zookeeper ：下载 zookeeper ：http://zookeeper.apache.org/releases.html#download。将 zookeeper-3.4.7.tar.gz 解压到目录，/usr/local/zookeeper-3.4.7。拷贝zook 阅读全文

posted @ 2016-10-08 17:34 三驾马车阅读(369) 评论(0) 推荐(0) 编辑

storm在windows系统下安装调试

摘要：基础知识 Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可阅读全文

posted @ 2016-10-08 17:33 三驾马车阅读(975) 评论(0) 推荐(0) 编辑

分区

摘要：alter table SIC_HI.SIC_HI_GUEST add partition PART201409 values less than ('201410') tablespace SIC_HI pctfree 10 initrans 1 maxtrans 255 ( subpartiti 阅读全文

posted @ 2016-10-08 17:32 三驾马车阅读(181) 评论(0) 推荐(0) 编辑

数据迁移

摘要：pkill -9 java 停止服务 create table sic_hi_guest_201608 as select * from sic_hi_guest partition(PART201608);alter table sic_hi_guest drop partition PART20 阅读全文

posted @ 2016-10-08 17:31 三驾马车阅读(312) 评论(0) 推荐(0) 编辑

mongodb 手动分片的命令汇总

摘要：手动分片的操作自动分片会带来性能的下降. 所以要合理使用手动分片. 并且配合Tag一起使用. # 对于4个shard的程序, 预先处理的指令1. 加入分片服务器sh.addShard( "192.168.1.60:27017" )sh.addShard( "192.168.1.61:27017" 阅读全文

posted @ 2016-10-08 17:00 三驾马车阅读(1320) 评论(0) 推荐(0) 编辑

mongodb 3.0 版本分片部署步骤

摘要：# linux 网络优化 1. 文件中/etc/sysctl.conf, 加入 net.core.somaxconn = 2048 fs.file-max = 2000000 fs.nr_open = 2000000 net.ipv4.ip_local_port_range = 1024 65535 阅读全文

posted @ 2016-10-08 16:59 三驾马车阅读(392) 评论(0) 推荐(0) 编辑

mapreduce运用

摘要：测试环境:192.168.1.55 mongo 192.168.1.55:30001show dbsuse gwgps 测试目标，求出两个班的总数，人数，平均分数等。可以根据不同的业务需求，定制map,reduce,finalize函数。 1. 数据准备db.person1.insert({'cla 阅读全文

posted @ 2016-10-08 16:57 三驾马车阅读(236) 评论(0) 推荐(0) 编辑

aggregate运用

摘要：测试环境:192.168.1.55 mongo 192.168.1.55:30001show dbsuse gwgps 测试目标，求出两个班的总数，人数，平均分数等。 1. 数据准备db.person1.insert({'class':1,'name':'n1',age:5,score:90,nat 阅读全文

posted @ 2016-10-08 16:57 三驾马车阅读(229) 评论(0) 推荐(0) 编辑

空间查询

摘要：测试环境：192.168.1.55 单机测试目标：GPS系统有用户画矩形，选时间，去查询在该时间段内，经过该区域的有哪些车。该测试暂不计入时间属性，检查空间判断是否准确。一. 为集合创建索引 db.location.ensureIndex({loc:"2dsphere"}) {"createdCo 阅读全文

posted @ 2016-10-08 16:56 三驾马车阅读(190) 评论(0) 推荐(0) 编辑

用户权限控制之命令篇

摘要：背景：如果数据库启动没有启用权限控制，那么只要通过IP,PORT就能连上，危险性很高，所有要设置用户访问权限。一.在未设置权限状态下，增加访问用户。> use adminswitched to db admin>db.system.users.find()> db.createUser( {user 阅读全文

posted @ 2016-10-08 16:56 三驾马车阅读(262) 评论(0) 推荐(0) 编辑

MongoDB数据备份与恢复

摘要：测试环境：windows 一. 导出数据F:\DbSoft\soft\master\bin>mongoexport /h 127.0.0.1 /port 50000 /d testdb /c tb1--type=csv /f _id,name,age /o F:\DbSoft\mongodb\exp 阅读全文

posted @ 2016-10-08 16:55 三驾马车阅读(213) 评论(0) 推荐(0) 编辑

MongoDB命令模式下的条件过滤总结

摘要：db.tb1.find() //查询全部，用it查看下一页。db.tb1.find({"age":1}) //查询年龄==1的记录db.tb1.find({},{"age":1}) //查询年龄==1的记录db.tb1.find({"name":{$all:["a","b"]}}) //查询name 阅读全文

posted @ 2016-10-08 16:55 三驾马车阅读(4527) 评论(0) 推荐(0) 编辑

MongoDB空间整理

摘要：测试环境：192.168.1.55，单机数据量： 4千万左右。测试：db.repaireDatabase效果db.compact 效果通过stats命令获取该数据库的相关信息：db.stats() { "db" : "test","collections" : 7, --collection 数量阅读全文

posted @ 2016-10-08 16:53 三驾马车阅读(310) 评论(0) 推荐(0) 编辑

mongodb 3.2 分片部署步骤

摘要：#linux 网络优化1. 文件中/etc/sysctl.conf, 加入net.core.somaxconn = 2048fs.file-max = 2000000fs.nr_open = 2000000net.ipv4.ip_local_port_range = 1024 65535 hard 阅读全文

posted @ 2016-10-08 16:52 三驾马车阅读(1176) 评论(0) 推荐(0) 编辑

windows下的mongodb分片配置

摘要：1. 分片服务器设置mongod -port 10001 -dbpath=F:/DbSoft/mongodb/rs_data/master -directoryperdb --shardsvr -replSet retA --rest --oplogSize 64mongod -port 10002 阅读全文

posted @ 2016-10-08 16:51 三驾马车阅读(552) 评论(0) 推荐(0) 编辑

Linux下的mongodb分片部署

摘要：前提：分片服务器不设置从服务和均衡服务，只有主服务器;当前测试为所有服务器均在同一台物理机上。 1.测试环境：192.168.1.55. 2.测试模式：单机。3.服务：分片服务器1:192.168.1.55:10001分片服务器2:192.168.1.55:10002配置服务器: 192.168. 阅读全文

posted @ 2016-10-08 16:51 三驾马车阅读(455) 评论(0) 推荐(0) 编辑

mongodb安装

摘要：1. mongodb下载,安装,启动下载地址mongodb官网: https://www.mongodb.org/下载mongodb-linux-x86_64-rhel70-3.2.0.tgz。1.1 通过SSH拷贝到目标服务器，暂存路径如：opt/soft/目录下。1.2 解压：tar zvxf 阅读全文

posted @ 2016-10-08 16:49 三驾马车阅读(137) 评论(0) 推荐(0) 编辑

分布式计算

摘要：1. MapReduce分布式计算框架。 2. 文件下载的分布式计算 2.1 中心索引的P2P方式。 2.2 分布式结构化方式。 2.3 改进模型阅读全文

posted @ 2016-10-08 10:59 三驾马车阅读(128) 评论(0) 推荐(0) 编辑

分布式缓存（Cache）

摘要：1. 单层分布式cache. 如memcache. 2. 多层分布式cache. 服务端和调用者本地都存放cache, 使用udp组播解决cache同步更新问题，但不可靠。 3. 改进的多层分布式cache. 阅读全文

posted @ 2016-10-08 10:41 三驾马车阅读(674) 评论(0) 推荐(0) 编辑

分布式数据库

摘要：1. 基于列的分布式关系型数据库 2. 基于代理的分布式数据库 3. 基于列的结构化分布式数据库阅读全文

posted @ 2016-10-08 10:31 三驾马车阅读(162) 评论(0) 推荐(0) 编辑

分布式存储

摘要：普通存储： DAS:直连式存储。 NAS:连接式存储。 SAN:存储网络。大文件分布存储： GFS:Google File System(Google文件系统). HDFS: Hadoop Distributed File System(Hadoop分布式文件系统). 小文件分布存储： ADFS: 阅读全文

posted @ 2016-10-08 09:11 三驾马车阅读(193) 评论(0) 推荐(0) 编辑

雅虎网站页面性能优化的34条黄金守则

摘要：原文地址:https://developer.yahoo.com/performance/rules.html 1、尽量减少HTTP请求次数终端用户响应的时间中，有80%用于下载各项内容。这部分时间包括下载页面中的图像、样式表、脚本、Flash等。通过减少页面中的元素可以减少HTTP请求的次数阅读全文

posted @ 2016-10-01 09:18 三驾马车阅读(292) 评论(0) 推荐(0) 编辑

10 2016 档案

公告