摘要： 在过去几年，关系型数据库一直是数据持久化的唯一选择，数据工作者考虑的也只是在这些传统数据库中做筛选，比如SQL Server、Oracle或者是MySQL。甚至是做一些默认的选择，比如使用.NET的一般会选择SQL Server；使用Java的可能会偏向Oracle，Ruby是MySQL，Pytho... 阅读全文

摘要： 教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结。 毕竟受文章和理论之限，本文将摒弃绝大部分的细节，只谈方法/模式论，且注重用最通俗最直白的语言阐述相关问题。最后，有一点必须强调的是，全文行文是基于面试题的分析基础之上的，具体实践过程中，还是得具体情况具体分析，且各个场景下需要考虑的... 阅读全文

摘要： 大并发大数据量请求的处理方法大并发大数据量请求一般会分为几种情况：1.大量的用户同时对系统的不同功能页面进行查找，更新操作2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作3.大量的用户同时对系统的同一个页面，同一个表进行更新操作对于第一种情况一般处理方法如下：一。对服务器层面的处理1. 调整IIS 7应用程序池队列长度由原来的默认1000改为65535。IIS Manager > ApplicationPools > Advanced SettingsQueue Length : 655352. 调整IIS 7的appConcurrentRequestLimit 阅读全文

摘要： 一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更多的人力物力，而整个系统也不可避免的形成了一个打补丁工程。所以在考虑整个系统的流程的时候，我们必须要考虑，在高并发大数据量的访问情况下，我们的系统会不会出现极端的情况。（例如：对外统计系统在7月16日出现 阅读全文

摘要： 1，订票系统案例，某航班只有一张机票，假定有1w个人打开你的网站来订票，问你如何解决并发问题(可扩展到任何高并发网站要考虑的并发读写问题)问题，1w个人来访问，票没出去前要保证大家都能看到有票，不可能一个人在看到票的时候别人就不能看了。到底谁能抢到，那得看这个人的“运气”（网络快慢等）其次考虑的问题，并发，1w个人同时点击购买，到底谁能成交？总共只有一张票。首先我们容易想到和并发相关的几个方案 ： 锁 同步同步更多指的是应用程序的层面，多个线程进来，只能一个一个的访问，java中指的是syncrinized关键字。 锁也有2个层面，一个是java中谈到的对象锁，用于线程同步；另外一个层面是数据 阅读全文

摘要： 首先说说我们公司的项目情况：1.表A，下载记录表，目前数据量在3700W左右，每天入库数据10-20W左右2.该表A未做分区3.为了加快统计下载信息（报表），现在的方案是：存储过程每晚执行数据预统，生成记录到其他表，查询统计信息时，从预统表里获取。4.服务器未作负载均衡5.应用服务器使用的是TOMCAT，数据库ORACLE 10G6.未使用缓存框架，很多信息保存在静态变量里充当缓存7.开发语言JAVA，SSH框架我想要请教的是：现在主流的高并发大数据量的开发框架是什么？包括应用服务器选用、开发框架选用、其他中间件选用。可以分别从软件、硬件方面回答。哪里有这方面的系统解决学习方案，网上的都很零散 阅读全文