08 2014 档案
摘要:教你如何迅速秒杀掉:99%的海量数据处理面试题作者:July出处:结构之法算法之道blog前言 一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对...
阅读全文
摘要:需求: 现有一个1G左右的日志文件,大约有500多万行, 用php返回最后几行的内容。在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能 很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函...
阅读全文
摘要:第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法, 比如模1000,把整个大文件映射为1000个小文件,再找出每个小...
阅读全文
摘要:为了给高并发情况下的mysql进行更好的优化,有必要了解一下mysql查询更新时的锁表机制。一、概述MySQL有三种锁的级别:页级、表级、行级。MyISAM和MEMORY存储引擎采用的是表级锁(table-level locking);BDB存储引擎采用的是页面锁(page-level lockin...
阅读全文
摘要:一、问:如果有一张表,里面有个字段为id的自增主键,当已经向表里面插入了10条数据之后,删除了id为8,9,10的数据,再把mysql重启,之后再插入一条数据,那么这条数据的id值应该是多少,是8,还是11? 答:如果表的类型为MyISAM,那么是11。如果表的类型为InnoDB,则id为8。 这是...
阅读全文
摘要:InnoDB与MyISAM的最大不同有两点:一是支持事务(TRANSACTION);二是采用了行级锁。行级锁与表级锁本来就有许多不同之处,另外,事务的引入也带来了一些新问题。下面我们先介绍一点背景知识,然后详细讨论InnoDB的锁问题。 背景知识1.事务(Transaction)及其ACID属性 事...
阅读全文
摘要:MyISAM存储引擎只支持表锁,这也是MySQL开始几个版本中唯一支持的锁类型。随着应用对事务完整性和并发性 要求的不断提高,MySQL才开始开发基于事务的存储引擎,后来慢慢出现了支持页锁的BDB存储引擎和支持行锁的InnoDB存储引擎(实际InnoDB 是单独的一个公司,现在已经被Oracle公司...
阅读全文
摘要:锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(如CPU、RAM、I/O 等)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访 问性能的一个重要因素。从这个角度来说,锁对数据...
阅读全文
摘要:http://www.uml.org.cn/sjjm/201211212.asp
阅读全文
摘要:平常我们谈到网络缓存技术,大多是以页面为单位的,比如,新闻网站中将执行后的结果,缓存为一个静态html文件,下次访问时就直接访问这个静态页面了! 减轻了服务器压力!但是,如果一个页面大部分是可静态的,但是有一部分却需要是动态的咋办呢? 如下图中画红线处,就需要动态,时时探测用户是否登录!这就可以使用...
阅读全文
摘要:一:fopen ( string $filename , string $mode [, bool $use_include_path = false [, resource $context ]] )注意一:如果 $mode = 'r' 时候,$filename 不存在 或者 $mode...
阅读全文
摘要:新浪IP地址查询接口:http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=js搜狐IP地址查询接口:http://pv.sohu.com/cityjson谷歌IP地址查询接口:http://j.maxmind.com/app/geoip...
阅读全文
摘要:php使用memcache存储session http://blog.csdn.net/weilee2009/article/details/7658260
阅读全文
摘要:memcahc特性:在 Memcached中可以保存的item数据量是没有限制的,只要内存足够 。 Memcached单进程在32位系统中最大使用内存为2G,若在64位系统则没有限制,这是由于32位系统限制单进程最多可使用2G内存,要使用更多内存,可以分多个端口开启多个Memcached进程 ,最...
阅读全文
摘要:1. 对表进行优化 ( 优化表主要作用是消除删除或者更新造成的空间浪费)2. 对表进行分析(分析关键字的分布, 分析并存储MyISAM和BDB表中键的分布)3. 对表进行检查(检查表的错误,并且为MyISAM更新键的统计内容)4. 对表进行修复(修复被破坏的MyISAM表)1.分析表MySQL中使用...
阅读全文
摘要:一: 在php中如果我们统一编码是没有什么问题了,但是很多朋友会发现一个问题就是utf8和gbk编码中返回的值会有所区别: php 在utf8和gbk编码下使用serialize和unserialize互相序列化和反序列化会出现无法成功反序列化的问题。 问题出现的原因主要是在不同编码下strlen函
阅读全文