摘要： 入行十几年了，做了不少分布计算、并行计算、内存计算、海量数据处理的项目，按照现在的分类，这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目，只三个。 第一个是我们接到的视频分享网站的视频转码的订单，网站名字就不说了，有替人宣传嫌疑。他们情况是这样，视频... 阅读全文

摘要： 工业1.0 机械制造时代，即通过水力和蒸汽机实现工厂机械化 时间：18世纪60年代至19世纪中期，瓦特是先驱。 标志性事件：1776年制造出第一台有实用价值的蒸汽机。 工业2.0 电气化与自动化时代，即在劳动分工基础上采用内燃机/电力驱动产品的大规模生产 时间：19世纪后半期至20世纪初，... 阅读全文

摘要： 我的上一篇BLOG《大数据处理的两种模式》，谈了大数据基于内存的流式处理和基于硬盘的存储处理。比较这两种处理模式，因为内存的处理性能是硬盘的N个量级，所以流式处理效率要远远高于存储处理，但是流式处理本身有一个缺点，或者说是隐忧，上次没有提到，今天来说一下。 这要从数据处... 阅读全文

摘要： 大数据的处理方式有两种：基于内存的流式处理和基于硬盘的存储处理。 流式处理就好象是在经过的数据面前建一道水闸。数据流过这里，经过闸门的时候，就进行筛选过滤，分析出有价值的内容，然后丢弃，以后也不再使用。 存储处理则是建一个储水池。数据先放进入储水池存起来... 阅读全文

摘要： Laxcus大数据管理系统提供了基于Diffuse/Converge分布算法的计算能力。算法的具体介绍详见《Laxcus:大数据处理系统》一文。本图展示了在集群环境下的随机数产生、排序、显示、存储的过程。 图中终端窗口的文字解释： “conduct... 阅读全文

摘要： 可类化(Classable)是Laxcus大数据管理系统提供的一项基础功能，它能够将类转化为一串字节数组，或者逆向将字节数组转化为一个类。这项功能与JAVA提供的序列化(Serializable)非常相似，但是不同之处在于，可类化是可以由用户自己定义的，包括数据的选择、数据的样式... 阅读全文

摘要： 读明季北略，王承恩哭梦。崇祯晚上睡觉做梦，梦见一个“有”字。上朝问大臣们啥意思，群臣纷纷祝贺说大吉，唯独太监王承恩嗷啕大哭。崇祯问你哭啥？王说，“有”是“大”字少一捺，“明”字少一日，大明要失半壁江山。这事真的假的？太神奇了，哪位翻翻明实录可有这个记录，计六奇老先生是怎么知道的？... 阅读全文

摘要： 上周五Laxcus可类化(Classable)收官测试，整个测试过程行云流水，一气呵成。数据量小了，网络传输快了，数据计算效率提高了。晚上老马过来，庆功加小聚，席间扯淡，谈起中国历朝的开国君主们，出身寒微的，当数汉朝的刘邦和明朝的朱元璋，但二人却还是大不一样。下来就细细说来。 ... 阅读全文

摘要： 现在的计算机的数据处理工作，无论用哪个牌子的计算机，哪种操作系统，何种软件，处理方式都分为两种：集中模式和分布模式，下面说说它们各自的特点。 集中模式是把数据的存储和计算能力放在一台计算机上，典型如现在普遍使用的数据库。用户通过终端连上主机，主机接受用户的指令执行... 阅读全文

摘要： 正则表达式语法检测器，自己写的，用来检测laxcus源码里面的sql/conduct语法。放在百度云里面，javaer可以去试试，用完给个意见帮我完善，谢了！ 阅读全文