2019年4月2日
mysql连接查询
摘要： 连接查询 join SQL中将连接查询分成四类: 内连接,外连接,自然连接和交叉连接 交叉连接： cross join 从一张表中循环取出每一条记录, 每条记录都去另外一张表进行匹配: 匹配一定保留(没有条件匹配), 而连接本身字段就会增加(保留),最终形成的结果叫做: 笛卡尔积。（不常用） 基本语 阅读全文
posted @ 2019-04-02 20:35 举个栗子^-^ 阅读(158) 评论(0) 推荐(0) 编辑
**MapReduce计算框架
摘要： 需要解决的： 如何为每个数据块分配一个Map计算任务，也就是代码是如何发送到数据块所在的服务器上面的，发送后如何启动的，启动之后如何知道自己需要计算的数据在文件什么位置（BlockID是什么）。 处于不同服务器的map输出的<key,value>,如何把相同的key聚合在一起发送给Reduce任务处 阅读全文
posted @ 2019-04-02 20:14 举个栗子^-^ 阅读(232) 评论(0) 推荐(0) 编辑
汇总各个部门当前员工的title类型的分配数目，结果给出部门编号dept_no、dept_name、其当前员工所有的title以及该类型title对应的数目count
摘要： CREATE TABLE `departments` (`dept_no` char(4) NOT NULL,`dept_name` varchar(40) NOT NULL,PRIMARY KEY (`dept_no`));CREATE TABLE `dept_emp` (`emp_no` int 阅读全文
posted @ 2019-04-02 19:40 举个栗子^-^ 阅读(952) 评论(0) 推荐(0) 编辑
MapReduce编程模型
摘要： 建一个hash表，将文本中的每个词都放在这个hash表里面，如果这个词第一次放入，就新建一个kry，Value对，key是这个词，Value是1；如果已经有这个词，那么给Value+1。 reduce函数的计算过程：将这个集合中的1求和，再将单词（word）和这个和（sum）组成一个<key,Val 阅读全文
posted @ 2019-04-02 10:21 举个栗子^-^ 阅读(193) 评论(0) 推荐(0) 编辑
2019年4月1日
TCP/IP之大明邮差
摘要： 大明王朝天启四年， 清晨。 天色刚蒙蒙亮，我就赶着装满货物的马车来到了南城门， 这里是集中处理货物的地方 ， 一队一队的马车都来到这里， 城头的士兵带着头盔，身披盔甲， 手持长枪， 虎视眈眈的注视这下面的动静。 城门口的大棚里乱哄哄的，是一群人围在一起赌钱， 这些家伙都穿着同样的衣服， 前胸和后背写 阅读全文
posted @ 2019-04-01 19:37 举个栗子^-^ 阅读(306) 评论(0) 推荐(0) 编辑
git从远程仓库gitLab上拉取指定分支到本地仓库
摘要： 例如：将gitLab 上的dev分支拉取到本地 1》与远程仓库建立连接：git remote add origin XXXXX.git 2》使用git branch 查看本地是否具有dev分支 3》如果没有 git fetch origin dev 4》git checkout -b dev ori 阅读全文
posted @ 2019-04-01 09:34 举个栗子^-^ 阅读(4508) 评论(0) 推荐(0) 编辑
2019年3月29日
HDFS
摘要： 数据块多份复制储存的示意： 对于/users/sameerp/data/part-0,r:2,{1,3},…… 复制备份数2，存储的blockID为1和3 block1 的两个备份存储在DataNode0和DataNode2；block3的两个备份储存在DataNode4和DataNode6两个服务 阅读全文
posted @ 2019-03-29 20:45 举个栗子^-^ 阅读(148) 评论(0) 推荐(0) 编辑
从RAID看垂直伸缩到水平伸缩的演化
摘要： 磁盘的读写过程，最消耗时间的地方就是在磁盘中磁道寻址的过程，而一旦寻址完成，写入数据的速度很快。 连续写入：写入只寻址一次 存储位置与逻辑位置相邻 不用多次寻址随机写入：每写一次 便寻址一次 增加了磁盘的寻址时间 为什么很多数据库索引采用b+树，而不是完全二叉树？因为b+树的节点包含多个信息，可以连 阅读全文
posted @ 2019-03-29 14:59 举个栗子^-^ 阅读(298) 评论(0) 推荐(0) 编辑
2019年3月28日
移动计算比移动数据更划算
摘要： 杀毒软件从服务器更新病毒库，然后在 Windows 内查杀病毒，也是一种移动计算（病毒库）比移动数据（Windows 可能感染病毒的程序）更划算的例子。 大数据的分布式都是有状态的，这个无状态是网站架构里的无状态应用：：无状态服务的主要好处是服务间无需同步状态或者数据，便于扩缩容。 阅读全文
posted @ 2019-03-28 20:20 举个栗子^-^ 阅读(513) 评论(0) 推荐(0) 编辑
2019年3月27日
大数据应用领域
摘要： 收集数据--分析，计算--建立模型--预测判断 阅读全文
posted @ 2019-03-27 19:55 举个栗子^-^ 阅读(185) 评论(0) 推荐(0) 编辑