Hadoop之MapReduce

摘要: MAP: 映射、变换、过滤 1进N出 Reduce: 分解、缩小、归纳 一组进N出 (KEY,VALUE): 键值对的键划分数据分组 MapReduce流程图 MapTask 1.切片会格式化,然后调用map方法 2.map的输出要映射成KV,KV会参与分区计算,算出分区号P,最终输出(K,V,P) 阅读全文
posted @ 2020-04-22 20:46 我想做个好人 阅读(158) 评论(0) 推荐(0) 编辑

Hadoop之HDFS理解

摘要: 理论知识点 存储模型 文件线性按字节切割成block,具有offset,id(所有的文件都可以看作字节数组) 文件与文件的block大小可以不一样 一个文件除了最后一个block,其他的block大小一致 block的大小根据硬件的I/O特性调整(1.X默认是64M,2.X默认是128M) bloc 阅读全文
posted @ 2020-04-19 19:08 我想做个好人 阅读(235) 评论(0) 推荐(0) 编辑

Linux进程与程序

摘要: 原创作品转载请注明出处 + https://github.com/mengning/linuxkernel/ 学号 093 实验内容 从整体上理解进程创建、可执行文件的加载和进程执行进程切换 重点理解分析fork、execve和进程切换 实验环境 实验楼 实验步骤 一 、阅读task_struct数 阅读全文
posted @ 2019-03-26 00:02 我想做个好人 阅读(264) 评论(0) 推荐(0) 编辑

跟踪分析Linux内核5.0系统调用处理过程

摘要: 093原创作品转载请注明出处 + https://github.com/mengning/linuxkernel/ 实验内容 下载并编译Linux5.0内核 选择系统调用号进行跟踪 实验环境 Ubuntu 18.04 VMware workstation Pro 14 实验步骤 1.编译Linux5 阅读全文
posted @ 2019-03-18 18:22 我想做个好人 阅读(731) 评论(0) 推荐(0) 编辑

基于mykernel完成时间片轮转多道程序内核

摘要: 学号093 原创作品,转载请注明出处。 本实验资源来自 https://github.com/mengning/linuxkernel/ 实验目的 分析进程的启动和进程的切换机制 理解操作系统是如何工作 实验环境 实验楼 实验步骤 cd LinuxKernel/linux-3.9.4 rm -rf 阅读全文
posted @ 2019-03-10 17:01 我想做个好人 阅读(223) 评论(0) 推荐(0) 编辑

win10_64位下搭建TensorFlow-gpu版本

摘要: 安装gpu版本首先是英伟达的显卡。 需要用到的软件有: 1.python 3.6 2.Tensorflow 1.11 3.CUDA:cuda_8.0_win10.exe 4.cuDNN: cudnn-8.0-windows10-x64-v6.0.zip 让我们开始吧~ 1.首先,下载cuda8.0版 阅读全文
posted @ 2018-10-30 00:08 我想做个好人 阅读(1523) 评论(0) 推荐(1) 编辑

天气预报项目中的观察者模式

摘要: 该项目的应用场景是: 气象局需要我们构建一套系统,这系统有两个公告牌,分别用于显示当前的实时天气和未来几天的天气预报。当气象局发布新的天气数据后,两个公告牌上显示的天气数据必须实时更新。气象局同时要求我们保证程序拥有足够的可扩展性,因为后期随时可能要新增新的公告牌。 原理: 我们用WeatherDa 阅读全文
posted @ 2018-10-15 21:59 我想做个好人 阅读(620) 评论(0) 推荐(0) 编辑

基于墨刀实现的原型化系统:外卖app

摘要: 原型化系统:小哥外卖2.0 dev 如今外卖成为越来越多年轻人的选择,外卖软件也应运而生。因此这次选择了外卖作为原型化系统的软件产品。 拓荒 小哥外卖1.0版本的测试版本最早于10月1日发布,这也是小哥外卖的第一个版本,由于第一次设计产品,经验不够导致效率低下。当时主导思想是复杂的事情先不去做,保持 阅读全文
posted @ 2018-10-03 00:07 我想做个好人 阅读(1107) 评论(0) 推荐(0) 编辑

视频剪辑软件调研

摘要: 至少选用三款产品实际使用制作短视频,并总结列举他们的基本功能特点差异(表格对比基本功能特点) 至少选用三款产品实际使用制作短视频,并总结列举他们的基本功能特点差异(表格对比基本功能特点) 小巧,且具有Premiere大约70%的功能 对于音频有一定的处理能力 工业级别的输出 可以支持批量渲染 效率高 阅读全文
posted @ 2018-09-25 20:33 我想做个好人 阅读(153) 评论(0) 推荐(0) 编辑