11 2019 档案
摘要：物理地址 物理内存中的真实地址 逻辑地址 指机器语言指令中用来指定一个操作数或一条指令的地址，由一个段(segment)和偏移量(offset)组成，说地直白点就是CPU拿到的地址 虚拟地址 每个进程所使用的地址，即虚拟内存中的地址。 虚拟内存 虚拟内存是计算机系统内存管理的一种技术。它使得应用程序
阅读全文
摘要：写 #覆盖写 with open(f_path,'w') as f: f.write('I love programming!\n') f.write('I love English too!\n') f.flush() #立即写入，不先写入缓存 #追加 with open(f_path,'a')
阅读全文
摘要：In [1]: a = 5.026 In [2]: b = 5.000 In [3]: round(a,2) Out[3]: 5.03 In [4]: round(b,2) Out[4]: 5.0 In [5]: '%.2f' % a Out[5]: '5.03' In [6]: '%.2f' %
阅读全文
摘要：我们知道文件都有文件名与数据，这在 Linux 上被分成两个部分：用户数据 (user data) 与元数据 (metadata)。 用户数据，即文件数据块 (data block)，数据块是记录文件真实内容的地方； 元数据则是文件的附加属性，如文件名、文件大小、创建时间、所有者、文件所在的inod
阅读全文
摘要：读 import json with open("D:\\研究生工作\\dataset generation\\file\\obj_vec_dict.json") as f: obj_vec = json.load(f) 写 import json with open("D:\\研究生工作\\dat
阅读全文
摘要：基本用法 import matplotlib.pyplot as plt obj_list = obj_list[:100] x_axis = range(len(obj_list)) y_axis = [] for x in obj_list: y_axis.append(x[1]) plt.fi
阅读全文
摘要：sed: 模式空间默认不编辑原文件，仅对模式空间中的数据做处理；而后，处理结束后，将模式空间打印至屏幕； sed [options] 'AddressCommand' file ... -n: 静默模式，不再默认显示模式空间中的内容 -i: 直接修改原文件 -e SCRIPT -e SCRIPT:可
阅读全文
摘要：编程语言常识 编译器，解释器 编程语言：机器语言、汇编语言、高级语言 静态语言：编译型语言 强类型(变量在使用前一定要先声明) 事先转换成可执行格式 C、C++、JAVA、C# 动态语言：解释型语言， on the fly 弱类型 边解释边执行 PHP、SHELL、python、perl 面向过程：
阅读全文
摘要：管道（匿名） 管道的概念 本质： 内核缓冲区 伪文件（不占用磁盘空间） 特点： 包含了读端和写端两个部分，对应两个文件描述符 数据从写段流入，读端流出 操作管道的进程被销毁后，管道自动被释放 管道默认是阻塞的 管道的原理 内部实现方式： 环形队列 缓冲区大小： 默认为4k，但可根据实际情况调整 管道
阅读全文
摘要：系统会默认设置IO设备 默认输出设备：标准输出，STDOUT, 1默认输入设备：标准输入, STDIN, 0标准错误输出：STDERR, 2 标准输入：键盘标准输出和错误输出：显示器 I/O重定向：改变输入或输出来源 输出重定向符号：>（覆盖输出），>>（追加输出） 输入重定向符号：< <<：Her
阅读全文
摘要：图编辑距离概念 两个图的编辑距离定义为一个图通过插入、删除和转换等操作变换为另一个图的最小代价。 最优的图编辑距离是一个np难问题，算法时间复杂度会随着图中的顶点数的增加程指数式上涨。 论文中的符合标记 A* 算法 A* 算法是一种最小代价优先的算法，代价函数 g(p) 衡量了搜索树中根节点到当前节
阅读全文
摘要：权限 r, w, x 文件：r：可读，可以使用类似cat等命令查看文件内容；w：可写，可以编辑或删除此文件；x: 可执行，eXacutable，可以命令提示符下当作命令提交给内核运行； 目录：r: 可以对此目录执行ls以列出内部的所有文件；w: 可以在此目录创建文件；x: 可以使用cd切换进此目录，
阅读全文
摘要：shell 和 bash Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 bash 是一种 shell bash基本特
阅读全文
摘要：各种数值数据在计算机中表示的形式称为机器数。机器数对应的实际数值称为数的真值。 定点数和浮点数区别 定点数 小数点的位置固定不变 浮点数 F = M * 2E M：尾数 E：阶码 浮点数表示一般包括：数符，阶符，阶码数值部分，尾数数值部分 原码 定义 （1）整数 \[\left[ X \right]
阅读全文
摘要：1、长度不能超过255个字符；2、不能使用/当文件名3、严格区分大小写
阅读全文
摘要：/boot: 系统启动相关的文件，如内核、initrd，以及grub(bootloader)/dev: 设备文件 块设备：随机访问，数据块 字符设备：线性访问，按字符为单位 设备号：主设备号（major）和次设备号（minor）/etc：配置文件/home：用户的家目录，每一个用户的家目录通常默认为
阅读全文
摘要：ls命令详解 -l：长格式 文件类型： -：普通文件 (f) d: 目录文件 b: 块设备文件 (block) c: 字符设备文件 (character) l: 符号链接文件(symbolic link file) p: 命令管道文件(pipe) s: 套接字文件(socket) 文件权限：9位，每
阅读全文
摘要：论文创新点： 提出了一种能处理稀疏数据的提升生树算法 描述了一种加权分位数方法的大概流程，能够用于处理近似树学习中的实例权重。 并行和分布式设计让这个算法有非常快的训练速度。 XGBoost能够在外存上进行计算，使其能处理更大的数据量。 提升树模型小结 提升树模型有多颗树组成，每颗树都把一个样本映射
阅读全文
摘要：Flume简介 • Apache软件基金顶级项目 • Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动 大规模日志信息从多种不同的数据源到一个集中的数据存储中心（HDFS、 HBase） • 功能： – 支持在日志系统中定制各类数据发送方，用于收集数据 – Flume
阅读全文
摘要：创建表 创建内部表 create table article( 列名 类型) row format delimited fields terminated by '\n'; //列分隔符 创建外部表并从hdfs上载入数据 create external table rating_table_e (
阅读全文
摘要：启动hbase：start-hbase.sh 停止hbase：stop-hbase.sh 进入hbase命令行端口：hbase shell 查看帮助信息：help 查看服务器状态：status 查看版本信息：version 查看当前用户：whoami 查看表相关命令的帮助信息：table_help
阅读全文
摘要：背景 • 引入原因： – 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码 – 对于统计任务，只能由动MapReduce的程序员才能搞定 – 耗时耗力，更多精力没有有效的释放出来 • Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行
阅读全文
摘要：Hbase介绍 • HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现 的编程语言为 Java。 • 是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存 储海量稀疏的数据。 • 特性： – 高可靠 – 高并
阅读全文
