05 2019 档案

python深浅copy
摘要：预备知识一——python的变量及其存储 在详细的了解python中赋值、copy和deepcopy之前，了解一下python内存中变量的存储情况。 在高级语言中，变量是对内存及其地址的抽象。对于python而言，python的一切变量都是对象，变量的存储，采用了引用语义的方式，存储的只是一个变量的 阅读全文
posted @ 2019-05-31 11:37 wqbin 阅读(244) 评论(0) 推荐(0)
awk命令
摘要：https://www.cnblogs.com/quincyhu/p/5884390.html#3652351 https://www.cnblogs.com/ginvip/p/6352157.html https://www.cnblogs.com/emanlee/p/3327576.html s 阅读全文
posted @ 2019-05-28 22:36 wqbin 阅读(174) 评论(0) 推荐(0)
head&tail命令
摘要：1.tail tail命令用途是按照要求将指定的文件的最后部分输出到标准设备， 一般是终端，通俗来讲，就是把某个档案文件的最后几行显示到终端上， 如果该档案有更新，tail会自动刷新，确保你看到最新的档案内容。 tail命令语法 tail [ -f ] [ -c Number | -n Number 阅读全文
posted @ 2019-05-27 19:28 wqbin 阅读(397) 评论(0) 推荐(0)
cut命令
摘要：定义 cut是一个选取命令，选取文件中的指定字符，主要有如下用途 （1）文件内容查看 （2）显示行中的指定部分，删除文件中指定字段 （3）显示文件的指定内容。 语法格式 cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file] 使用说明cut 命令从 阅读全文
posted @ 2019-05-27 16:24 wqbin 阅读(3416) 评论(0) 推荐(0)
理解inode
摘要：一、inode是什么？ 理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这 阅读全文
posted @ 2019-05-27 13:47 wqbin 阅读(573) 评论(0) 推荐(0)
linux命令详解之ls命令
摘要：ls命令概述 ls命令用于显示文件目录列表，和Windows系统下DOS命令dir类似。当执行ls命令时，默认显示的只有非隐藏文件的文件名、以文件名进行排序及文件名代表的颜色显示。当不加参数时，默认列出当前目录的列表信息。ls命令使用频率非常高，参数也非常多，多达四五十个，本文只介绍一部分常用的参数 阅读全文
posted @ 2019-05-27 11:35 wqbin 阅读(26257) 评论(0) 推荐(0)
python时间 time模块和datetime模块
摘要：一、time模块 time模块中时间表现的格式主要有三种： a、timestamp时间戳，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量 b、struct_time时间元组，共有九个元素组。 c、format time 格式化时间，已格式化的结构使时间更具可读性。包括自定义格 阅读全文
posted @ 2019-05-23 21:27 wqbin 阅读(262) 评论(0) 推荐(0)
tee命令
摘要：tee 功能说明：读取标准输入的数据，并将其内容输出成文件。 语 法：tee [-ai][--help][--version][文件…] 补充说明：tee指令会从标准输入设备读取数据，将其内容输出到标准输出设备,同时保存成文件。我们可利用tee把管道导入的数据存成文件，甚至一次保存数份文件。 参 数 阅读全文
posted @ 2019-05-23 15:21 wqbin 阅读(563) 评论(0) 推荐(0)
echo命令
摘要：三个参数： -n : 关闭输出文字时的自动换行 -e : 开启转义字符功能( \ ) -E : (默认)关闭转义字符功能( \ ) echo [ -n ] 字符串其中选项n表示输出文字后不换行；字符串能加引号，也能不加引号。用echo命令输出加引号的字符串时，将字符串原样输出； 用echo命令输出不 阅读全文
posted @ 2019-05-23 14:56 wqbin 阅读(793) 评论(0) 推荐(0)
shell脚本日志指南（1）
摘要：1.初始化日志文件。对文件的大小进行判断和压缩 2.写日志 阅读全文
posted @ 2019-05-23 11:31 wqbin 阅读(1088) 评论(0) 推荐(0)
python 的ConfigParser模块
摘要：Python 之ConfigParser模块 一、ConfigParser简介 ConfigParser 是用来读取配置文件的包。配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。 括号“[ ]”内包含的为section。紧接着 阅读全文
posted @ 2019-05-23 09:22 wqbin 阅读(287) 评论(0) 推荐(0)
标准输出的思考
摘要：test3.sh 为什么第二次标准输出 1 之后 就不往下运行了 结论： 运行第二个echo "std_out:$?" 又把标准输出 $？重新置值成了 0 所以 if [ $? -ne 0 ] 不成立 就不运行下面的了 get ：echo命令的标准输出是 0 OK：全部运行 代码来源： 对调度脚本日 阅读全文
posted @ 2019-05-23 01:21 wqbin 阅读(209) 评论(0) 推荐(0)
shell 1>&2 2>&1 &>filename重定向的含义和区别
摘要：讲解">&1"和">&2"的意思.其实这是两种输出. 在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是: 0 是一个文件描述符，表示标准输入(stdin)1 是一个文件描述符，表示标准输出(stdout) 2 是一个文件描述符，表示标准错误(stde 阅读全文
posted @ 2019-05-21 17:41 wqbin 阅读(1144) 评论(0) 推荐(0)
date命令
摘要：1、命令：date 2、命令功能：date 可以用来显示或设定系统的日期与时间。 3、命令参数 4、日期格式字符串列表 5、实例 格式化输出： 特别注意：+ 符号 和date有空格 和参数没有空格 输出昨天日期： 输出1000秒后的时间 传说中的 1234567890 秒： 普通转格式： apach 阅读全文
posted @ 2019-05-21 16:26 wqbin 阅读(558) 评论(0) 推荐(0)
tr命令
摘要：什么是tr命令？tr,translate的简写 在这里用到的意思是转化，转变,转换，在linux下输入tr --help查看一下提示： tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种 阅读全文
posted @ 2019-05-21 14:28 wqbin 阅读(933) 评论(0) 推荐(0)
野性的呼唤 第三章
摘要：1.His had softened during the many generations since the day his last wild ancestor was tamed by a cave-dweller or riverman。 2.This was a greatrelief, 阅读全文
posted @ 2019-05-20 19:21 wqbin 阅读(550) 评论(0) 推荐(0)
SourceTree的基本使用
摘要：1. SourceTree是什么 拥有可视化界面的项目版本控制软件，适用于git项目管理 window、mac可用 2. 获取项目代码 1. 点击克隆/新建 2. 在弹出框中输入项目地址，http或者ssh地址都可以 如果箭头指向的仓库类型表明“这不是一个标准的Git仓库”，可能是有以下原因 1) 阅读全文
posted @ 2019-05-20 11:32 wqbin 阅读(435) 评论(0) 推荐(0)
SAP的春天回来么？
摘要：作为一个财务出身的码农，经常会关注在财务和编程的交叉领域，新兴的细分领域有:德勤的财务机器人，RPA机器人，FINTECH等等。 但是非要说一个便是sap。如果呈把用友成立之年算作sap元年，1988年距今已经31年，刚过而立之年。 阅读全文
posted @ 2019-05-19 22:35 wqbin 阅读(205) 评论(0) 推荐(0)
dirname命令和basename命令
摘要：dirname返回文件所在目录路径，而basename则相反，去掉路径返回最后的文件名。 direname： 用途 从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分） 语法 dirname String 描述 basename： 用途 返回一个字符串参数的基本 阅读全文
posted @ 2019-05-19 21:50 wqbin 阅读(1034) 评论(0) 推荐(0)
一个简单的ETL脚本的内容
摘要：一个简单的ETL脚本应该包含如下内容 1.注释 2.设置字符集 3.基础路径参数 脚本路径 票据路径 日志路径 当前SHELL的脚本别名：declare SHELL_NAME=“${basename $0 |sed s/\./_/g}” eg:sss.sh =>sss_sh 票据文件 4.集群的相关 阅读全文
posted @ 2019-05-19 21:29 wqbin 阅读(3372) 评论(0) 推荐(1)
轮子：读取config.ini文件
摘要：python： 把config.ini文件成map返回 shell: shell脚本比较简单。 直接source config.ini 就会把等值对（变量和对应的值）传递到linux环境 阅读全文
posted @ 2019-05-19 21:06 wqbin 阅读(396) 评论(0) 推荐(0)
sed基础语法
摘要：sed 太强大了 参考博客如下：https://www.cnblogs.com/ctaixw/p/5860221.html sed： Stream Editor文本流编辑，sed是一个“非交互式的”面向字符流的编辑器。 能同时处理多个文件多行的内容，可以不对原文件改动，把整个文件输入到屏幕,可以把只 阅读全文
posted @ 2019-05-19 00:54 wqbin 阅读(2361) 评论(0) 推荐(0)
hivesql之str_to_map函数
摘要：str_to_map(字符串参数, 分隔符1, 分隔符2) 使用两个分隔符将文本拆分为键值对。 分隔符1将文本分成K-V对，分隔符2分割每个K-V对。对于分隔符1默认分隔符是 ','，对于分隔符2默认分隔符是 '=' 我们先介绍一下这个函数的应用场景。 Z表又被称之为拉链表。在同一个分区中主键是st 阅读全文
posted @ 2019-05-18 20:35 wqbin 阅读(15453) 评论(0) 推荐(0)
shell中的控制流结构
摘要：shell中的控制流结构 1.if...then..else..fi语句 2.case语句 3.for循环 4.until 语句 5.while循环 6.break控制 7.continue 控制 1.if...then..else..fi语句 2.case语句 case取值后面必须是为单词in，每 阅读全文
posted @ 2019-05-18 20:23 wqbin 阅读(485) 评论(0) 推荐(0)
shell变量、函数和数组以及字符串的截取
摘要：一、变量 1.shell变量名 （1）可以由字母、数字、下划线等字符组成。但是第一个字符必须是字母或者下划线。 （2）若果变量中包含下划线（_）则要特别注意，$project_svn_$date.tar.gz 和 {$project_svn}_$date.tar.gz。第一个shell理解为$pro 阅读全文
posted @ 2019-05-18 17:39 wqbin 阅读(2372) 评论(0) 推荐(0)
华为集群后killsql命令和查看mr占用的磁盘空间
摘要：(1) linux后台：yarn application -list 找到相应的命令 粘贴job （2）去FI manager 的 yarn上粘贴job 看详细过程 （3）确定后 在linux后台 yarn application -kil xxxx 都是因为华为的集群对hivesql脚本的给出了部 阅读全文
posted @ 2019-05-18 16:32 wqbin 阅读(318) 评论(0) 推荐(0)
linux的逻辑运算符
摘要：1：expression :用于计算括号中的组合表达式，如果整个表达式的计算按结果为真，则测试结果也为真。 2：！exp:客队表达式进行逻辑非运算，即对测试结果求反 3：符合 -a 或者 && 表示逻辑与运算 4：符号-o 或 || :表示逻辑或运算 demo: BACKDIR=/data/back 阅读全文
posted @ 2019-05-18 16:24 wqbin 阅读(1528) 评论(0) 推荐(0)
test命令
摘要：test语句与if/then else 和case使结构使用，构成了Shell编程的控制转移结构。 test命令的主要功能是 （1）计算紧随其后的表达式 （2）检查文件的属性 （3）比较字符串 （4）字符串含有的整数值 ==>然后以表达式的计算结果作为test的命令出口状态 重点是：test 可以用 阅读全文
posted @ 2019-05-18 15:24 wqbin 阅读(791) 评论(0) 推荐(0)
let 命令
摘要：let命令取代并扩展了expr命令的整数算数符号。 let除了支持5中基础的运算符。 还支持+=，-=，*=，、-，%= 自变运算符。 以及**幂次运算符。 在变量计算中不需要加上$来表示变量。 对空格比较严格 阅读全文
posted @ 2019-05-18 14:36 wqbin 阅读(377) 评论(0) 推荐(0)
expr命令
摘要：expr命令可以实现数值运算、数值或字符串比较、字符串匹配、字符串提取、字符串长度计算等功能。它还具有几个特殊功能，判断变量或参数是否为整数、是否为空、是否为0等。 3.逻辑关系表达式 4.expr'使用示例 (1)."string : REGEX"字符串匹配示例。要输出匹配到的字符串结果，需要使用 阅读全文
posted @ 2019-05-17 22:47 wqbin 阅读(498) 评论(0) 推荐(0)
shell中条件判断if中的-z到-d
摘要：shell中条件判断if中的-z到-d的意思 [ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE ] 如果 FILE 存在且是一个目录则 阅读全文
posted @ 2019-05-06 21:49 wqbin 阅读(1968) 评论(0) 推荐(0)
特征选择
摘要：特征选择 (feature_selection) 特征选择的目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。 (1)子集 阅读全文
posted @ 2019-05-03 16:59 wqbin 阅读(1347) 评论(0) 推荐(0)