02 2020 档案
摘要：Sqoop 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可
阅读全文
摘要：pig Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive
阅读全文
摘要：DHFS 常用命令 hadoop fs hadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadoophadoop fs -put a.txt /user/hadoop/hadoop fs -get /user/hadoop/a.txt /had
阅读全文
摘要：Apache Hadoop 软件库是一个框架，允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。Hadoop 被设计成能够从单台服务器扩展到数以千计的服务器，每台服务器都有本地的计算和存储资源。Hadoop 的高可用性并不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障，因此能基于服
阅读全文
摘要：python有一个函数可以对文件进行操作这个函数就是 open() open (str1 , str2) 通常第一个参数我们填写文件名就好了，第二参数是填写文件打开的模式 r 表示 以只读打开 ，w 表示以写打开 ， a 表示以追加的方式的表达 如果你什么参数都不写的话，默认以只读模式打开文件。 你
阅读全文
摘要：python 相关用法 split()函数 这个是分割函数 title()方法 他可以返回字符串的首字符变成大写，这个相当于文档的开头 upper()方法 相当于将所有字符变成大写 反之 lower() 全部小写 swapcase（）方法 返会字符串大小写交换后的版本 isalnum() 方法 检查
阅读全文
摘要：我们来看看下面的这段代码。 #!/usr/bin/env python3fahrenheit = 0print("Fahrenheit Celsius") while fahrenheit <= 250: celsius = (fahrenheit - 32) / 1.8 # 转换为摄氏度print
阅读全文
摘要：我们Linux常见的系统日志都会放在 /var/log 中 日志名称 记录信息alternatives.log 系统的一些更新替代信息记录apport.log 应用程序崩溃信息记录apt/history.log 使用 apt-get 安装卸载软件的信息记录apt/term.log 使用 apt-ge
阅读全文
摘要：1、神器 TOP 命令 动态刷新试试看当前的系统运行状态。 top 第一排 内容 解释top 表示当前程序的名称11:05:18 表示当前的系统的时间up 8 days,17:12 表示该机器已经启动了多长时间1 user 表示当前系统中只有一个用户load average: 0.29,0.20,0
阅读全文
摘要：正则表达式 来自实验楼 字符描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。 $ 匹配输入字符串的结束位置。 {n} n是一个非负整数。匹配确定的n次。例如，“
阅读全文
摘要：tr 命令 tr 命令可以删除特定的某个字符 tr [option]...SET1 [SET2] 将所有的小写替换成大写 删除 "hello shiyanlou" 中所有的'o','l','h'$ echo 'hello shiyanlou' | tr -d 'olh'# 将"hello" 中的ll
阅读全文
摘要：crontab 定时任务 通俗说就是 指定某个时间执行某种时间，相信看了上篇的笔记的我们可以直接使用 大老婆 --help 与 二老婆 man 我经常用man 大老婆 ，二老婆 --help 在这里没啥用 时间间隔的单位可以是分钟、小时、日、月、周 # Example of job definiti
阅读全文
摘要：内建命令实际上是 shell 程序的一部分，其中包含的是一些比较简单的 Linux 系统命令，这些命令是写在bash源码的builtins里面的，由 shell 程序识别并在 shell 程序内部完成运行，通常在 Linux 系统加载运行时 shell 就被加载并驻留在系统内存中。而且解析内部命令
阅读全文
摘要：一 、 文件系统的操作和磁盘管理 我们可以使用df -h 查看 当前系统的磁盘信息 df -h 可以du -h 查看目录容量 du -h 以K 、M、G 为单位的 du -a 显示所有的目录中的文件大小 du -d 是查看目录深度 只查看1级目录的信息 $ du -h -d 0 ~ 只看2级目录信息
阅读全文
摘要：一、解压与压缩 文件压缩有很多，以下为大部分文件后缀命名方式。 文件后缀名 说明*.zip zip 程序打包压缩的文件*.rar rar 程序压缩的文件*.7z 7zip 程序压缩的文件*.tar tar 程序打包，未压缩的文件*.gz gzip 程序（GNU zip）压缩的文件*.xz xz 程序
阅读全文
摘要：一、环境变量 使用declare 命令来创建tmp变量 declare abc abc= hhhhh echo $abc 会显示 hhh 三种环境变量相关的命令：set，env，export 3.1 命 令 说 明set 显示当前 Shell 所有变量，包括其内建环境变量（与 Shell 外观等相关
阅读全文
摘要：1.怎么查看当前用户是谁呢？ 我们可以使用 who am i 或者 who mom likes who 命令其它常用参 参数 说明 -a 打印能打印的全部 -d 打印死掉的进程 -m 同am i,mom likes -q 打印当前登录用户数及用户名 -u 打印当前登录用户登录信息 -r 打印运行等级
阅读全文
摘要：2020年的第一篇文章！ 1、重新温习一下Linux，知道这个骚操作是怎么玩的吗？？没错，就是这个banner 工具实现的。 如果没有linux 环境的同学可以上 https://www.shiyanlou.com/courses/1/learning/?id=2 实验楼是玩耍玩耍。这个里面有模拟L
阅读全文
