01 2022 档案
摘要:lftp的用法 lftp是Linux下的一个ftp工具,支持ftp, ftps, http, https, hftp, fish, sftp, file, bittorrent等协议(支持https 和 ftps,必须编译时和 openssl library 一起编译)。lftp 内建了 shell
阅读全文
摘要:一、背景 需求: redis通过tcp来对外提供服务,client通过socket连接发起请求,每个请求在命令发出后会阻塞等待redis服务器进行处理,处理完毕后将结果返回给client。 其实和一个http的服务器类似,一问一答,请求一次给一次响应。而这个过程在排除掉redis服务本身做复杂操作时
阅读全文
摘要:目录 1、在 shell 脚本中定义变量,在 hive -e 中使用 2、通过 --hiveconf 定义变量 3、通过 --hivevar 定义变量 4、通过 -define 定义变量 操作的表: hive> select * from hbase_table_1; OK 1 zhangsan 2
阅读全文
摘要:实现功能:利用python自动连接sftp,并下载sftp中指定目录下的所有目录及文件系统环境:centos7python版本:python3使用模块包:paramiko ,若未安装,可使用 pip install paramiko 进行安装代码如下: #!/usr/bin/env python #
阅读全文
摘要:如何优雅高效的在海量数据存储与查找 对于这个问题我们首先可能会想到直接去存储这40亿个数据,当然这确实是一种方法。但是我们是否考虑过这样做的后果呢?如果你的解决方案就是上面的那种方法的话,那你可能真的没有考虑过后果。所以你有必要继续往下读。 我们先不管后果是什么,现在我来带大家看一组数据,假设这40
阅读全文