Python：Rocketmq消息队列使用
摘要：rocketmq可以与kafka等一起使用，用于实时消息处理。 安装rocketmq： pip install rocketmq [-i https://pypi.tuna.tsinghua.edu.cn/simple] 生产消息producer： from rocketmq.client impo
阅读全文
posted @ 2020-11-22 23:55
随笔分类 - linux
linux相关
Linux的nohup命令使用 —— 在服务器后台一直执行程序
摘要：nohup结合&的一般使用方式： nohup some_command & nohup some_command >some_file.log 2>&1 & nohup是no hang up 的缩写，表示不挂断，忽略所有挂断（SIGHUP）信号 —— 即可以使程序一直执行。 在nohup命令末尾加上
阅读全文
posted @ 2020-11-18 23:25
kafka 消费数据时出现error：java.net.UnknownHostException xxxx.xxxx.xxxx
摘要：在Linux中安装好kafka后，消费数据时如果报错：java.net.UnknownHostException xxxx.xxxx.xxxx 此时，原因主要是主机名和地址不对应造成。 解决方法： 在/etc/hosts文件中配置中加上：安装有kafka集群的3台机器的IP地址和主机名。例如： 17
阅读全文
posted @ 2020-11-01 22:24
Linux 安装pycharm，清除缓存，scp传输文件
摘要：1. linux安装 anaconda 在安装pycharm之前，如果要安装anaconda，可以先下载（清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/）： 然后例如：bash Anaconda3-5.2.0-Linux-x86
阅读全文
posted @ 2020-10-14 23:08
crontab设置定时任务
摘要：crontab用于配置定时任务，主要参数是： -e：编辑当前用户的定时任务 -r：删除当前用户的定时任务 -l：列出当前用户的定时任务 其一般格式是： * * * * * shell_command # 第一个*号表示分钟：范围在0-59 # 第二个*号表示小时：0-23 # 第三个*号表示一个月的
阅读全文
posted @ 2020-08-30 23:15
linux使用shell脚本定时执行python代码
摘要：在linux上设置定时任务或者使用shell脚本都可以执行python代码；其中定时任务的设置在命令 crontab -e 中可以查看和设置。 假设目前有一个python脚本： import numpy as np print(' ') aa = [[1,2,3],[4,5,6]] print('a
阅读全文
posted @ 2020-08-30 22:05
Linux登录Mysql
摘要：在Linux登录Mysql主要有： 1. 登录本地mysql: mysql -u 用户名 -p # 例如 mysql -u root -p #先输入，回车 # 也可不用空格 mysql -u用户名 -p 然后提示输入密码，回车即可； 2. 登录远程mysql：有主机名和端口号，有时也没有端口号 my
阅读全文
posted @ 2020-04-30 10:12
hdfs显示、查看、下载、上传、删除文件操作
摘要：linux环境 假设hdfs安装路径（例如是）： /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件，例如hive表的
阅读全文
posted @ 2020-01-18 19:56
pip备份、安装requirements.txt中的包和anaconda的安装（linux）
摘要：1. 从已有的环境中，备份已经安装的package pip freeze > requirements.txt 2. pip安装requirements.txt的包（换源之后下载更快） pip install -r requirements.txt -i https://pypi.tuna.tsin
阅读全文
posted @ 2020-01-18 19:37
linux复制、压缩打包、解压缩等操作
摘要：1. 复制：cp命令，可复制一个文件夹下的所有文件和子目录、子文件，但是不包括本目录名，例如：不想包含目录名python3.7，想包含的是该目录下的所有子文件和子目录 cp -r /usr/local/python3.7/lib/python3.7/* /home/user_name/lib_wor
阅读全文
posted @ 2019-11-14 22:30
Python安装package_name包
摘要：官网：https://packaging.python.org/tutorials/installing-packages/ 首先查看已安装的包： 1. 命令行模式输入：pydoc modules 2. python解释器输入：help("modules") ## 目前常用的是pip和easy_in
阅读全文
posted @ 2019-10-23 21:47
Linux之ubuntu下载
摘要：(转载) ubuntu 16.04国内下载地址： 中科大源 http://mirrors.ustc.edu.cn/ubuntu-releases/16.04/ 阿里云开源镜像站 http://mirrors.aliyun.com/ubuntu-releases/16.04/ 兰州大学开源镜像站 ht
阅读全文
posted @ 2019-10-23 19:46
