摘要：
在文件已经导入（存入）hdfs之后，需要建表进行映射才可以show tables。 现在假设文件已导入该hdfs目录： /apps/hive/warehouse/db_name.db/tb_name （这里也可能是其他文件，如csv，txt等，如：/username/test/test.txt） 方 阅读全文
2020年12月6日
2020年11月22日
摘要：
rocketmq可以与kafka等一起使用，用于实时消息处理。 安装rocketmq： pip install rocketmq [-i https://pypi.tuna.tsinghua.edu.cn/simple] 生产消息producer： from rocketmq.client impo 阅读全文
2020年11月18日
摘要：
nohup结合&的一般使用方式： nohup some_command & nohup some_command >some_file.log 2>&1 & nohup是no hang up 的缩写，表示不挂断，忽略所有挂断（SIGHUP）信号 —— 即可以使程序一直执行。 在nohup命令末尾加上 阅读全文
2020年11月1日
摘要：
在讲kafka使用之前，可以简要介绍一下安装local版本： 在linux下安装本地版（localhost）： 1. 首先下载 kafka：http://kafka.apache.org/downloads 2. 其次解压（命令：tar -xzf kafka_2.12-2.6.0.tgz）到某个文件 阅读全文
摘要：
kafa使用时报错：kafka.errors.NoBrokers Available 的主要可能原因是： 1. 没有依次启动 zookeeper 和 kafka； 2. kafka配置文件中 host没有写对：例如有些是 localhost:9092（local版） 此时马上检查这两部分即可。 打开 阅读全文
摘要：
在Linux中安装好kafka后，消费数据时如果报错：java.net.UnknownHostException xxxx.xxxx.xxxx 此时，原因主要是主机名和地址不对应造成。 解决方法： 在/etc/hosts文件中配置中加上：安装有kafka集群的3台机器的IP地址和主机名。例如： 17 阅读全文
2020年10月14日
摘要：
1. linux安装 anaconda 在安装pycharm之前，如果要安装anaconda，可以先下载（清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/）： 然后例如：bash Anaconda3-5.2.0-Linux-x86 阅读全文
2020年10月12日
摘要：
python可以在执行时写入日志用于查找问题，这里提供一个类，在需要的时候就可以直接使用： import logging from logging import handlers class Logger(object): level_relations = { 'debug':logging.DE 阅读全文
摘要：
Python计算经纬度的方法： 维基百科公式（要求的是公式中的d）： Python代码如下（返回结果是单位是：米）： from math import radians,sin,cos,asin,sqrtdef haversine_dis(lon1, lat1, lon2, lat2): #将十进制转 阅读全文
2020年10月11日
摘要：
1. 如果pip没有安装或者不小心卸载了，可以使用 easy_install 来安装，如下： easy_install pip 2. 使用 from sklearn.externals import joblib 报错：ImportError: cannot import name 'joblib' 阅读全文
