代码改变世界

随笔档案-2021年01月

pyspark dataframe save into hive

2021-01-17 16:13 by DataBases, 495 阅读, 收藏, 编辑
摘要: # 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S 阅读全文

Linux环境pyhon3安装pyinstaller

2021-01-11 17:54 by DataBases, 551 阅读, 收藏, 编辑
摘要: find / -name "pyinstaller"1.安装pyhon3 #!/usr/bin/env bashyum install -y gcc gcc-c++ cyrus-sasl cyrus-sasl-devel cyrus-sasl-lib patch libffi-devel pytho 阅读全文

配置Hive元数据数据库为PostgreSQL

2021-01-08 17:00 by DataBases, 2286 阅读, 收藏, 编辑
摘要: 配置Hive元数据数据库为PostgreSQL前提环境,在Linux服务器安装hadoop集群安装hive到hive官网下载hive安装包解压及重命名tar zxvf apache-hive-2.3.6-bin.tar.gzmv apache-hive-2.3.6-bin hive/etc/prof 阅读全文
点击右上角即可分享
微信分享提示