摘要：
简介 numpy 创建的数组都有一个shape属性，它是一个元组，返回各个维度的维数。有时候我们可能需要知道某一维的特定维数。 二维情况 可以看到y是一个两行三列的二维数组，y.shape[0]代表行数，y.shape[1]代表列数。 三维情况 可以看到x是一个包含了3个两行三列的二维数组的三维数组 阅读全文
摘要：
日期/时间类型 Hive支持带可选的纳秒级精度的UNIX timestamp。Hive中的timestamp与时区无关，存储为UNIX纪元的偏移量。Hive提供了用于timestamp和时区相互转换的便利UDF：to_utc_timestamp和 from_utc_timestamp。Timesta 阅读全文
摘要：
查看linux下的cpu、内存和硬盘大小： 查看cpu的方法 1、 cat /proc/cpuinfo 或者 更直观的查看cpu的型号命令：dmesg |grep -i xeon 查看内存的方法 2、 cat /proc/meminfo 或者 更直观的查看内存的命令：free -m 查看硬盘大小 3 阅读全文
摘要：
from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .master("local") \ .enableHiveSupport() \ .getOrCreate() #try: ... 阅读全文
摘要：
hive表的数据源有四种： hbase hdfs 本地 其他hive表 而hive表本身有两种: 内部表和外部表。 而hbase的数据在hive中，可以建立对应的外部表（参看hive和hbase整合） 区别：删除时，内部表删除hadoop上的数据；而外部表不删，其数据在外部存储，hive表只是查看数 阅读全文
摘要：
set hive.cli.print.header=true; 阅读全文