夏天换上冬装

2019年6月

摘要： 1 from pyspark import SparkContext,SparkConf 2 import sys 3 if __name__ == '__main__': 4 if len(sys.argv) != 2: 5 print("Usage: wordcount <input>",fil 阅读全文

posted @ 2019-06-17 09:39 夏天换上冬装阅读(142) 评论(0) 推荐(0) 编辑

3.pycharm spark配置

摘要： pycharm 内的环境变量配置选择相应的spark程序文件的对应的配置信息 PYSPARK_PYTHON:python的安装路径 PYTHONPATH:spark安装路径下的python 提交pyspark应用程序在$SPARK_HOME/bin 将HDFS上的文件作为参数传入阅读全文

posted @ 2019-06-10 09:46 夏天换上冬装阅读(343) 评论(0) 推荐(0) 编辑

4.RDD常用算子之transformations

摘要： RDD Opertions transformations:create a new dataset from an existing one RDDA --> RDDB actions: return a value to the driver program after running a co 阅读全文

posted @ 2019-06-03 09:40 夏天换上冬装阅读(217) 评论(0) 推荐(0) 编辑

2019年5月

2.初始化spark

摘要：参考： RDD programming guide http://spark.apache.org/docs/latest/rdd-programming-guide.html SQL programming guide http://spark.apache.org/docs/latest/sql 阅读全文

posted @ 2019-05-27 10:35 夏天换上冬装阅读(342) 评论(0) 推荐(0) 编辑

pycharm远程调试和debug

摘要：目的：通过pycharm远程连接服务器，实现在pycharm上开发，代码同步到服务器（或者可以从服务器download到pycharm），利用服务器开发环境在pycharm上debug。条件： pycharm专业版远程部署： 1.如图打开Configuration 2. 3. 4.这是设置不需阅读全文

posted @ 2019-05-20 09:55 夏天换上冬装阅读(2661) 评论(0) 推荐(1) 编辑

python spark环境配置

摘要：在配置Hadoop之前，应该先做以下配置 1.更改主机名首先更改主机名，目的是为了方便管理。输入:hostname 查看本机的名称使用 hostname 修改当前主机名。 hostname test1 然后输入:vim /etc/sysconfig/network 修改主机名称将HOSTNA 阅读全文

posted @ 2019-05-13 10:10 夏天换上冬装阅读(2470) 评论(0) 推荐(0) 编辑

1.spark核心RDD特点

摘要： RDD(Resilient Distributed Dataset) Spark源码：https://github.com/apache/spark abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, 阅读全文

posted @ 2019-05-06 09:51 夏天换上冬装阅读(848) 评论(0) 推荐(0) 编辑

2019年4月

postgrel执行VACUUM报VACUUM cannot run inside a transaction block

摘要：在python脚本里执行： 1 sql_gp1 = "VACUUM dwd_access_record_inout_temp" 2 sql_gp2 = "delete from dwd_access_record_inout_temp t where t.indate > (select now() 阅读全文

posted @ 2019-04-24 13:57 夏天换上冬装阅读(3528) 评论(0) 推荐(0) 编辑

python 用正则处理日志实例

摘要：前提：了解正则基本语法 1 import re 2 with open('top10_xiaozhuang_net.log','r') as f1: #读取日志文件 3 4 subject=f1.readlines() 5 with open('slice_log.log','w') as f2: 阅读全文

posted @ 2019-04-19 17:33 夏天换上冬装阅读(751) 评论(0) 推荐(0) 编辑

关于postgresql group by 报错

posted @ 2019-04-18 21:27 夏天换上冬装阅读(2115) 评论(0) 推荐(0) 编辑

公告