随笔- 310
文章- 1
评论- 0
阅读-
85655
04 2021 档案
python-yield实现协程效果
摘要：使用yield实现协程效果 1 #!/usr/bin/env python 2 # -*-coding:utf-8 -*- 3 4 import time 5 def consumer(name): 6 print(name) 7 while True: 8 bone = yield #接收send
阅读全文
pyspark reduceByKey、groupByKey、groupBy、keyBy、subtractByKey 使用
摘要：reduceByKey、groupByKey rdd=sc. parallelize([("one",1),("two",1),("one",1),("one1",1)]) rdd. reduceByKey(lambda x,y:x). count() rdd1=sc. parallelize([(
阅读全文
pandas 读写文件
摘要：导入数据 1 pd.read_csv(filename,header=None,names=['a','b','c','d'],nrows=10) #从CSV文件导入数据 2 pd.read_table(filename,sep='\s+',nrows=1) #正则表达式分割符 3 pd.read_
阅读全文
linux下配置java环境变量
摘要：下载 https://www.oracle.com/java/technologies/downloads/ 方式一：设置全局环境变量 su - root #切换root用户 vi /etc/profile 在最后面加入 export JAVA_HOME=/usr/java/jdk1.7.0_45
阅读全文
Spark SQL
摘要：1 from pyspark.sql import HiveContext 2 from pyspark import SparkContext,SparkConf 3 import pyspark.sql.functions as F 4 from pyspark.sql import Spark
阅读全文
