06 2019 档案
摘要：http://docs.jinkan.org/docs/flask/quickstart.html
阅读全文
摘要：from pyspark import SparkContext, SparkConf import os from pyspark.sql.session import SparkSession from pyspark.sql import Row def CreateSparkContex()
阅读全文
摘要：0. PairRDD的意思PairRDD就是元素为键值对的List转化过来的RDD对象，例如 rdd_1就是一般的非pairRDD，rdd_2为pairRDD对象，而有些SparkAPI操作是针对pairRDD对象的，例如后面将要介绍的mapValues()操作。 1. partitionBy()函
阅读全文
摘要：from hdfs.client import Client # 关于python操作hdfs的API可以查看官网: # https://hdfscli.readthedocs.io/en/latest/api.html # 读取hdfs文件内容,将每行存入数组返回 def read_hdfs_file(client, filename): # with client...
阅读全文
摘要：FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是fi
阅读全文
摘要：转载 http://dblab.xmu.edu.cn/blog/1177-2/ Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。为了更好演示集群分布，本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。本文记录如何搭建并配置Hadoop
阅读全文
摘要：转载 https://blog.csdn.net/spy_h/article/details/80767733 一、准备 1.1创建hadoop用户 1.2安装SSH,设置SSH无密码登陆 输入完 $ ssh-keygen -t rsa 语句以后，需要连续敲击三次回车，如下图： 其中，第一次回车是让
阅读全文
摘要：打开pycharm,导入已有的或者新建工程。2.创建新的run configurition。 如右上角所示，选择edit configurition。 设置环境，创建PYTHONPATH和SPARK_HOME配置路径如图所示，都可以在Spark安装路径下找到： 4.选择 File->setting-
阅读全文
摘要：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名 例如： pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas pip3 install -i https:
阅读全文
摘要：pyechart 的Geo地图和时间轴Timeline使用 geo=Geo() 正标题，副标题，地图大小。 title_pos="center"：标题位置 title_color="#fff"：标题颜色 background_color='#404a59'：背景颜色 geo.add() type="
阅读全文
摘要：import cv2 img = cv2.imread ('C:/Users/Administrator/Pictures/test1.jpg',0) # 读取图片，第二个参数0是灰色，1是彩色 img2 = cv2.imread ('C:/Users/Administrator/Pictures/test1.jpg',1) #jpg保存cv2.imwrite('C:/Users/Adm...
阅读全文
