摘要:
最近执行pyspark时,直接读取hive里面的数据,经常遇到几个问题: 1. java.io.IOException: Not a file —— 然而事实上文件是存在的,是 hdfs 的默认路径出了错,需要配置 --files 和 --conf。 2. pyspark.sql.utils.Ana 阅读全文
2019年12月17日
2019年12月11日
摘要:
pyecharts的安装和地图库的安装可以参照 geo绘图:https://www.cnblogs.com/qi-yuan-008/p/12025123.html 直接进入 python的具体使用阶段: 首先是导入库和数据,数据可以换成自己想绘制的数据 from pyecharts.faker im 阅读全文
摘要:
pyecharts是一种非常强大的绘图python库,绘制的图形非常好看,并且有代表性,不仅仅是地图,还可以绘制条形图、饼图、词云图等等。 # 安装方法 pip install pyecharts # 或者使用国内镜像: pip install pyecharts -i https://pypi.t 阅读全文
2019年12月6日
摘要:
TfidfVectorizer函数主要用于,将文档(句子)等通过 tf-idf值来进行表示,也就是用一个tf-idf值的矩阵来表示文档(句子也可)。 from sklearn.feature_extraction.text import TfidfVectorizer 1. 其函数源代码很长,这里只 阅读全文
摘要:
train_test_split是sklearn中用于划分数据集,即将原始数据集划分成测试集和训练集两部分的函数。 from sklearn.model_selection import train_test_split 1. 其函数源代码是: def train_test_split(*array 阅读全文
2019年12月5日
摘要:
分类的时候,当不同类别的样本量差异很大时,很容易影响分类结果,因此要么每个类别的数据量大致相同,要么就要进行校正。 sklearn的做法可以是加权,加权就要涉及到class_weight和sample_weight,当不设置class_weight参数时,默认值是所有类别的权值为1。 在python 阅读全文
2019年12月4日
摘要:
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。—— 用于匹配字符串 import re # 导入正则包 1. re.match方法:从字符串的起始位置匹配一个模式,如果起始位置匹配不成功的话则返回none。 re.match(pattern, string, fl 阅读全文
2019年11月28日
摘要:
1. 通过pandas包 读csv:pd.read_csv import pandas as pd csv_data = pd.read_csv(r'test.csv', engine='python',encoding='utf-8') #此时得到的数据是pandas的dataframe格式数据, 阅读全文
摘要:
1. 将当前时间转成字符串 strftime 方法,并输出 import datetime # 获取当前时间 datetime.datetime.now() print(datetime.datetime.now()) # 输出时间格式数据:2019-11-28 20:39:25.485711 no 阅读全文
摘要:
python解析命令行参数主要有三种方法:sys.argv、argparse解析、getopt解析 方法一:sys.argv —— 命令行执行:python test_命令行传参.py 1,2,3 1000 # test_命令行传参.py import sys def para_input(): p 阅读全文