2020 年 12月随笔档案 - jaysonteng

sklearn：决策分类树_红酒数据集

摘要：from sklearn import tree from sklearn.datasets import load_wine # 红酒数据 from sklearn.model_selection import train_test_split wine = load_wine() # 导入数据阅读全文

posted @ 2020-12-31 15:52 jaysonteng 阅读(3328) 评论(0) 推荐(0) 编辑

graphviz安装（windows环境）

摘要：graphviz是一款开源的可视化图形工具，在sklearn中，用于画决策树也很方便，其安装流程如下：下载链接：https://graphviz.gitlab.io/_pages/Download/windows/graphviz-2.38.msi 安装双击下载好的安装包，根据提示安装，记住安阅读全文

posted @ 2020-12-29 23:33 jaysonteng 阅读(1770) 评论(0) 推荐(1) 编辑

idea中展开、折叠所有代码

摘要：进入setting-> keymap 1、展开快捷键，搜索关键词：expand all 2、折叠快捷键，搜索关键词：eclapse all 3、或者直接搜索 folding 如下图所示：如果不习惯使用默认的，可以自行设置。参考链接：https://www.jb51.net/article/149 阅读全文

posted @ 2020-12-27 23:38 jaysonteng 阅读(3969) 评论(0) 推荐(0) 编辑

scala隐式转换

摘要：隐式转换--基本 // 关键字：implicit // 隐式函数必须要在作用域范围内定义 // 隐式转换函数的函数名自定义 // 隐式函数可以有多个，但是不能有重复的（函数名不能有重复，参数不能有重复） // 代码中有下划线的地方表示使用了隐式转换 implicit def f1(d: Doubl 阅读全文

posted @ 2020-12-27 18:14 jaysonteng 阅读(112) 评论(0) 推荐(0) 编辑

windows安装tensorflow gpu版本

摘要：tensorflow1.14.0和cuda10.0.0兼容性比较好，建议安装这两个版本 1、下载CUDA 链接：https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_versio 阅读全文

posted @ 2020-12-27 12:46 jaysonteng 阅读(121) 评论(0) 推荐(0) 编辑

LaTeX数学公式输入

摘要：我在jupyter notebook中实现LaTex公式输入。进入jupyter后，选择输入框，英文模式下按m键，切换到Markdown模式：开根号 $\sqrt{5}$ 分数 $\frac{3 + x}{5}$ 换行居中显示 $$\frac{3 + x}{5}$$ # 区别是前后分别使用两个$ 阅读全文

posted @ 2020-12-27 11:52 jaysonteng 阅读(533) 评论(0) 推荐(0) 编辑

Centos中安装pip3/pip

摘要：一、对于python2 1.安装源 yum -y install epel-release 2.安装pip yum install python-pip 3.对安装好的pip进行升级 pip install --upgrade pip （注意是两个短横线~~）到这里pip 安装完成，即/usr/b 阅读全文

posted @ 2020-12-27 11:51 jaysonteng 阅读(413) 评论(0) 推荐(0) 编辑

python依赖包整体迁移方法

摘要：配置新机器环境时，为了和之前的机器python环境保持一致，可以执行将python依赖包迁移的方法，具体步骤如下： 1.新建site-packages目录，进入到site-packages目录下； 2.在site-packages目录下执行pip freeze >requirements.txt；阅读全文

posted @ 2020-12-27 11:41 jaysonteng 阅读(1389) 评论(0) 推荐(0) 编辑

IDEA连接Spark集群执行Scala程序

摘要：1、首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装； 2、File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId； 3、编辑pom.xml文件添加项目所需要的依赖：前面几阅读全文

posted @ 2020-12-27 11:35 jaysonteng 阅读(1535) 评论(0) 推荐(0) 编辑

win10安装mysql，及重装

摘要：下载 1、官网下载地址：https://dev.mysql.com/downloads/mysql/ 2、选择对应的系统。 3、选择版本如果安装时电脑能联网，可以选择在线安装包，如果无法联网，选择离线安装包下载安装MySql 注：官网最新版安装包是msi格式，不是压缩包了，打开安装包直接安装的，阅读全文

posted @ 2020-12-27 11:17 jaysonteng 阅读(963) 评论(0) 推荐(0) 编辑

python生产和消费kafka数据

摘要：安装kafka-python pip install kafka-python 生产者 from kafka import KafkaProducer # 有时候导入包会报错，使用pip uninstall kafka-python，卸载后重装可以解决 import json # 创建produce 阅读全文

posted @ 2020-12-24 09:57 jaysonteng 阅读(2353) 评论(0) 推荐(0) 编辑

spark streaming updatestatebykey scala

摘要：import org.apache.spark.streaming._ import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.dstre 阅读全文

posted @ 2020-12-15 13:16 jaysonteng 阅读(90) 评论(0) 推荐(0) 编辑

first spark streaming

摘要：import org.apache.spark.streaming._ import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession val conf = new SparkConf().setAppName(" 阅读全文

posted @ 2020-12-15 11:31 jaysonteng 阅读(85) 评论(0) 推荐(0) 编辑