摘要：
一、目录操作 1, ls 查看目录下文件 例1：ls -a 查看全部目录，包含隐藏目录 例2：ls -l 查看当前目录详细列表， 例3：ls -lt 查看当前目录详细列表，按时间顺序排序，最近修改的文件在前面 例3：ls -ltr 查看当前目录详细列表，按时间顺序逆序排序，最近修改的文件在后面 2, 阅读全文
摘要：
sbt下载官网地址：https://www.scala-sbt.org/download.html 一、Ubuntu安装 echo "deb https://repo.scala-sbt.org/scalasbt/debian all main" | sudo tee /etc/apt/source 阅读全文
摘要：
文章转载自https://zhuanlan.zhihu.com/p/81016622 1. GBDT简介 Boosting、Bagging和Stacking是集成学习(Ensemble Learning)的三种主要方法。Boosting是一族可将弱学习器提升为强学习器的算法，不同于Bagging、S 阅读全文
摘要：
XGBoost算法 文章转载自microstrong的深入理解XGBoost 1. XGBoost简介 XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目 阅读全文
摘要：
必须了解的PySpark 的背后原理 文章转载自《必须了解的PySpark 的背后原理》 Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实 阅读全文
摘要：
一、Pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换： # pandas转spark values = pandas_df.values.tolist() columns = pandas_df.columns.tolist() spark_df = spa 阅读全文
摘要：
根据Wikipedia的定义，几何平均值定义为n个数字乘积的n次根。根据同一页，几何平均值也可以表示为对数的算术平均值的指数。我将使用它来计算每一列的几何平均值。 计算几何平均值，方法是将c1和c2的列数据组合到一个名为value的新列中，该列将源列名称存储在column中。重新格式化数据后，通过按 阅读全文
摘要：
初始的DataFrame： from pyspark.sql.types import StructType, StructField schema = StructType([StructField("uuid",IntegerType(),True),StructField("test_123" 阅读全文
摘要：
方法一：永久导入jar包 在zeppelin的环境配置文件 "zeppelin-env.sh" 中添加以下内容： export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.2 阅读全文
摘要：
遇到问题： 启动zeppelin，登陆时遇到以下问题 查看zeppelin日志，看到以下错误信息： Failed to delete temp dir /opt/module/zeppelin/webapps 解决方案： 确保“webapps”文件夹的权限为755； “webapps”和子文件夹的所 阅读全文