2.1

学习了Spark MLlib，它是Spark的机器学习库。今天尝试了简单的线性回归示例。

代码示例：

python
复制
from pyspark.ml.regression import LinearRegression
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("MLlibExample").getOrCreate()

# 加载数据
data = spark.read.format("libsvm").load("data/sample_linear_regression_data.txt")

# 划分训练集和测试集
train_data, test_data = data.randomSplit([0.7, 0.3])

# 创建线性回归模型
lr = LinearRegression(maxIter=10, regParam=0.3, elasticNetParam=0.8)

# 训练模型
model = lr.fit(train_data)

# 测试模型
predictions = model.transform(test_data)
predictions.show()

spark.stop()