11 2023 档案
摘要：hadoop 里支持许多压缩算法。压缩的好处主要有两点：1. 减少了文件占用的存储空间，原来上 T 的文件可能压缩完以后只需要两三百 G 的空间即可；2. 文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在 hdfs 文件系统上存的文件，如果数据量大到一
阅读全文
摘要：1 jar加载 查看源码运行脚本：%SPARK_HOME%\bin\spark-class2.cmd 关于jar包加载的说明。 1.1 将包放到文件夹路径%SPARK_HOME%\jars里 anaconda是一样的哈，不需要额外改路径。 下载地址去mysql官网下哈，下载对应mysql版本的。ht
阅读全文
摘要：Caused by: java.io.IOException: Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。 复制python.exe 并更改为python3.exe
阅读全文
摘要：1 开始pyspark 1 查看版本信息¶ In [1]: import sys print(sys.version_info) sys.version_info(major=3, minor=11, micro=5, releaselevel='final', serial=0) In [2]:
阅读全文
摘要：打不开浏览器/时间很久的解决办法： 当第一次点luanch的时候会出现无法弹出浏览器的情况,需要打开目录C:\Users\Administrator\.jupyter 也可以通过如下命令查找 (base) C:\Users\Administrator>jupyter notebook --gener
阅读全文
摘要：1 安装&挂载/关联 pip install jupyter_contrib_nbextensions jupyter contrib nbextension install --user 2 重启jupyter 关闭/打开页面即可；http://localhost:8888/tree 3 使生效
阅读全文
摘要：PS:以下是在windows环境下操作的。 1.安装本地java并配置java环境变量 2.安装python,并添加环境变量 直接在官网下载的最新的稳定版,我的是3.12（也可以安装在anaconda里,conda install python ,配置环境变量） 3.安装anaconda3 并添加环
阅读全文
摘要：1 - 下载安装包 下载地址： https://dev.mysql.com/downloads/mysql/ 2- 安装 制定目录安装，略。 3- 登录，创建用户并赋权 1 C:\Users\Administrator>mysql -u root -p 2 Enter password: *****
阅读全文
