摘要：
hadoop 里支持许多压缩算法。压缩的好处主要有两点：1. 减少了文件占用的存储空间，原来上 T 的文件可能压缩完以后只需要两三百 G 的空间即可；2. 文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在 hdfs 文件系统上存的文件，如果数据量大到一 阅读全文
摘要：
1 jar加载 查看源码运行脚本：%SPARK_HOME%\bin\spark-class2.cmd 关于jar包加载的说明。 1.1 将包放到文件夹路径%SPARK_HOME%\jars里 anaconda是一样的哈，不需要额外改路径。 下载地址去mysql官网下哈，下载对应mysql版本的。ht 阅读全文
摘要：
Caused by: java.io.IOException: Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。 复制python.exe 并更改为python3.exe 阅读全文
摘要：
1 开始pyspark 1 查看版本信息¶ In [1]: import sys print(sys.version_info) sys.version_info(major=3, minor=11, micro=5, releaselevel='final', serial=0) In [2]: 阅读全文
摘要：
打不开浏览器/时间很久的解决办法： 当第一次点luanch的时候会出现无法弹出浏览器的情况,需要打开目录C:\Users\Administrator\.jupyter 也可以通过如下命令查找 (base) C:\Users\Administrator>jupyter notebook --gener 阅读全文
摘要：
1 安装&挂载/关联 pip install jupyter_contrib_nbextensions jupyter contrib nbextension install --user 2 重启jupyter 关闭/打开页面即可；http://localhost:8888/tree 3 使生效 阅读全文
摘要：
PS:以下是在windows环境下操作的。 1.安装本地java并配置java环境变量 2.安装python,并添加环境变量 直接在官网下载的最新的稳定版,我的是3.12（也可以安装在anaconda里,conda install python ,配置环境变量） 3.安装anaconda3 并添加环 阅读全文
摘要：
1 - 下载安装包 下载地址： https://dev.mysql.com/downloads/mysql/ 2- 安装 制定目录安装，略。 3- 登录，创建用户并赋权 1 C:\Users\Administrator>mysql -u root -p 2 Enter password: ***** 阅读全文
摘要：
office2007常见问题 1、office2007比Office2003有什么不同？ 答：Microsoft office2007窗口界面比前面的版本界面（例如office2003界面）更美观大方，且该版本的设计比早期版本更完善、更能提高工作效率，界面也给人以赏心悦目的感觉。 2、office2 阅读全文
摘要：
下载，解压，前面的例子太多了，此处略。 kafka官网： http://kafka.apache.org/ 具体说明可以参考此官网地址： http://kafka.apache.org/documentation/ 一、 安装和解压 略. 二、配置和启动及测试、分析 2.1 单实例 [root@ma 阅读全文