03 2024 档案
摘要：8.1安装Anaconda 下载：wget https://mirrors.pku.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh 安装：bash Anaconda3-2021.05-Linux-x86_64.sh -b 编辑~/.
阅读全文
摘要：7.1Scla安装 下载：wget https://scala-lang.org/files/archive/scala-2.13.0.tgz 解压：tar xvf scala-2.13.0.tgz 移动到/usr/local 目录 ：sudo mv scala-2.13.0 /usr/local/
阅读全文
摘要：6.1编辑WordCount.java 创建wordcount测试目录 编辑WordCount.java 输入下面代码： 可以访问https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-clien
阅读全文
摘要：5.1 启动Hadoop Muti-Node Cluster start-all.sh 5.2创建与查看HDFS目录 创建user目录：hadoop fs -mkdir /user 创建user下hduser子目录：hadoop fs -mkdir /user/hduser 创建hduser下tes
阅读全文
摘要：4.1把Single Node Cluster 复制到 data1 选择重新生成MAC地址 4.2设置VirtualBox网卡 点击设置>>网络。 网卡1为“NAT”网卡，虚拟机可以通过Host主机连接到外部网络。 网卡2用于建立内部网络，内部网络可连接虚拟主机（master，data1，data2
阅读全文
摘要：3.1安装JDK java --version 查看java版本，出现下面信息代表未安装。 输入命令 sudo apt-get update 更新软件包信息。 sudo apt-get install defult-jdk 下载jdk，出现提示按y。 再次查看jdk版本。 输入update-alte
阅读全文
摘要：2.1 下载Ubuntu iso文件（可以选择镜像源），版本 24.04.4。 2.2 设置虚拟光盘文件。 2.3 安装Ubuntu. 启动虚拟机。 选择语言中文简体，安装Ubuntu 键盘布局选择English(US) 点击继续，清理整个磁盘并安装Ubuntun，时间选择pei-ching 设置计
阅读全文
摘要：1.1 下载安装VirtualBox 进入VirtualBox官网下载安装(www.virtualbox.org/wiki/Downloads) 1.2 设置VirtualBox默认存储文件夹。 点击 管理 >> 全局设定 >> 默认虚拟电脑位置，把默认位置修改为你想要放的位置。 1.3 在Virt
阅读全文
摘要：记录Python+Spark+Hadoop 机器学习与大数据技术实战 环境配置与学习过程。参考书目：《Python+Spark 2.0+Hadoop机器学习与大数据实战》
阅读全文
摘要：intRDD = sc.parallelize([3, 1, 2, 5, 5]) intRDD.collect() [3, 1, 2, 5, 5] stringRDD = sc.parallelize(["Apple", "Orange", "Banana", "Grape", "Apple"])
阅读全文
摘要：组合数 ll inv[N],inc[N]; void init(){ inc[0]=1; for(int i=1;i<=N;i++){ inc[i]=inc[i-1]*i % mod; } inv[0]=1; for(int i=1;i<=N;i++){ inv[i]=powmod(inc[i],m
阅读全文
摘要：哈希 typedef unsigned long long ULL; const int N = 1000010, P = 131; int n, m; string s; ULL p[N], h[N]; void init(){ p[0] = 1, h[0] = 0; string pys = "
阅读全文
摘要：拓扑排序 #include <bits/stdc++.h> using namespace std; constexpr int N = 100010; int n, m, a, b; vector<int> e[N], tp; int din[N]; bool toposort(){ queue<
阅读全文
摘要：树状数组: template<typename T> struct BIT{ T a[N]; int size = N; void init(int s){ size = s; for(int i = 0; i <= s; i++){ a[i] = 0; } } T query(int x){ as
阅读全文
