摘要：
在docker容器中编译hadoop 3.1.0 优点：docker安装好之后可以一键部署编译环境，不用担心各种库不兼容等问题，编译失败率低。 Hadoop 3.1.0 的源代码目录下有一个 `start_build_env.sh 的脚本，通过脚本会从Docker hub网站拉取hadoop bui 阅读全文
摘要：
今天滚动后无法开机，启动时显示Faild to start load kernel modules，卡在后面无法进入登录界面 systemctl status systemd modules load.service 显示下面的结果 May 09 12:38:16 fly pc systemd[1] 阅读全文
摘要：
xfce4 有两个地方设置快捷键：Keyboard application shortcuts 和 window manager keyboard. window manager的设置中能够设置显示桌面和窗口调整。 xfce4 有个bug，要在window manager中设置super与其它快捷键 阅读全文
摘要：
在从deepin的kdd桌面换到xfce桌面后，命令行和界面操作上动不动会让主机响一声。 manjaro的xfce版也是如此，不知道是不是linux下xfce的通病。 主要是搜索的时候百度的结果很奇葩... 用关键字 beep of xfce4 搜到了arch wiki下的内容，原来这玩意叫pc s 阅读全文
摘要：
百度上搜到的文章大多基于pyhook， pip不能直接安装，托管在sourceForge上的代码仓库也找不到。 google上发现可以使用pynput，貌似控制更为简单，而且可以直接使用pip安装 示例代码如下 阅读全文
摘要：
免密码登录 cd ~/.ssh ssh keygen t rsa 然后敲回车 mv id_rsa.pub master_rsa.pub cat master_rsa.pub authorized_keys scp authorized_keys slave1:~/.ssh ssh slave1 大致 阅读全文
摘要：
问题 结果中没有输出 解决 参考 https://stackoverflow.com/questions/33225994/spark losing println on stdout 由于spark面向大数据量和分布式，在使用map函数输出时存在各种问题：可能输出到各个主机、数据量过大等问题。 因 阅读全文
摘要：
``` scala def getFile(file:File): Array[File] ={
val files = file.listFiles().filter(! _.isDirectory) .filter(t => t.toString.endsWith(".txt") || t.toString.endsWith(".md")) //此处读取.txt and .md文件... 阅读全文
摘要：
scala代码编写 Sample1.scala 编译scala文件并生成.h文件 编写.h文件对应的cpp文件，并编译 此处还可以使用cmake进行整理编译 直接scala shell下调用 运行命令进入shell 然后命令行输入调用 还可以编写scala文件调用，过程类似 编译运行scala文件， 阅读全文
摘要：
先前在local模式下，什么都不做修改直接运行./spark shell 运行什么问题都没有，然后配置过在HADOOP yarn上运行，之后再在local模式下运行出现以下错误： 改了之前的设置甚至直接下了一个新的版本运行还是一样，而且中间很郁闷的发现一直存在hadoop master节点的域名，不 阅读全文