摘要：
全局命令，不用在项目中运行fetch：爬取网页，不依赖爬虫项目直接爬网页信息，并显示爬取过程scrapy命令格式：scrapy 命令名 --参数，可能通过--控制，例如：scrapy fetch -h fetch相关的使用方式spider命令：进行文件所在目录后，通过scrapy runspider 阅读全文
摘要：
1.下载tag软件包后，我习惯放到software文件夹下，并建立app文件夹2.通过tar -zxvf scala-2.12.8.tgz -C ~/app/ 命令解压到app目录下(-C 是指定目录)3.配置环境变量：我习惯通过vim ~/.bash_profile进行编辑并添加环境变量 expo 阅读全文
摘要：
普通用户切换root用户命令：sudo su 密码：自己设定高的密码 touch data1.log（创建文件） echo hello >> data1.log(指定文件data1.log后添加内容hello) 虚拟机centOS 6.4关闭防火墙需要在root用户下： # service ipta 阅读全文
摘要：
Win7登陆MySQL数据库进入目录：cd 安装目录\bin后，执行命令mysqld -install安装mysql服务，服务安装成功后，执行net start mysql命令启动Mysql服务。输入：mysql -u root -p 密码：xxxx 这时报错pymysql.err.Operatio 阅读全文
摘要：
spark源码位置：https://github.com/apache/spark Spark Core核心RDD及编程 什么是RDD：1.是一个抽象类不能直接使用，在子类中实现抽象方法2.带泛型的，可以支持多种类型：例如可以传入string，person，user3.弹性分布式数据集，一个不可变的 阅读全文
摘要：
1.下载tag软件包后，我习惯放到software文件夹下，并建立app文件夹2.通过tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/ 命令解压到app目录下3.配置环境变量：通过vim ~/.bash_profile进行编辑 export HADOO 阅读全文