摘要: 抓取智联招聘和百度搜索的数据并进行分析,使用visual studio编写代码mongodb和SQLServer存储数据。使用scrapy框架结合 selenium爬取百度搜索数据,并进行简要的数据的分析!! 爬取前的页面分析: 打开百度搜索页面,并查看网页源代码,问题便出现,无法查看到页面源代码, 阅读全文
posted @ 2019-03-07 18:29 blue-shadow 阅读(2623) 评论(0) 推荐(0) 编辑
摘要: HDFS命令 HDFS命令大全 Usage: hdfs [--config confdir] COMMAND where COMMAND is one of: 常用命令 对于HDFS dfs命令,针对在shell命令在大部分可以使用,只要在相应的命令前加 -。使用时,在Hive Cli可以省略had 阅读全文
posted @ 2019-03-07 18:09 blue-shadow 阅读(677) 评论(0) 推荐(0) 编辑