摘要: 建表create table gulivideo_ori( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, r... 阅读全文
posted @ 2019-09-16 17:16 丨Kouch 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 【python scrapy 爬虫】 1 环境配置 win10; python3.7; 2 爬虫project【第三方包scrapy,re】 【 scrapy 相关】 【 pip安装 】 pip install Scrapy; 【scrapy 一些相关依赖】 pywin32 python 的wind 阅读全文
posted @ 2019-09-16 10:19 丨Kouch 阅读(137) 评论(0) 推荐(0) 编辑
摘要: day7 hadoop 离线数据分析 批量; spark 【spark】 * 环境配置: 安装spark - Local本地模式 ok * spark学习 @Scala环境: 1 shell交互环境 启动:spark-shell;(默认进入且自带): 命令学习: 实验案例: 1 wordcount: textFile("input"):读取本地文件input文件夹数据; flatMap(_.spl 阅读全文
posted @ 2019-09-16 10:14 丨Kouch 阅读(170) 评论(0) 推荐(0) 编辑