2019年12月10日
1.1、Answer：web crawler question 1
摘要： 1.1、Answer：web crawler question 1 概述 Question 1 1、cookie、JavaScript的关系？怎么产生的cookie？cookie包含哪些内容？JavaScript的功能在crawler代码中通过python的第三方库selenium，selenium 阅读全文
posted @ 2019-12-10 07:56 石斛 阅读(241) 评论(0) 推荐(0) 编辑
2、Question about RDD、分区、stage、并行计算、集群、流水线计算、shuffle（join？？）、task、executor
摘要： 2、Question about RDD、分区、stage、并行计算、集群、流水线计算、shuffle（join？？）、task、executor RDD是spark数据中最基本的数据抽象，task是spark的最小代码执行单元？数据不是代码的资源？？？那为什么RDD又是分区存储？节点中又是对分区（ 阅读全文
posted @ 2019-12-10 04:53 石斛 阅读(390) 评论(0) 推荐(0) 编辑
1、Question about web crawler
摘要： 1、Question about web crawler 难： 1、cookie、JavaScript的关系？怎么产生的cookie？cookie包含哪些内容？JavaScript的功能在crawler代码中通过python的第三方库selenium，selenium用于执行JavaScript的脚 阅读全文
posted @ 2019-12-10 04:51 石斛 阅读(209) 评论(0) 推荐(0) 编辑