用Scrapy和Selenium爬取动态数据

文章参考千锋教育大佬的课程:
https://www.bilibili.com/video/BV1QY411F7Vt?p=1&vd_source=5f425e0074a7f92921f53ab87712357b
,多谢大佬的课程

一、 用Selenium操作谷歌浏览器,登录TB账号获取Cookie

  因为TB网的搜索功能需要登录之后才能使用,所以我们要通过程序去控制浏览器实现登录功能,然后再获取登录之后的Cookie.
  首先创建一个Chrome浏览器对象,用这个对象去操控谷歌浏览器:

import json
from selenium import webdriver

def create_chrome_driver(*, headless=
posted @ 2022-06-23 10:40  爱吃雪糕的小布丁  阅读(5)  评论(0编辑  收藏  举报  来源