golang爬虫 Linux + chromedriver + chrome

Linux下chrome 安装

下载地址：https://www.google.com/chrome/?platform=linux

安装：

yum install google-chrome-stable_current_x86_64.rpm

查看版本：

google-chrome --version

chromedriver安装

wget https://chromedriver.storage.googleapis.com/84.0.4147.30/chromedriver_linux64.zip

 

注意：chrome和 chromedriver 版本对应。不然会出现版本不兼容的情况哦！

加载selenium包

go get github.com/tebeka/selenium

 

golang代码：

package main

import (

"fmt"

"log"

"github.com/tebeka/selenium"

"github.com/tebeka/selenium/chrome"

)

// StartChrome 启动谷歌浏览器headless模式

func StartChrome() {

opts := []selenium.ServiceOption{}

caps := selenium.Capabilities{

"browserName": "chrome",

}

// 禁止加载图片，加快渲染速度

imagCaps := map[string]interface{}{

"profile.managed_default_content_settings.images": 2,

}

chromeCaps := chrome.Capabilities{

Prefs: imagCaps,

Path:  "",

Args: []string{

"--headless", // 设置Chrome无头模式

"--no-sandbox",

"--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/604.4.7 (KHTML, like Gecko) Version/11.0.2 Safari/604.4.7", // 模拟user-agent，防反爬

},

}

caps.AddChrome(chromeCaps)

// 启动chromedriver，端口号可自定义

service, err := selenium.NewChromeDriverService("./chromedriver", 9516, opts...)

if err != nil {

log.Printf("Error starting the ChromeDriver server: %v", err)

}

// 调起chrome浏览器

webDriver, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", 9516))

if err != nil {

panic(err)

}

//目标网站

targeUrl = "https://www.toutiao.com/i6846744256028082696"

// 导航到目标网站

err = webDriver.Get(targeUrl)

if err != nil {

panic(fmt.Sprintf("Failed to load page: %s\n", err))

}

log.Println(webDriver.GetCookies())

defer service.Stop()  // 停止chromedriver

defer webDriver.Quit() // 关闭浏览器

}

func main() {

StartChrome()

}