scrapy爬取youtube游戏模块

本次使用mac进行爬虫 mac爬虫安装过程中出现诸多问题

避免日后踩坑这里先进行记录

首先要下载xcode ，所以要更新macOS到10.14.xx版本

更新完之后因为等下要进行环境路径配置但是macOS升级到高级版本之后自带了一个自我保护的功能

因此需要重启电脑然后按cmd+r 进入编辑模式然后选择语言粘贴下面的命令后，按回车，输入你的系统密码；
sudo spctl --master-disable

然后取消后重启就可以了然后下载xcode 下载完重启

接下来下载下载神器 https://brew.sh/index_zh-cn.html

下载安装后提示

Warning: Homebrew's sbin was not found in your PATH but you have installed formulae that put executables in /usr/local/sbin.Consider setting the PATH for example like so

就是说这个homebrew虽然安装了但是不在路径中因此需要配置路径刚刚已经把安全模式取消现在要去更改下路径环境

Mac配置环境变量的地方

1./etc/profile （建议不修改这个文件）

全局（公有）配置，不管是哪个用户，登录时都会读取该文件。

2./etc/bashrc （一般在这个文件中添加系统级环境变量）

全局（公有）配置，bash shell执行时，不管是何种方式，都会读取此文件。

3.~/.bash_profile （一般在这个文件中添加用户级环境变量）

每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!

这里选择~/.bash_profile

sudo vim ~/.bash_profile

然后输入电脑密码进入

export PATH="/usr/local/bin:$PATH"

修改完后按esc 然后输入wq：！回车（:wq! 强制保存文件，并退出vi）

然后终端输入 $source ~/.bash_profile 进行刷新

sudo python get-pip.py

sudo pip install Scrapy

如果安装成功则输入 scrapy --verison 查看版本

本次内容是热门直播游戏、推荐、热门直播、work to game、时下流行视频。

热门直播游戏

Live-broadcast-id = 游戏直播名称

live-viewers-count = 游戏观看人数

黄溢

scrapy爬取youtube游戏模块

公告