python爬取youtube视频 多线程 非中文自动翻译
声明：我写的所有文章都是发在博客园的，我看到其他复制粘贴过去的 连个出处也不写，直接打上自己的水印。。。真是没的说了。
前言：前段时间搞了一些爬视频的项目，代码都写好了，这里写文章那就在来重新分析一遍吧。有不好的地方 莫见怪 : )
环境：python2.7 + win10
开始先说一下，访问youtube需要科学上网，请自行解决，最好是全局代理。
ok，现在开始，首先打开网站观察
网站很干净清爽，这次做的是基于关键字搜索来爬那些相关视频，这样就能很好的分类了，若输入中文搜索，那结果也一般都是国内视频，英文的话 那就是国外的。
这里先来测试中文的 ，输入''搞笑''，搜出来很多视频，也可以根据条件筛选，YouTube视频链接很有规律，都是这种https://www.youtube.com/watch?v=v_OVBHGwOaU，只有后面的 v值不一样，这里就叫id吧。
ok，先从最简单的开始，查看网页源代码看看这些视频链接是否都是在里面，我睁大了我的24k单身狗的眼睛找出来了。。。看了一下，视频信息全在这个<script>标签里面。
既然如此，那就直接上正则表达式来匹配
"url":"/watch\?v=(.*?)","webPageType"
这样就能匹配出ID来。但是 这好像只有第一页的视频，那第二页的呢，经常观察，此方法不行，视频翻页是基于ajax请求来的，源码里面的信息始终都是第一页的数据，ok 那既然这样，我们来分析ajax请求，我喜欢用谷歌浏览器，打开开发者工具，network，来抓包。
鼠标一直往下拉，会自动请求，是个post请求，一看就是返回的视频信息。
看到这里很高兴，离胜利已经不远了。但，我们先来看下headers 以及发送的post参数，看了之后 就一句 wtf。。。
一万个羊驼在奔腾，我把那些加密的参数都标记了，前后端交互，既然是发过去的数据，那肯定已经在前端产生了，至于什么产生的，那就要一步一步分析来了，最后。对 我没有分析出来。。。刚开始挨着挨查看js文件，参数的确是在js里面产生的，但。。。tmd写的太复杂了。。。能力有限，解决不了。难道就这样放弃了吗。肯定不会，不然 各位也不会看到这篇文章了。于是，我灵机一动，在地址栏里面输入&page= 结果，真的返回视频了。。。卧槽 哈哈哈，我当时真是很开心呢。因为前端页面上并没有翻页按钮，没想到竟然还真的可以这样翻页。。。哈哈
既然这都被我猜出来了，那思路就很清晰了，翻页--获得源代码-- 正则匹配 --就可以批量得到视频链接了，然后去重后 在想办法直接通过这个链接去下载。于是，一阵百度 谷歌 找到很多方法，也找到很多api，ok 那就不必要重复造轮子，直接拿来用吧。
有一个开源项目youtube-dl 在github上 是个命令行的应用，安装之后，他是这样的。
youtube-dl -F https://www.youtube.com/watch?v=_iupLGTX890
这样就能直接分析出所有视频格式的信息，然后通过id 就可以下载下来了。是很好用的一个工具。
在代码里面怎么使用呢，直接调用cmd命令就行了，但是。经过我测试发现呢，批量下载时候，老是有一些视频没有下载完整，所以 我就没用这个方法了，在国外网站上找到一个api 还蛮不错。
怎么找 怎么使用api 我就不用介绍了吧，等会直接贴代码，大家一看便知。
这里在说下，当我输入关键字是英文的话，搜出来的结果全部是英文的，于是 我就下载成功后，保存文件 翻译一下他的标题。翻译成中文的，我去找翻译，最后就用金山词霸了，如果使用官方api的话，好像也有收费。。那不行，我要直接爬页面，于是，我就直接还是爬他的翻译页面，提交英文，返回中文，解析网页，正则匹配出来。就这样 嘿嘿嘿。。
ok。说了这么多了 现在上代码。
# -*-coding:utf-8-*- # author : Corleone from bs4 import BeautifulSoup import lxml import Queue import requests import re,os,sys,random import threading import logging import json,hashlib,urllib from requests.exceptions import ConnectTimeout,ConnectionError,ReadTimeout,SSLError,MissingSchema,ChunkedEncodingError import random reload(sys) sys.setdefaultencoding('gbk') # 日志模块 logger = logging.getLogger("AppName") formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s') console_handler = logging.StreamHandler(sys.stdout) console_handler.formatter = formatter logger.addHandler(console_handler) logger.setLevel(logging.INFO) q = Queue.Queue() # url队列 page_q = Queue.Queue() # 页面 def downlaod(q,x,path): urlhash = "https://weibomiaopai.com/" try: html = requests.get(urlhash).text except SSLError: logger.info(u"网络不稳定 正在重试") html = requests.get(urlhash).text reg = re.compile(r'var hash="(.*?)"', re.S) result = reg.findall(html) hash_v = result[0] while True: data = q.get() url, name = data[0], data[1].strip().replace("|", "") file = os.path.join(path, '%s' + ".mp4") % name api = "https://steakovercooked.com/api/video/?cached&hash=" + hash_v + "&video=" + url api2 = "https://helloacm.com/api/video/?cached&hash=" + hash_v + "&video=" + url try: res = requests.get(api) result = json.loads(res.text) except (ValueError,SSLError): try: res = requests.get(api2) result = json.loads(res.text) except (ValueError,SSLError): q.task_done() return False vurl = result['url'] logger.info(u"正在下载：%s" %name) try: r = requests.get(vurl) except SSLError: r = requests.get(vurl) except MissingSchema: q.task_done() continue try: with open(file,'wb') as f: f.write(r.content) except IOError: name = u'好开心么么哒 %s' % random.randint(1,9999) file = os.path.join(path, '%s' + ".mp4") % name with open(file,'wb') as f: f.write(r.content) logger.info(u"下载完成：%s" %name) q.task_done() def get_page(keyword,page_q): while True: headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0' } page = page_q.get() url = "https://www.youtube.com/results?sp=EgIIAg%253D%253D&search_query=" + keyword + "&page=" + str(page) try: html = requests.get(url, headers=headers).text except (ConnectTimeout,ConnectionError): print u"不能访问youtube 检查是否已FQ" os._exit(0) reg = re.compile(r'"url":"/watch\?v=(.*?)","webPageType"', re.S) result = reg.findall(html) logger.info(u"第 %s 页" % page) for x in result: vurl = "https://www.youtube.com/watch?v=" + x try: res = requests.get(vurl).text except (ConnectionError,ChunkedEncodingError): logger.info(u"网络不稳定 正在重试") try: res = requests.get(vurl).text except SSLError: continue reg2 = re.compile(r"<title>(.*?)YouTube",re.S) name = reg2.findall(res)[0].replace("-","") if u'\u4e00' <= keyword <= u'\u9fff': q.put([vurl, name]) else: # 调用金山词霸 logger.info(u"正在翻译") url_js = "http://www.iciba.com/" + name html2 = requests.get(url_js).text soup = BeautifulSoup(html2, "lxml") try: res2 = soup.select('.clearfix')[0].get_text() title = res2.split("\n")[2] except IndexError: title = u'好开心么么哒 %s' % random.randint(1, 9999) q.put([vurl, title]) page_q.task_done() def main(): # 使用帮助 keyword = raw_input(u"请输入关键字：").decode("gbk") threads = int(raw_input(u"请输入线程数量(建议1-10): ")) # 判断目录 path = 'D:\youtube\%s' % keyword if os.path.exists(path) == False: os.makedirs(path) # 解析网页 logger.info(u"开始解析网页") for page in range(1,26): page_q.put(page) for y in range(threads): t = threading.Thread(target=get_page,args=(keyword,page_q)) t.setDaemon(True) t.start() page_q.join() logger.info(u"共 %s 视频" % q.qsize()) # 多线程下载 logger.info(u"开始下载视频") for x in range(threads): t = threading.Thread(target=downlaod,args=(q,x,path)) t.setDaemon(True) t.start() q.join() logger.info(u"全部视频下载完成！") main()
在这里在说一下，我当时用的win10 所有编码全是gbk的，若在linux上面跑，请自行修改。也是多线程下载的，默认下载目录 d:\youtube 然后会根据关键字在创建子目录，视频都放在里面。对了 还有我代码里面用筛选了，只爬1天之内更新的。每天爬一遍即可。
来测试一下。下载的时候 就是考验网速的时候了，网不好了，可能会出现一些我没捕获的异常。。。可能是我找的fq服务器网速还行。。
ok 到这里整篇文章就结束了，写文章都快弄了一个小时了。。不容易呢 :-
我的github地址 https://github.com/binglansky/spider
嘿嘿，欢迎一块学习交流 :) ~~~
