爬虫视频讲座
爬虫 视频讲座
[Scrapy 爬蟲] 什麼是Scrapy以及為什麼要用Scrapy 爬取網頁?
YouTube https://www.youtube.com/watch?v=0pWJHy_fNWA
2016年1月31日发布
透過 Scrapy 網路爬蟲框架，我們就可以在不用重造輪子的情況下撰寫較為完整且具非同步化(asynchronous)請求能力的網路爬蟲。
安裝步驟：
下載並安裝 Anaconda Python
在Anaconda Command Prompt 鍵入 pip install scrapy
開啟爬蟲專案: scrapy startproject apple
網路爬蟲實戰教學 25集的一个系列教学
YouTube https://www.youtube.com/playlist?list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF
1. 什麼是網路爬蟲?
YouTube https://www.youtube.com/watch?v=ceUhb2-gYOU&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF
2015年4月13日发布
爬蟲? 這不是在看動物星球，而是一種利用HTTP Request 抓取網路資料的技術。想想看如果你要做個比價網站或資料分析，但苦無資料的時候，又來不及跟別人談資料交換或合作時，就可以利用這種技術將別人的資料庫變成自己的資料庫，聽起來很迷人嗎？趕快來了解一下。
什麼是網路爬蟲?
開始使用Python撰寫網路爬蟲 (Crawler)
如何使用GET 抓取網頁內容?
如何使用Python 套件: BeautifulSoup4 剖析網頁內容?
如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?
如何使用POST 抓取網頁內容?
[爬蟲實戰] 如何抓取MoneyDJ 文章中的人氣指數?
[爬蟲實戰] 如何抓取心食譜的食譜資訊?
[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?
[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?
[爬蟲實戰] 如何使用Python 模擬登入淘寶並成功抓取淘寶指數?
[爬蟲實戰] 如何抓取集保戶股權分散表?
如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例
如何使用RSelenium 抓取PTT Food版的內容?
[爬蟲實戰] 如何告訴PTT我已滿18並順利抓取八卦版的文章 ?
如何透過網路爬蟲將網路圖片存放至SQLite之中?
[爬蟲實戰] 如何爬取PTT的網頁?
[爬蟲實戰] 如何剖析PTT的網頁?
探索Facebook 隱藏的秘密: 使用Python 存取 Facebook 資訊
探索Facebook 隱藏的秘密: 使用Graph API
[爬蟲實戰 ]如何模擬用戶代理 (User Agent) 成功存取目標網頁內容 (以永慶房屋為例)?
[爬蟲實戰] 如何抓取圖表內的價格資訊?
[爬蟲實戰] 如何抓取591租屋網的資訊?
如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 1)?
如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 2)?
25
Out[27]:
['https://www.youtube.com/watch?v=ceUhb2-gYOU&index=1&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=woJ2ZpQ1Q9I&index=2&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=PzCP8cenOEc&index=3&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=ETvkf5a5rUo&index=4&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=6f2O4LEU058&index=5&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=Ef0kh6NPiBE&index=6&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=CDwUsqpgYpU&index=7&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=YvR39jTbcRc&index=8&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=g49HtnX3SOo&index=9&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=MQH4Rau_F_A&index=10&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=DF47h_hhGZw&index=11&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=oSVCSFBcE4U&index=12&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=4NFHIW43GAY&index=13&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=PYy5C9IIgp8&index=14&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=G5MDpnGsE-k&index=15&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=kmaLelILvb8&index=16&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=4_b3hsezf0w&index=17&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=pudl3-BzFok&index=18&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=lxUIgZj9wfg&index=19&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=VXVE9ql85n8&index=20&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=_0WTohwhPHk&index=21&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=kPIfXmQIW6A&index=22&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=zzMRbrOHlrk&index=23&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=KESG8I9C3oA&index=24&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF',
'https://www.youtube.com/watch?v=zmHVG6c_kFo&index=25&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF']
25
['3:22',
'3:11',
'3:15',
'3:34',
'3:03',
'3:13',
'3:01',
'3:45',
'5:41',
'8:02',
'6:54',
'4:07',
'4:49',
'5:36',
'3:46',
'3:58',
'1:58',
'3:48',
'2:50',
'3:50',
'3:29',
'3:46',
'3:31',
'6:01',
'7:51']
import requests
import pandas as pd
from lxml import html
from pprint import pprint
url='https://www.youtube.com/playlist?list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF'
response = requests.get(url)
html_code=response.content
doc = html.fromstring(html_code, parser=html.HTMLParser(encoding='utf8'))
url_base = 'https://www.youtube.com'
https://www.youtube.com/watch?v=woJ2ZpQ1Q9I&index=2&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF
links = doc.xpath('//td[@class="pl-video-thumbnail"]/span/a/@href')
links = doc.xpath('//td[@class="pl-video-title"]/a/@href')
links = [url_base+link for link in links ]
pprint(len(links))
titles = doc.xpath('//td[@class="pl-video-title"]/a/text()')
pprint(titles)
3:11
times_ = doc.xpath('//td[@class="pl-video-time"]//div[@class="timestamp"]/span/text()')
print len(times_)
pprint(times_)
for t in titles:
print t.replace('\n','')
