爬虫大作业

爬虫大作业：

1.选一个自己感兴趣的主题（所有人不能雷同）。

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

3.对爬了的数据进行文本分析，生成词云。

4.对文本分析结果进行解释说明。

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

爬虫大作业爬取的网站：http://sports.sina.com.cn/nba/。

爬虫源代码：

from urllib import request

import numpy as np
import requests
import re

from PIL import Image
from bs4 import BeautifulSoup
from datetime import datetime
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt


def getNewsDetail(Url):
    resd = requests.get(Url)
    resd.encoding = 'utf-8'
    soupd = BeautifulSoup(resd.text, 'html.parser')     #打开新闻详情并解析
    news = {}
    news['76人总冠军'] = soupd.select('.main-title')[0].text.rstrip()
    print(news)
    return (news);
newslist = []
def getListPage(newsUrl):   #9. 取出一个新闻列表页的全部新闻 包装成函数def getListPage(pageUrl)
    res = requests.get(newsUrl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    for news in soup.select('.news-list-a ul li'):
     Url = news.select('a')[0].attrs['href']
    # filmslist.append(getFilmsDetail(Url))
     print(Url)
     newslist.append(getNewsDetail(Url))
    return (newslist)
    # print(res.text)


newstotal = []
firstPageUrl='http://sports.sina.com.cn/nba/'
newstotal.extend(getListPage(firstPageUrl))
f = open('nba.txt', 'w', encoding='utf-8')
txtName = "nba.txt"
f = open(txtName, "a+")
f.write(str(newstotal))
f.close()
for news in newstotal:
 print(news)

f=open('nba.txt','r',encoding='GBK').read()
font=r'C:\Windows\Fonts\simkai.ttf'
a=np.array(Image.open("enbide.jpg"))
wordcloud=WordCloud( background_color="white",font_path=font,width=1000,height=860,mask=a,margin=2).generate(f)
imagecolor=ImageColorGenerator(a)
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
wordcloud.to_file('weibo.jpg')