python爬虫初级--获取指定页面上的菜单名称以及链接，然后导出

'''
Created on 2017年4月5日

@author: Admin
'''

import requests
from bs4 import BeautifulSoup as bsp

# 网站链接
site = 'http://www.runoob.com'
lineNo = 1


class Movie:

    def __init__(self, name, url):
        self.name = name
        self.url = url

    def __str__(self):
        return '%s,\t%s分,\t%s' % (self.name, self.url)

    __repr__ = __str__


def getSoup(url):
    r = requests.get(url)
#     r.encoding = 'gb18030'
    return bsp(r.text, "html.parser")

# 解析指定url，获取其中指定内容
def filterMovie(url):
    resultList = []
　　 # url处理，注意页面的编码集
    soup = getSoup(url)
    # 查找所有target=_top的a标签
    atags = soup.find_all('a', target='_top')
    for atag in atags:
　　　　 # 取到指定a标签的title属性
        titleA = atag['title']
        if atag is not None:
            try:
　　　　　　　　　　# 根据取到的href属性，拼接上页面域名 获得完整的跳转url
                url = site + atag['href']
                print('url:', url)
                print('title:', titleA)
　　　　　　　　　　# 根据主方法里面 _init_ 中定义的内容，将获取到的字段进行组合，然后放到集合中
                movie = Movie(titleA, url)
                resultList.append(movie)
            except:
                print('error !!')
    return resultList

# 根据传入的结果结合 按照指定格式保存到 文本文件中
def saveInfo(atagList):
    # 注意指定编码，否则输入到txt文件的时候会乱码
    fileObj = open('vueJS.txt', 'a',encoding='utf8')
    for atag in atagList:
        atagName = str(atag.name)
        print('url info:', atagName)
        global lineNo
        fileObj.write('(' + str(lineNo) + ') ' + atagName )
        fileObj.write('\t')
        fileObj.write(atag.url)
        fileObj.write(
            '————————————————————————————————————————————————————————————————————————————————————————————————')
        fileObj.write('\n')
        lineNo += 1
    fileObj.close()

# 获取到根据url整理出的一个结果集合，然后将结果集合保存的物理文件中
def getPageResource(url):
　　
    resultList = filterMovie(url)
    if len(resultList) > 0:
        saveInfo(resultList)

# 方法入口，定义一个页面url，然后去解析
if __name__ == '__main__':
    url = 'http://www.runoob.com/vue2/vue-tutorial.html'
    getPageResource(url)