嵩天老师python网课爬虫实例1的问题和解决方法

一，AttributeError: 'NoneType' object has no attribute 'children', 网页'tbody'没有子类

很明显，报错的意思是说tbody下面没有children，说明我们在gethtmltext的时候可能出现了问题，可以用print（r.status.code）测试，发现并不是200，print(r.raise_for_status())返回的值也是None ，其次 gethtmltext返回的也是 error，说明我们并没有成功下载网页源码。错误原因猜测

1,zuihaodaxue.com网站采取了反爬机制

2,由于教程录制时间久远，url网址错误

第一种情况，加上代理头和cookies测试，发现一样提示 AttributeError: 'NoneType' object has no attribute 'children' ，最后发现是我自己 r.text 写成了 r.txt

def gethtmltext(url):
    headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0"}
    cooks={"cookies":"Hm_lvt_2ce94714199fe618dcebb5872c6def14=1558142987; Hm_lpvt_2ce94714199fe618dcebb5872c6def14=1558147316"}
    try:
        r=requests.get(url,headers=headers,cookies=cooks,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "error"

2，发现老师给的网址是zuihaodaxue.cn,现在网站更新变成了.com，所以换成 http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html 即可解决问题

如果还存在问题那么大部分原因可能是单词拼写错误。

以下为正确代码：

def gethtmltext(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "error"

if __name__ == '__main__':
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"

 

 

二，format()函数格式错误——ValueError: Invalid format specifier

以下代码错误：提示ValueError: Invalid format specifier

def printunivlist(urlist,num):
    tplt = "{0:^6}\t{1:{3}^10}\t{2:^10}\t{3:^10}"
    print(tplt.format("排名","学校","地区","总分",chr(12288)))
    for i in range(num):
        u = urlist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

以下代码正确：

def printunivlist(urlist,num):
    tplt = "{0:^6}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
    print(tplt.format("排名","学校","地区","总分",chr(12288)))
    for i in range(num):
        u = urlist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

可以看出，仅仅是1:{3}^10和1:{4}^10的差别。

 

原因分析：

第二行改为#这里添加了tplit = "{0:^10}\t{1:{3}^10}\t{2:^10}" ；{3:^10}”你添加了地区，相应的作为填充不足10个字符长度的chr(12288)已经不是3了，而是4。

在这里很多同学肯定会问{1:{3}^10}，填充为什么是填充3个或4个，为什么是在1号位填充：

第一，中英文全半角造成不对齐的原因产生在1号位；

第二，分析实例【Python爬取中国前20强大学】前20大学的结果，为排名、学校名称、总分，3个地方需填充，即为3；

第三：后面加入省市，为排名、学校名称、总分、省市，4个地方需要填充，即为4；

转载来源：https://blog.csdn.net/Andone_hsx/article/details/84025828

 

最后贴上我的代码：

import requests
from bs4 import BeautifulSoup
import bs4

def gethtmltext(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "error"

def fillunivlist(urlist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr("td") #将所有标签存为一个列表
            urlist.append([tds[0].string,tds[1].string,tds[2].string,tds[4].string])



def printunivlist(urlist,num):
    tplt = "{0:^6}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
    print(tplt.format("排名","学校","地区","总分",chr(12288)))
    for i in range(num):
        u = urlist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

if __name__ == '__main__':
    unifo=[]
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
    html=gethtmltext(url)
    fillunivlist(unifo,html)
    printunivlist(unifo,20)