python3 面向对象编程--类的封装和继承

#python3
import re
from urllib import request
import os

class PosterSpider(object):
     def __init__(self, path='./'):
           self.path = path

#the entry of this process

     def getStart(self, url):
           page = self.reqPage(url)

           page = page.decode('utf-8')

           for mvname,mvurl in self.getMvInfo(page):
                self.save2File(mvname,mvurl)

           nexturl = self.getNextpage(page)
           if nexturl:
               self.getStart(nexturl)


#request the page
      def reqPage(self, url):
           response = request.urlopen(url)
           if response.code == 200:
              page = response.read()
              return page

#get the fname and url for each mv
       def getMvInfo(self, page):
             urllist = re.findall(r'<img.*alt="(.*?)".*src="(.*?)"',page)
             return urllist

#get next page url
       def getNextpage(self, page):
             url = 'https://movie.douban.com/top250'
             nexturlraw = re.findall(r'<link rel="next" href="(.*?)"',page)
             if nexturlraw:
                nexturllast = url + nexturlraw[0]
                return nexturllast

#save img to file
    def save2File(self, fname, url):
          image = self.reqPage(url)
          fname = fname + '.jpg'
          fpath = os.path.join(self.path,fname)
          with open(fpath,'wb') as f:
                  f.write(image)

if __name__ == '__main__':
    url = 'https://movie.douban.com/top250'
    spider = PosterSpider('img')
    spider.getStart(url)

posted @   littlevigra  阅读(352)  评论(1编辑  收藏  举报
编辑推荐:
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
· 【译】Visual Studio 中新的强大生产力特性
· 2025年我用 Compose 写了一个 Todo App
点击右上角即可分享
微信分享提示