爬虫学习---基础操作--抽屉新热榜自动点赞与豆瓣自动统一短评

爬虫的学习相对来说，比较烦锁，因为网站的反爬规则，经过两天的研究，终于搞定了抽屉新热榜自动点赞与豆瓣自动统一短评（豆瓣登录的验证码目前需要手动输入）

 

抽屉网的规则问题

示例如下：

import requests,re
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'
}
user='你的帐号'
pwd='你的密码'
def index_first():#抽屉网需要GET的COOKIES
    r1=requests.get('https://dig.chouti.com/',headers=headers)
    return r1.cookies.get_dict()
def login(cookies,user,pwd):
    post_dict={ #登陆时要提交的数据
        'phone':user,
        'password':pwd,
        'oneMonth':1
    }
    response = requests.post(#要登陆的网址
         url="https://dig.chouti.com/login",
         data=post_dict,
        cookies=cookies,#带上cookies进行授权
        headers=headers
     )
    print(response.text,'url')
    return

def profiles(cookie_gpsd):#进入个人主页
    response=requests.get(
        url='https://dig.chouti.com/profile/bind',
        cookies=cookie_gpsd,
        headers=headers
    )
    soup =BeautifulSoup(response.text,features='html.parser')#python 内置转换的对象
    phone=soup.find(id='bind-content')
    #phone_nube=phone.find('class')
    reg=r'<div class="show-phoneCode">当前绑定号码为：(.*?)</div>'
    rest=re.findall(reg,response.text)#查找
    print('',rest)
    if rest[0]=='+你的手机号':
        print('进入个人设置成功')

def dz(cookies_dict):
    ret=requests.post(url='https://dig.chouti.com/link/vote?linksId=18760066',#要点赞的文章地址
                  cookies=cookies_dict,
                  headers=headers)
    print(ret.text)


cookie_get=index_first()#先取得GET的cookies
login(cookie_get,user,pwd)#登陆进行cookies的授权
profiles(cookie_get)#可以进行后台
dz(cookie_get)#点赞

豆瓣网

import requests
import re
import json
from bs4 import BeautifulSoup

requests =requests.Session()#记录登录的状态
if __name__ == '__main__':
    user='你的帐号'
    pwd='你的密码'
    #请求头
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'
    }

    def login():
        response=requests.get('https://accounts.douban.com/login',headers=headers)
        response.encoding=response.apparent_encoding  #返回网页的原先编码
        result=response.text#取出文本即网页源码
        reg=r'<input type="hidden" name="captcha-id" value="(.*?)"/>'#正则表达式
        catpchaId=re.findall(reg,result)#查找 验证码对象ID
        soup =BeautifulSoup(result,features='html.parser')#python 内置转换的对象
        target=soup.find(id='captcha_image')#查找 验证码对象
        img_url =target.attrs.get('src')#获取验证码图片URL
        print(img_url,catpchaId)
        response=requests.get(img_url,headers=headers)#获取验证码图片
        codeimg=response.content#保存为二进制
        print(codeimg,'codeimg')
        with open('code.png','wb') as f:#保存为PNG图片
            f.write(codeimg)
        post_dict={ #登陆时要提交的数据
            'source':'index_nav',
            'form_email':user,#用户名
            'form_password':pwd,#密码
            'captcha-solution':input('请输入验证码:'),#输入你保存的PNG图片中的验证码
             'captcha-id':catpchaId
        }
        response = requests.post(#要登陆的网址
             url="https://accounts.douban.com/login",
             data=post_dict,
            headers=headers
         )
        print(response.url,'url')
        # #print(response.text,'text')
        # cookie_dict=response.cookies.get_dict()#产生的cookie
        # print(cookie_dict,'cookie_dict')
        if '莫柔落切的帐号' in response.text:
            print('登录成功')
        else:
            print('登录失败，重新登录！')
            login()
            return
    def comment(mid):#评论
        data={#评论的表单数据格式
            'ck':'xVds',
            'comment':'我来留个名',
            'foldcollect':'F',
            'interest':'collect',
            'rating':'',
            'tags':'123'
        }
        #进行提交
        response=requests.post('https://movie.douban.com/j/subject/%s/interest'%mid,data=data,headers=headers)
        print(response.text,'comment.text')
    def getMoveId():#电影的ID  排行榜
        response=requests.get('https://movie.douban.com/ithil_j/activity/movie_annual2017/widget/20',
                                headers=headers)
        print(response.text)
        result=response.json()#进行转换为文本

        print(type(result),'类型')
        return  result['res']['subjects']#返回所要的数据

    login()
    for i in getMoveId():#循环电影ID列表
        print(i)
        comment(i['id'])#进行短评