python 翻译爬虫

import urllib.request
import urllib.parse
import json
while 1:
    
    content=input("请输入要翻译的内容：")
    url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=https://www.baidu.com/link"
    data={}
    data['type']='AUTO'
    data['i']=content
    data['doctype']='json'
    data['keyfrom']='fanyi.web'
    data['ue']='UTF-8'
    data['typoResult']='true'

    data=urllib.parse.urlencode(data).encode('utf-8')                    #urlencode（）主要作用就是将url附上要提交的数据。 


    response=urllib.request.urlopen(url,data)
    html=response.read().decode('utf-8')
    target=json.loads(html)
    print("翻译结果: %s" % (target['translateResult'][0][0]['tgt']))

这是form Data中的内容

1. i:
   你好
2. from:
   AUTO
3. to:
   AUTO
4. smartresult:
   dict
5. client:
   fanyideskweb
6. salt:
   1497075070071
7. sign:
   fbdf42a5b8f48f0defc722823ef1be6b
8. doctype:
   json
9. version:
   2.1
10. keyfrom:
    fanyi.web
11. action:
    FY_BY_CLICKBUTTON
12. typoResult:
    true

 

 

 

 

 

进行分析，首先引入三个模块，

首先找到网页版有道词典的在线翻译打开检查，找到network，随便翻译一段话，打开产生的数据，

找到在Headers下的form Data表

我们要解决，如何用python进行POst表单提交：这里urlopen函数有一个data参数，如果我们给这个参数赋值，那么请求就是POST方式

                                                                     如果data没有赋值HTTP请求就是GET方式

在python3的文档里，告诉我们要使用data这个参数，就必须要用urllib.request.urlopen()将其转换为某种格式

 

step：

我们首先要将data表单的内容进行赋值，不难发现，我们提交的要翻译的内容是通过表单中“i”这一项来传递的。

然后对data进行赋值，注意格式也要转换，并且使用“utf-8”解码

下面利用urllib.request.urlopen()来打开url，并且使用第二参数，将data提交

得到的html页面

由于数据交换使用json传输，这里我们用json.loads（）解码，并且将值赋给target

 

target的值其实是一个字典，

{'smartResult': {'entries': ['', 'hello；hi'], 'type': 1}, 'translateResult': [[{'tgt': 'How are you', 'src': '你好'}]], 'elapsedTime': 1, 'errorCode': 0, 'type': 'ZH_CN2EN'}

字典的操作忘了吗，复习一遍吧：

 

>>>target={'smartResult': {'entries': ['', 'hello；hi'], 'type': 1}, 'translateResult': [[{'tgt': 'How are you', 'src': '你好'}]], 'elapsedTime': 1, 'errorCode': 0, 'type': 'ZH_CN2EN'}

>>>print(target['translateResult']

[[{'tgt': 'How are you', 'src': '你好'}]]

 

>>>print(target['translateResult'][0][0]['tgt'])

How are you

 

 

over!

 

 

（伪造表单，打开页面提交表单，获得返回response，从response中提取结果）

知识点：

1，data=urllib.parse.urlencode（data）

 

2，response=urllib.request.urlopen(url,data) urlopen第二参数打开url，提交form data