list 去重

import re
lst = ['http://img3m9.ddimg.cn/53/33/1354578839-1_x.jpg',
'http://img3m9.ddimg.cn/63/34/1354579839-1_x.jpg',
'http://img3m9.ddimg.cn/70/31/1354580539-1_x.jpg',
'http://img3m9.ddimg.cn/48/14/1354578339-1_x.jpg',
'http://img3m9.ddimg.cn/35/35/1372811849-1_x.jpg',
'http://img3m9.ddimg.cn/60/30/1354579539-1_x.jpg',
'http://img3m9.ddimg.cn/29/27/1372811249-1_x.jpg',
'http://img3m7.ddimg.cn/47/34/1297859357-1_b_1.jpg',
'http://img3m7.ddimg.cn/73/7/1297861957-1_x.jpg',
'http://img3m7.ddimg.cn/67/36/1297861357-1_x.jpg',
'http://img3m7.ddimg.cn/51/27/1297859757-1_x.jpg',
'http://img3m7.ddimg.cn/71/29/1297861757-1_x.jpg']
lnk=['http://product.dangdang.com/1297861757.html',
'http://product.dangdang.com/1354578839.html',
'http://product.dangdang.com/1372811249.html']
i=0
lst1=[]
while i < len(lst):
pat = 'http://.*?/.*?/.*?/([0-9]{5})'
data = re.compile(pat).findall(lst[i])
k=0
j=0
ll=[]
while j<len(lst):
data1 = re.compile(pat).findall(lst[j])
if (data == data1):
ll.append(lst[j])

k += 1
if k>1 :
lst.pop(j)
j=j-1
j+=1
lst1.append(ll)
i += 1
print(len(lst1))
lst=[]
for m in range (0,len(lnk)):
pat1 = 'http://.*?/([0-9]{5})'
d = re.compile(pat1).findall(lnk[m])

for n in range(0,len(lst1)):
pat2 = 'http://.*?/.*?/.*?/([0-9]{5})'
d1=re.compile(pat2).findall(lst1[n][0])

if d==d1:
lst.append(lst1[n])
break
print(lst)
posted @ 2017-11-25 22:23  沧海一粒水  阅读(163)  评论(0编辑  收藏  举报