python定向爬虫实例(一)
功能描述:爬取当当网的某一商品的信息,并在屏幕输出其价格、商品名称
程序设计:
- 获取上商品页面的HTML文本
- 解析HTML文本你将商品信息存在列表中
- 将商品信息输出在屏幕上
import requests import bs4 from bs4 import BeautifulSoup def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: return "" def parseHTML(demo,sLt): soup=BeautifulSoup(demo,"html.parser") for li in soup.find('ul',attrs=['bigimg','cloth_shoplist']).children: try: if isinstance(li,bs4.element.Tag): sLt.append([li.find('a').attrs.get('title'),li.find('span','price_n').string]) except: continue def printGoodsList(sLt): tpt='{0:3}\t\t{1:^3}\t\t{2:{3}^10}' print(tpt.format("序号","价格","商品",chr(12288))) for i,u in enumerate(sLt): print(tpt.format(str(i+1),u[1],u[0],chr(12288))) def main(): goods='书包' url='http://search.dangdang.com/?key='+goods depth=2 #爬取深度 sLt=[] #存放书包的价格、名称 for i in range(depth): try: url=url+"&page_index="+str(i+1) demo=getHTMLText(url) parseHTML(demo,sLt) except: continue printGoodsList(sLt) main()
执行结果:
序号 价格 商品 1 ¥58.90 书包小学生男女生1-2-3-6年级儿童书包男孩防水轻便双肩背包定做5 2 ¥136.00 迪士尼书包 动漫卡通儿童双肩背包小学生1-4年级防水减负书包 3 ¥229.00 【爆款直降】卡拉羊儿童书包-3-4-6年级小学生轻量减负护脊防泼水双肩包韩版CX2742 4 ¥149.00 【爆款直降】卡拉羊小学生书包女儿童书包男减负护脊新款日韩潮初中生双肩背包CX2744 5 ¥229.00 【爆款直降】卡拉羊书包小学生-3年级男女儿童小孩双肩包背包低年级防水抗污耐磨面料CX2739 6 ¥88.00 书包男中学生初中生高中生小学男生背包青少年校园双肩包时尚潮流 7 ¥398.00 hellokitty凯蒂猫 KT1002粉红小学生护脊书包EVA减负儿童书包7-12岁 8 ¥368.00 HelloKitty凯蒂猫 KT1098粉红 儿童书包小学生书包女童韩版甜美淑女减负护脊书包 9 ¥78.70 书包小学生1-2-3-4年级女孩护脊女童双肩包 儿童背包6-12周岁女生 10 ¥88.90 书包小学生男孩1-3-4-6年级轻便护脊儿童书包男双肩减负男童背包 11 ¥128.00 书包女中学生初中生2018新款韩版校园百搭帆布学院风甜甜圈双肩包 12 ¥49.90 书包小学生男女生1-2-3-6年级儿童书包男孩防水轻便双肩背包定做5 13 ¥208.00 HelloKitty凯蒂猫 KT1136玫红 儿童书包 小学生书包 女童韩版3-6年级减负护脊书包 14 ¥59.90 大童男孩子小学生六年级书包青年初一二三韩版时尚潮流男双肩背包 15 ¥78.00 新款双肩包 男韩版大高初中学生书包 时尚潮流休闲背包 旅行包 充电版可外接 USB 16 ¥109.00 kinbor牛津布款双肩书包/大容量经典款背包/旅行手提女包 晚安Classic DTB6343 17 ¥299.00 网易严选 儿童护脊减负书包(1-3年级) 18 ¥50.90 书包小学生1-2-3-6年级男女生 护脊耐磨轻防水儿童双肩包6-12周岁包邮 19 ¥99.00 中大学生初中休闲校园高书包学院风背包时尚潮流新款韩版双肩包 20 ¥298.00 HelloKitty凯蒂猫 KT1093韩版可爱女小学生护脊减负书包 粉红 21 ¥50.90 书包女韩版原宿ulzzang 校园港风双肩包街拍旅行背包潮男高中学生 22 ¥69.00 20170911224644179双肩包男新款韩版休闲时尚大容量高初中学生书包潮流学院风背包男 23 ¥96.90 韩版初中学生书包女时尚潮流双肩包小学生清新大容量校园帆布背包 24 ¥169.00 kinbor牛津布款双肩书包/大容量背包/旅行手提女包/晚安plus DTB6344 25 ¥168.00 Hello Kitty凯蒂猫 KT1059粉红 小学生初中生高年级书包护脊书包 当当自营 26 ¥116.00 书包小学生男孩1-3-4-6年级轻便儿童书包男双肩男童背包 27 ¥189.00 【爆款直降】卡拉羊休闲双肩包大容量中学生书包运动休闲包旅行背包简约电脑包CX5988 28 ¥138.00 小学生书包1-3年级花花姑娘女孩减负双肩包儿童6-12周岁防水背包 29 ¥188.00 HelloKitty凯蒂猫 KT1137浅蓝 儿童书包 女童韩版甜美 1-3年级减负护脊书包 30 ¥208.00 HelloKitty凯蒂猫 KT1136浅紫 儿童书包 小学生书包 女童韩版3-6年级减负护脊书包 31 ¥75.00 自然鱼韩版儿童小学生书包2-5年级男女孩8-12周岁减负护脊防泼水 32 ¥398.00 hellokitty凯蒂猫 KT1002玫红小学生护脊书包EVA减负儿童书包7-12岁 33 ¥98.70 书包女韩版原宿ulzzang 校园帆布双肩包初中学生可爱百搭开学背包 34 ¥198.00 Bad Badta.Maru酷企鹅 XO2031黑色 小学生书包 男孩3-6年级健康护脊减负双肩包 35 ¥188.00 国誉(KOKUYO)SBN01V书包 中小学生减负书包/双肩背包 紫(附带防雨套)当当自营 36 ¥69.80 chic书包女韩版原宿ulzzang大高中学生ins超火双肩包女大容量背包 37 ¥88.80 2018新款双肩包女韩版潮高中初中学生书包卡通校园夜光背包旅行包 38 ¥188.00 HelloKitty凯蒂猫 KT1137浅紫 儿童书包 女童韩版甜美 1-3年级减负护脊书包 39 ¥368.00 HelloKitty凯蒂猫 KT1098浅紫 儿童书包小学生书包女童韩版甜美淑女减负护脊书包 40 ¥309.00 网易严选 银河护脊书包(4-6年级) 41 ¥188.00 Bad Badta.Maru酷企鹅 XO2047蓝色 小学生书包 男孩1-2年级健康护脊减负双肩包 42 ¥175.00 KOKUYO国誉护脊减负学生双肩包带防雨套雨衣背包容量可扩增书包小号粉色WSG-SBN03P当当自营 43 ¥116.90 迪士尼书包小学生男女1-3-4-6年级米奇减负背包儿童书包8-10-12岁 44 ¥78.70 书包女学生韩版校园小清新帆布初中生双肩包卡通小学生开学大背包 45 ¥50.90 书包小学生1-2-3-6年级男女生 护脊耐磨轻防水儿童双肩包6-12周岁 46 ¥68.00 自然鱼小学生书包男女儿童防泼水减负立体书包1-3年级学生背包 47 ¥99.00 联众/UME BU8602C/红色 小学生书包男女1-3-4年级轻便省力减负双肩背包儿童8-10-12岁新年开学礼物 48 ¥189.00 【爆款直降】卡拉羊书包小学生女减负护脊日韩双肩背包男1-3-4-6年级儿童书包防水CX2611 49 ¥78.80 小学生书包女韩版原宿ulzzang 初高中学生背包校园时尚休闲双肩包 50 ¥138.00 当当自营孔子书包 卡通系列 德不孤必有邻 涤纶 双肩背包 粉色配玫红色 K2010 51 ¥90.90 儿童书包小学生男童1-3年级6-12周岁4-6年级男孩双肩背包轻便减负 52 ¥98.00 【暑假大促 领30元无门槛券 只限8月7日到手价68】猫太子儿童书包减负护脊小学生女童男童男孩女孩1-3-4-5-6年 53 ¥178.00 HelloKitty凯蒂猫 KT1146粉红 儿童书包3-6岁女童韩版甜美幼儿园书包 54 ¥199.00 卡拉羊momogirl双肩包女电脑包大容量旅行包学院风初高中学生书包M5274 55 ¥26.00 物有物语 双肩包女 字母双肩包女韩版潮休闲女包学院风初高中学生书包旅游包 56 ¥259.00 【爆款直降】卡拉羊拉杆书包三轮小学生书包女孩男1-3-4-6年级6-12周岁儿童双肩包CX8516 57 ¥88.00 简约双肩包男女韩版中学生书包大容量旅行背包学院风电脑包休闲包 58 ¥96.90 书包小学生 1-2-3-6年级男女生减负双肩儿童书包男孩防水护脊背包 59 ¥58.85 小学生书包女1-3-5-6年级防水儿童书包女童卡通可爱双肩包女孩 60 ¥78.80 书包小学生男孩1-3-4-6年级轻便儿童书包6-12周岁双肩包男童背包 61 ¥249.00 【爆款直降】卡拉羊儿童拉杆书包拉杆双肩包小学生书包男女童-3-4-6年级减负CX8460 62 ¥169.00 【爆款直降】卡拉羊韩版校园初中生书包208新款背包小学生书包男女双肩包CX5971 63 ¥188.00 HelloKitty凯蒂猫 KT1137浅绿 儿童书包 女童韩版甜美 1-3年级减负护脊书包 64 ¥219.00 【爆款直降】卡拉羊书包小学生女儿童双肩包男-3-4-6年级背包防水抗污耐磨面料CX2714 65 ¥469.00 【1件3折】卡拉羊书包男女小学生日韩版 校园1-3-4-6年级减负护脊儿童双肩书包CX2669 66 ¥128.00 Hape防走失背包可调节幼儿园学生出游书包18个月以上婴儿宝宝卡通可爱双肩包玩具 但丁猫 佩佩狗 67 ¥49.90 书包女韩版原宿ulzzang 高中学生电脑包大容量双肩包休闲旅行背包 68 ¥138.00 正版迪士尼书包 小学生男女孩1-3-4-6年级米奇减负背包 儿童书包8-10-12岁双肩包 69 ¥128.00 Hello Kitty凯蒂猫 KT1048粉蓝 韩版甜美淑女幼儿园书包儿童书包 当当自营 70 ¥69.80 小学生书包女6-12周岁儿童书包女孩1-3-4-5-6年级护脊减负双肩包 71 ¥229.00 【爆款直降】卡拉羊小学生书包男初中年级减负背包校园儿童双肩包CX5969 72 ¥69.80 初中女生书包韩版学生潮女大容量帆布小学生书包小清新可爱双肩包 73 ¥116.90 韩版初中高中学生书包女简约百搭帆布背包校园小清新大容量双肩包 74 ¥249.00 【爆款直降】卡拉羊双肩包男女中学生大学生书包高中生大容量休闲韩版潮旅行包CX5566 75 ¥188.00 Hello Kitty凯蒂猫 KT1073粉红 幼儿园书包女3-5岁宝宝背包大班小班儿童书包 当当自营 76 ¥139.00 【爆款直降】卡拉羊双肩包208新款背包高中学生小学生书包女韩版校园初中生CX5357 77 ¥209.00 【爆款直降】卡拉羊小学生书包女-3-4-6年级儿童书包男生减负护脊双肩背包日韩CX2593 78 ¥219.00 【爆款直降】卡拉羊休闲双肩包中学生书包男女超轻大容量初高中生学生休闲背包CX5986 79 ¥68.00 书包小学生男1-3-4-6年级儿童减负护脊女6-12周岁初中学生双肩包 80 ¥328.00 HelloKitty凯蒂猫 KT1097粉红 儿童书包 小学生书包 女童韩版甜美淑女双肩减负书包 81 ¥179.00 【爆款直降】卡拉羊双肩包208新款背包初中学生小学生书包男女韩版校园初中生CX5976CX5975 82 ¥188.00 HelloKitty凯蒂猫 KT1137玫红 儿童书包 女童韩版甜美 1-3年级减负护脊书包 83 ¥179.00 【爆款直降】卡拉羊韩版校园初中生书包208新款背包小学生书包男女双肩包CX5970 84 ¥259.00 【爆款直降】卡拉羊书包-3-4-6年级小学生男女儿童小孩双肩包背包低年级防水抗污耐磨面料CX2715 85 ¥68.00 自然鱼小学生书包男孩女孩时尚卡通书包1-3 年级6-10岁女孩休闲时尚书包 86 ¥80.00 高中学生书包女生2018新款时尚百搭双肩包韩版原宿ulzzang简约街拍背包 87 ¥169.00 【爆款直降】卡拉羊电脑双肩包男士休闲旅行背包大学高中学生书包CS5625 88 ¥154.00 虎妈猫爸罗茜茜同款书包 小学生1-3年级4-6 女生护脊日式日本书包 89 ¥68.00 自然鱼韩版女童书包小学生中学生男女孩3-4-5年级8-12周岁儿童双肩包减负公主 90 ¥169.00 【爆款直降】卡拉羊书包小学生男-3-5年级减负护脊背包英伦风校园儿童双肩包CX2751 91 ¥159.00 韩版原宿ulzzang初中生书包女学院风百搭大容量高中学生双肩包潮 92 ¥139.00 【爆款直降】卡拉羊儿童书包幼儿园女幼儿小书包宝宝背包-2-3岁减负双肩包CX6098 93 ¥249.00 【爆款直降】卡拉羊书包小学生男女书包3456年级背包减负护脊书包双肩包CX2746 94 ¥41.90 初中学生书包女 韩版街头潮流中大学生森系双肩包ulzzang原宿背包 95 ¥77.90 2019新款双肩包男女韩版校园中小学生书包儿童旅游背包女孩包包 96 ¥78.80 原宿小清新韩版校园风中学生书包女帆布休闲双肩包背包小学生书包 97 ¥131.10 迪士尼男童书包小学生4-6年级1-3轻便休闲双肩包美国队长儿童书包 98 ¥79.00 古着感少女初中小学生书包ins双肩包 2019新款韩版简约高中生背包 99 ¥359.00 【1件3折】卡拉羊小学生书包女韩版校园潮1-3-4-6年级儿童双肩包男学生背包CX2659 100 ¥13.90 2018新款牛津帆布袋韩国INS超火单肩手提文艺清新简约学生书包女 101 ¥78.80 火星龙小学生书包1-3-5年级男女防水耐磨透气儿童双肩背包护脊 102 ¥79.00 【爆款直降】卡拉羊儿童书包幼儿园女3-4-6岁幼儿小书包宝宝背包减负双肩包C6005 103 ¥179.00 【爆款直降】momogirl 208新款小双肩包女士背包简约时尚潮流尼龙港风书包女M5339 104 ¥469.00 【1件3折】卡拉羊小学生书包女1-3-4-6年级初中生男高年级减负护脊双肩背包CX2663 105 ¥75.00 自然鱼新款书包女韩版校园3-6小学生轻便背包多层大容量双肩包 106 ¥188.00 Bad Badta.Maru酷企鹅 XO2047黑色 小学生书包 男孩1-2年级健康护脊减负双肩包 107 ¥198.00 Bad Badta.Maru酷企鹅 XO2031蓝色 小学生书包 男孩3-6年级健康护脊减负双肩包 108 ¥79.00 男孩书包小学生1-3-4-6年级儿童书包女孩6-12周岁双肩包 109 ¥199.00 【爆款直降】卡拉羊双肩包女208新款 4寸电脑包高年级学生书包休闲男士背包CX5855 110 ¥129.00 书包小学生男1-3-六年级儿童书包轻便6-12周岁迷彩双肩包男孩 111 ¥97.00 书包女学生韩版校园初中生户外旅游高中学生背包小清新防水双肩包 112 ¥96.00 学院风大学生书包男高中学生女帆布韩版双肩包女背包大容量旅行包 113 ¥89.00 沃曼威斯双肩包男学生书包潮流韩版个性旅游背包休闲大容量旅行包 114 ¥178.00 HelloKitty凯蒂猫 KT1146浅紫 儿童书包3-6岁女童韩版甜美幼儿园书包 115 ¥139.00 迪士尼儿童书包女小学生1-4年级苏菲亚公主女孩冰雪奇缘一年级 116 ¥178.00 HelloKitty凯蒂猫 KT1146玫红 儿童书包3-6岁女童韩版甜美幼儿园书包 117 ¥119.00 书包女韩版原宿ulzzang高中学生初中大容量防水双肩包女2018新款 118 ¥43.50 儿童轻便旅行小背包户外秋游男女大童补习书包小学生双肩包补课包 119 ¥64.80 小学生女孩儿童书包1-3-6年级可爱公主kt猫双肩背包 6-12周岁透气 120 ¥139.00 韩版女双肩包初中学生书包小学生高中校园百搭简约大容量帆布背包