Python - 随笔分类 - ストッキング

xpath超簡單入門教程

摘要：0. 背景: 1. 本文重點在於xpath在python爬蟲中的使用方法,有關概念性的所有問題將不會提及 2. 本文將涉及的python語法,HTML相關知識,requests庫的使用方法也不會做額外的說明 3. 本文只講述xpath的最簡單使用,其進階使用方法本文不做涉及(有機會在以後的文章中說) 阅读全文

posted @ 2020-09-09 16:12 ストッキング阅读(175) 评论(0) 推荐(0) 编辑

使用python模擬進度條的3種方式

摘要：1. 最普通的方法: max = 100 print("顯示進度條:", end=" ") for i in range(max): print("#", end="", flush=True) sleep(0.01) 最後輸出面板你能動態的得到下面的精度條: 你會看見"#"一個接一個的依次輸出顯阅读全文

posted @ 2020-05-11 13:38 ストッキング阅读(191) 评论(0) 推荐(0) 编辑

對數據按等級分類

摘要：要求: 一個數n,如果: 1. n > 9, n為A類 2. n < 9 and n > 8, n為B類 3. n < 8 and n > 7, n為C類 4. n <7 and n > 6, n為D類 4. n < 6, n為E類使用if-else結構必然是能夠完成要求的,但是顯得不夠優雅,不妨阅读全文

posted @ 2020-05-11 13:15 ストッキング阅读(141) 评论(0) 推荐(0) 编辑

如何讓你的程序在退出的時候執行一段代碼?

摘要：使用python自帶的一個atexit模塊測試代碼： import atexit @atexit.register def clean(): print("程序推出時會執行的代碼已經被執行!") def test(): example = {'a': 1, 'b': 2} print(exampl 阅读全文

posted @ 2020-05-11 12:51 ストッキング阅读(137) 评论(0) 推荐(0) 编辑

05_Python爬蟲入門遇到的坑__總結

摘要：1. 並不是所有的網站都能一次性的爬取成功,因為其可能做有相應的反爬取處理. 2. 如何更直觀的看到自己的效果:由於目前我們所講的只是把網頁的整個源碼爬取下來,所以我們只要將源碼保存為html就可以看見自己爬取的效果.如果直接複製粘貼太low,而且容易出錯,不妨使用如下的代碼: with open( 阅读全文

posted @ 2020-05-11 04:15 ストッキング阅读(129) 评论(0) 推荐(0) 编辑

04_Python爬蟲入門遇到的坑__向搜索引擎提交關鍵字02

摘要：4. 向百度提交關鍵字: 上一篇文章我們向360提交了關鍵字,這次的內容是向百度提交關鍵字在獲取接口之後我們直接套用上一次的代碼先試試看: import requests # 接口 url = "https://www.baidu.com/s?" # 需要提交的字典(我們要搜索的內容,此處假設為p 阅读全文

posted @ 2020-05-11 03:58 ストッキング阅读(181) 评论(0) 推荐(0) 编辑

03_Python爬蟲入門遇到的坑__向搜索引擎提交關鍵字01

摘要：3. 向360搜索提交問題: 使用代碼模擬使用360搜索.大概就是要得到下面這個頁面. 首先我們要知道360給出的接口是:https://www.so.com/s?q=kewword 其中的keyword就是我們提交的關鍵字. 這時候我們可以使用一個字典向瀏覽器提交關鍵字: kv = {"q": " 阅读全文

posted @ 2020-05-11 03:38 ストッキング阅读(164) 评论(0) 推荐(0) 编辑

02_Python爬蟲入門遇到的坑__反爬蟲策略02

摘要：02. 爬取亞馬遜的商品頁面: 獲取亞馬遜商品頁面的詳細信息: 杀死一只知更鸟（“塑造美国的88部图书”之一，普利策奖、奥斯卡金像奖获奖作品、影响全球5000万家庭的教养圣经，奥巴马、贝克汉姆、奥普拉鼎力推荐） (哈珀·李作品) Kindle电子书這次我們有了經驗,直接一開始在一開始就加上head 阅读全文

posted @ 2020-05-11 02:38 ストッキング阅读(207) 评论(0) 推荐(0) 编辑

01_Python爬蟲入門遇到的坑__反爬蟲策略01

摘要：1. 爬取京東商品頁面: 我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮高端定制 2020夏季新款手工时尚休闲鞋绿色-定制款 41-标准运动鞋码要求: 1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息我們直接看代碼: import requests # 需阅读全文

posted @ 2020-05-11 02:06 ストッキング阅读(491) 评论(0) 推荐(1) 编辑

Python爬蟲--rrequests庫的基本使用方法

摘要：文章草稿是在onenote上編寫的，複製粘貼過來會直接變成圖片，請諒解。阅读全文

posted @ 2020-04-23 02:09 ストッキング阅读(136) 评论(0) 推荐(0) 编辑

為元組中的每一個元素命名

摘要：1. 原因: 當存儲一個學生信息的時候使用字典是十分方便的,例如下面這樣: student = { 'name' : "小明", 'sex' : 'Man', 'tel' : '123456', 'score' : 100, 'address' : 'xxxx' } 因為這樣可以很直觀的顯示出一個學阅读全文

posted @ 2020-03-05 15:01 ストッキング阅读(95) 评论(0) 推荐(0) 编辑

Filter函數

摘要：1. 函數的作用: filter函數一般用於過濾序列，過濾掉不符合條件的元素，返回由符合條件元素組成的新列表.也就是列表解析,集合解析,字典解析中提及的過濾元素. 這裡順便說一點題外話,在那篇文章中忘了提及: 列表解析屬於語法糖,編譯器會自動對其優化,但是其簡潔性大大的提高了編程的高效性和可閱讀性. 阅读全文

posted @ 2020-03-02 15:40 ストッキング阅读(123) 评论(0) 推荐(0) 编辑

列表解析,集合解析,字典解析,

摘要：1. 列表解析 1.1. 語法: [ 表達式 for 元素 in 可迭代對象 if 條件 ] [ ]表示要生成一個列表表達式為會放入生成的列表中的元素 for表示for循環 if為可選條件, 如果if存在那麼只有當if的條件為真的時候才能將表達式放入生成的列表當中 1.2. 用途: 列表的初始化, 阅读全文

posted @ 2020-03-02 12:40 ストッキング阅读(155) 评论(0) 推荐(0) 编辑

vritualenvwrapper的基本操作

摘要：virtualenvwrapper的安裝和基本操作阅读全文

posted @ 2019-11-04 21:55 ストッキング阅读(123) 评论(0) 推荐(0) 编辑

随笔分类 - Python

随笔分类 (113)

最新评论