Chen洋

2020年12月17日

摘要： 1.上一篇讲了爬虫概述和urllib库，这篇讲解如何获取数据打开上次写好的spider.py文件,继续写入以下代码： # -*- coding=utf-8 -*- # @Time : 2020/12/16 0016 下午 7:09 # @Author :东南大学软件学院陈洋 # @File :sp 阅读全文

posted @ 2020-12-17 21:14 Chen洋阅读(300) 评论(0) 推荐(0)

Pycharm中如何导入第三方库

摘要：我觉得在pycharm中导包极为便捷和方便，下面和大家分享一下吧：首先点击file，再点击settings，再Projector Interpreter中点击，输入想要的包名，最后点击install package 流程图：点击file,弹出的窗口点击settings，然后点击Projector 阅读全文

posted @ 2020-12-17 21:09 Chen洋阅读(3529) 评论(0) 推荐(0)

Python常用第三方库总结

摘要：今天我将介绍常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是： Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。 Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。 wx 阅读全文

posted @ 2020-12-17 21:07 Chen洋阅读(2476) 评论(0) 推荐(0)

2020年12月16日

Python爬虫技术--入门篇--爬虫介绍

摘要： 1.python爬虫介绍 2.准备工作比如新建项目命名为douban,然后新建个spider.py的python 文件写入： def main(a): print("hello",a) main(2) if __name__=="__main__": #当程序执行时 #调用函数 main(1) 阅读全文

posted @ 2020-12-16 22:23 Chen洋阅读(322) 评论(0) 推荐(0)

module 'urllib' has no attribute 'request'的解决方法

摘要：报错：module 'urllib' has no attribute 'request'解决办法：然后查找原因，据说python3有时候不会将子模块自动导入进去，所以前面加上：（亲测可行） import urllib.request 阅读全文

posted @ 2020-12-16 21:48 Chen洋阅读(6089) 评论(0) 推荐(0)

Python爬虫技术--基础篇--IO编程

摘要： 1.文件读写读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系阅读全文

posted @ 2020-12-16 17:07 Chen洋阅读(184) 评论(0) 推荐(0)

Python爬虫技术--基础篇--错误，调试和测试（下）

摘要： 1.单元测试如果你听说过“测试驱动开发”（TDD：Test-Driven Development），单元测试就不陌生。单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。比如对函数abs()，我们可以编写出以下几个测试用例：输入正数，比如1、1.2、0.99，期待返回值与阅读全文

posted @ 2020-12-16 16:48 Chen洋阅读(157) 评论(0) 推荐(0)

Python爬虫技术--基础篇--错误，调试和测试（中）

摘要： 1.调试程序能一次写完并正常运行的概率很小，基本不超过1%。总会有各种各样的bug需要修正。有的bug很简单，看看错误信息就知道，有的bug很复杂，我们需要知道出错时，哪些变量的值是正确的，哪些变量的值是错误的，因此，需要一整套调试程序的手段来修复bug。第一种方法简单直接粗暴有效，就是用pri 阅读全文

posted @ 2020-12-16 16:42 Chen洋阅读(269) 评论(0) 推荐(0)

Python爬虫技术--基础篇--错误，调试和测试（上）

摘要： 1.错误处理在程序运行的过程中，如果发生了错误，可以事先约定返回一个错误代码，这样，就可以知道是否有错，以及出错的原因。在操作系统提供的调用中，返回错误码非常常见。比如打开文件的函数open()，成功时返回文件描述符（就是一个整数），出错时返回-1。用错误码来表示是否出错十分不便，因为函数本身应阅读全文

posted @ 2020-12-16 16:39 Chen洋阅读(170) 评论(0) 推荐(0)

Python爬虫技术--基础篇--面向对象高级编程（下）

摘要： 1.使用枚举类当我们需要定义常量时，一个办法是用大写变量通过整数来定义，例如月份： JAN = 1 FEB = 2 MAR = 3 ... NOV = 11 DEC = 12 好处是简单，缺点是类型是int，并且仍然是变量。更好的方法是为这样的枚举类型定义一个class类型，然后，每个常量都是c 阅读全文

posted @ 2020-12-16 16:32 Chen洋阅读(153) 评论(0) 推荐(0)

公告