摘要:
阅读全文
摘要:
1. 哈希表(Hash tables) 在Python中,字典是通过哈希表实现的。也就是说,字典是一个数组,而数组的索引是经过哈希函数处理后得到的。哈希函数的目的是使键均匀地分布在数组中。由于不同的键可能具有相同的哈希值,即可能出现冲突,高级的哈希函数能够使冲突数目最小化。Python中并不包含这样 阅读全文
摘要:
一、 全局解释器锁(GIL) 1. 什么是全局解释器锁 在同一个进程中只要有一个线程获取了全局解释器(cpu)的使用权限,那么其他的线程就必须等待该线程的全局解释器(cpu)使用权消失后才能使用全局解释器(cpu),即时多个线程直接不会相互影响在同一个进程下也只有一个线程使用cpu,这样的机制称为全 阅读全文
摘要:
Keras提供两种学习率适应方法,可通过回调函数实现。 1. LearningRateScheduler 该回调函数是学习率调度器. 参数 schedule:函数,该函数以epoch号为参数(从0算起的整数),返回一个新学习率(浮点数) 代码 2. ReduceLROnPlateau 当评价指标不在 阅读全文
摘要:
梯度检验是一种对求导结果进行数值检验的方法,该方法可以验证求导代码是否正确。 1. 数学原理 考虑我们想要最小化以 θ 为自变量的目标函数 J(θ)(θ 可以为标量和可以为矢量,在 Numpy 的编程环境下,处理是一样的),迭代梯度更新公式为: 可以以sigmoid函数为例, 其导数形式为 我们可以 阅读全文
摘要:
1. 上下文管理器 在使用Python编程中,可以会经常碰到这种情况:有一个特殊的语句块,在执行这个语句块之前需要先执行一些准备动作;当语句块执行完成后,需要继续执行一些收尾动作。 例如:当需要操作文件或数据库的时候,首先需要获取文件句柄或者数据库连接对象,当执行完相应的操作后,需要执行释放文件句柄 阅读全文
摘要:
Garbage collection(GC) Garbage collection(GC) python里也同java一样采用了垃圾收集机制,不过不一样的是: python采用的是引用计数机制为主,标记-清除和分代收集两种机制为辅的策略。 1. 引用计数机制 原理:当一个对象的引用被创建或者复制时, 阅读全文
摘要:
1. 异常种类 在python中不同的异常可以用不同的类型(python中统一了类与类型,类型即类)去标识,不同的类对象标识不同的异常,一个异常标识一种错误 常见异常处理: 其他异常: 2. 异常处理 python解释器检测到错误,触发异常(也允许程序员自己触发异常)。程序员编写特定的代码,专门用来 阅读全文
摘要:
zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。 如果各个迭代器的元素个数不一致,则返回列表长度与最短的对象相同,利用 * 号操作符,可以将元组解压为列表。 例子: 结果为:[(1, 4), (2, 5), (3, 6)] 结果为:{1: 阅读全文
摘要:
1. 什么是爬虫和反爬虫? 爬虫:使用任何技术手段,批量获取网站信息的一种方式。 反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。 2. 常见的反爬虫机制 通过UA 识别爬虫 有些爬虫的UA是特殊的,与正常浏览器的不一样,可通过识别特征UA,直接封掉爬虫请求 设置IP访问频率,如果 阅读全文
摘要:
python 爬虫资源包汇总 Requests BeautifulSoup Beautiful Soup库(bs4)入门 Selenium Selenium环境安装设置 Selenium Installation Python爬虫利器五之Selenium的用法 Python爬虫利器三之Xpath语法 阅读全文