摘要:
一、深度学习与深层神经网络 深层神经网络是实现“多层非线性变换”的一种方法。 深层神经网络有两个非常重要的特性:深层和非线性。 1.1线性模型的局限性 线性模型:y =wx+b 线性模型的最大特点就是任意线性模型的组合仍然还是线性模型。 如果只通过线性变换,任意层的全连接神经网络和单层神经网络模型的 阅读全文
摘要:
一、计算模型 计算图 1.1 计算图的概念:TensorFlow就是通过图的形式绘制出张量节点的计算过程,例如下图执行了一个a+b的操作。 1.2 计算图的使用 TensorFlow程序一般分为两个阶段。第一个阶段定义计算图中的所有计算,第二个阶段执行计算(执行会话)。 阶段一 阶段二 在TF中,系 阅读全文
摘要:
移除重复数据 dataframe中常常会出现重复行,DataFrame对象的duplicated方法返回一个布尔型的Series对象,可以表示各行是否是重复行。还有一个drop_duplicates方法,用于返回一个移除了重复行的DataFrame。 是否已经发现,duplicated和drop_d 阅读全文
摘要:
重塑层次化索引 层次化索引为DataFrame的重排提供了良好的一致性操作,主要方法有 stack :将数据的列旋转为行 unstack:将数据的行转换为列 用一个dataframe对象举例 对于DataFrame,无论是使用unstack,还是stack,得到都是一个Series对象 Series 阅读全文
摘要:
pandas对象中的数据可以通过一些内置的方式进行合并: pandas.merge 可根据一个或多个键将不同的DataFrame中的行连接起来。 pandas.concat可以沿着一条轴将多个对象堆叠到一起 实例的方法conbine_first 可以将重复的数据编接到一起,用一个对象中的值填充另一个 阅读全文
摘要:
pandas提供的将表格型数据读取为DataFrame对象的函数。 阅读全文
摘要:
pandas用浮点值Nan表示浮点和非浮点数组中的缺失数据。它只是一个便于被检测的标记而已。 NA处理方法 特别说明dropna方法: 常用参数: axis 指定轴 how :“any/all” any代表只有有缺失值,all代表一列全部缺失 thresh; 代表最少notnull值的个数,是一个整 阅读全文
摘要:
针对Series对象,从中抽取信息 unique可以得到Series对象的唯一值数组 返回的是未排序的数组,如果需要排序,再次执行sort()方法或者用numpy的顶级函数sort() 值计数 用到value_counts方法或value_count顶级函数 isin用于判断矢量化集合的成员资格,可 阅读全文
摘要:
pandas对象有一些常用的数学和统计的方法,大部分都属于约简或汇总统计。 SUM方法 DataFrame对象的sum方法,返回一个含有列小计的Series NA值会自动被踢除(新版本会自动转换为0)。可以通过skipna选项禁用此功能。 常用的统计方法: 统计方法的常用选项 axis=None,s 阅读全文
摘要:
NumPy的ufuncs也可以操作pandas对象 用DataFrame的apply方法,可以将函数应用到由各列或行所形成的一维数组中。 用DataFrame的applymap方法,可以将函数应用到元素级的数据上。 Series也有一个元素级函数应用的方法map 排序和排名 用sort_index对 阅读全文