摘要：
当需要从其他非官方的py文件引用函数或者是类的时候，我们也可以使用import指令来实现 假设我们需要abc.py文件中的函数或是类的时候，用以下命令 根据这个方法，我们可以将abc.py文件中的函数和类引入到当前程序中，就像c的include头文件一样，非常方便 依靠import的功能，我们可以将 阅读全文
摘要：
有时我们会遇到相同类型的数据存在了多个csv文件中，我们需要把这些csv合并为一个文件 如果需要处理的csv文件较多的话，最好先以一定的命名方式按序对csv文件进行命名，方便检索 在重命名之后，我们从指定的路径中寻找包含特定字符的所有csv文件，输出为文件名列表，代码实现如下 函数使用了os库，需要 阅读全文
摘要：
当需要处理的数据量较大时，我们需要充分利用计算机的资源来降低程序的运行时间，这时我们可以使用multiprocessing库建立多个进程 multiprocessing库同样可以建立多个线程，但是python作为解释型语言，系统会把建立的多线程序列化逐个运行，并没有利用多核cpu的并行运算性能，因此 阅读全文
摘要：
当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据 我希望从北京公交网站获取北京公交的所有线路信息，从而为后续 阅读全文
摘要：
对网页的结构处理有很多方便的第三方库，在使用第三方库之前先尝试了用字符处理对网页源码提取信息 首先引用urllib 爬取网页并解码得到源代码 通过对于html的结构了解可以得知url在html代码中的结构往往是这样的 因此我们可以先搜索字符串里所有的herf再找到最近的两个引号，在引号之间的基本就是 阅读全文
摘要：
爬虫工具作为获取线上数据的重要途经，可以快速获取网页的相关信息，这次使用python自带的urllib库中的request，进行一次网络爬取，首先引用urllib库 接下来调用其中的函数urlopen我们就可以对一个网页进行访问，这里用百度作为例子 urlopen得到的是网页流，要生成可以阅读的代码 阅读全文
摘要：
很多时候我们获取的数据存在大量重复，重复数据在进一步处理时会降低处理效率，且可能导致错误，因此内容去重是数据处理一个重要步骤。 通过list的set()和sort()函数对于数据进行顺序去重，读取文件夹中的所有文件，生成文件列表，读取文件内容列表，进行去重和按原索引顺序排序。 首先我们需要将所有需要 阅读全文
摘要：
列表list是python中基本的数据结构，列表中的每个元素都分配一个数字作为索引进行管理，在形式上列表与c语言的数组有一定的相似之处，但是列表的灵活性与易用性是远远超过数组的。 list的索引从0开始，其中的元素不需要具有相同的类型，因此可以把各种类型的数据存在一个列表中，列表的声明也很简单，使用 阅读全文
摘要：
数据可视化是数据处理过程中的一个重要流程，有助于对数据整体的特征有一个直观的了解，以下是对于一个简单的二维数据进行折线图的显示 color可以使用”red““orange”等默认的颜色，也可以用rgb编码来确定想显示的颜色，alpha调节透明度，lw指线的宽度 我们也可以设定线的格式，“：”指用虚线 阅读全文
摘要：
由于需要调试FPGA程序，因此安装了ISE design suit，在安装ISE的过程中并没有跳出注册license的提示，在安装完毕后，直接打开ISE design suit.exe提示没有找到license注册信息，在help菜单栏里有manage license选项，但是点了没反应，之后又在启 阅读全文