摘要：
在讨论这个问题前，我们先来了解一下物理端口、逻辑端口、端口号等计算机概念。 端口相关的概念： 在网络技术中，端口（Port）包括逻辑端口和物理端口两种类型。物理端口指的是物理存在的端口，如ADSL Modem、集线器、交换机、路由器上用 于连接其他网络设备的接口，如RJ-45端口、SC端口等等。逻辑 阅读全文
摘要：
公司升级了服务器的配置，内存吃紧的问题得以解决，由此想到了几个优化MySQL的简单方法。首先明确两件事，我们的业务场景是常见的高并发web服务，查询速度是重中之重。还有就是优化前一定要备份数据库，不然出问题就只能跑路了。 1.使用固态硬盘 这个优化方法毫无技术含量，完全就是花钱买性能，但是不得不说这 阅读全文
摘要：
数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。 常见的脏数据包括如下 阅读全文
摘要：
1.什么是数据分析与数据挖掘技术? 所谓数据分析，即对已知的数据进行分析，然后提出一些有价值的信息。比如统计出平均数、标准差等信息,数据分析的数据量有可能不会太大。而数据挖掘，是指对大量的数据进行分析和挖掘，得到一些未知的有价值的信息等，比如从网站的用户或用户行为数据中挖掘出潜在需求信息，从而对网站 阅读全文
摘要：
Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编写 阅读全文
摘要：
Scrapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端 阅读全文
摘要：
item pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文
摘要：
学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的S 阅读全文
摘要：
Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手 阅读全文
摘要：
STM32启动过程全面解析，包括启动过程的介绍、启动代码的陈列以及深入解析。相对于ARM上一代的主流ARM7/ARM9内核架构，新一代Cortex内核架构的启动方式有了比较大的变化。ARM7/ARM9内核的控制器在复位后，CPU会从存储空间的绝对地址0x000000取出第一条指令执行复位中断服务程序 阅读全文