摘要：
一、基础概念 1、代码静态质量要求为A （1）静态检测：对程序代码的检测 变量未初始化，空指针引用，数据类型不匹配，返回局部变量，数据字符串边界溢出，内存泄漏， （2）动态检测：对代码运行时的检测 主要进行内存和资源检查，通过在开辟和释放操作中进行插桩或者命令替换，进行内存和资源统计分析。 2、重复 阅读全文
摘要：
一、网络问题 1. ping:unknown host 的问题最主要是linux设置的DNS解析不了 域名系统（Domain Name System缩写DNS，Domain Name被译为域名）是因特网的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网， 阅读全文
摘要：
https://www.cnblogs.com/zhaof/p/10031945.html 阅读全文
摘要：
一、Scala环境的安装 Scala安装之前一定要安装好jdk 安装Scala，配置环境，输入Scala测试版本 二、 阅读全文
摘要：
一、基础知识 1、在大多数 Web 应用程序中，XML 用于传输数据，而 HTML 用于格式化并显示数据。 对 XML 最好的描述是： XML 是独立于软件和硬件的信息传输工具。常用于简化数据的存储和共享 2、 相对路径与绝对路径： 如果"/"处在XPath表达式开头则表示文档根元素，（表达式中间作 阅读全文
摘要：
一、基础知识 （1） from scrapy.selector import Selector:导入selector对象 （2） sel=Selector(response):声明selector对象，并将响应内容加载该对象中 （3） sel.xpath(xpath语法).extract():使用X 阅读全文
摘要：
一、基础知识 1. Spiders 文件夹 用于编写爬虫规则，可以在已有的___init__.py文件中编写具体的爬虫规则但是实际开发中可能有多个爬虫规则，所以建议一个爬虫规则用一个文件表示，这样便于维护和管理 2. 代码 代码说明： （1） 属性name不能为空，是程序运行入口，如果有多个爬虫规则 阅读全文
摘要：
一、基础知识 1. Pipeline.py scrapy生成的类是setting.py中的配置类ScrapyMusicPipeline，其中数据存储在类方法process_item()中执行。 I: (1) 当spiders爬取的数据存放到items之后，回调函数的return返回items对象，这 阅读全文
摘要：
一、基础知识 1、item.py 定义存储数据对象，主要衔接spiders（文件夹）和pipelines.py 本项目自定义类属性song_name等，代表问题列表中每条问题的内容; 其中scrapy.Field()是scrapy的特有对象，其主要作用是处理并兼容不同的数据格式，开发者在定义类属性时 阅读全文