摘要:
接触Python之后我第一次听说Flask,我就根据自己搜罗的知识尽可能简洁的说出来。如果不准确的地方还请指正,谢谢。 Flask是什么? Flask有哪些特点? Flask能做什么? 阅读全文
摘要:
1. Pycharm是什么? Pycharm 是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理,代码跳转,只能提示,自动完成,单元测试、脚本控制。此外,该IDE提供了一些高级功能,用于支持Django框架下的专业W 阅读全文
摘要:
我们在用python开发的时候,随着开发应用的增多,比如这个项目用django开发后台,之后又用scrapy来开发爬虫应用等,如果不用虚拟环境这些软件包都会被放到python的site-package目录下,为了项目整洁最好给每个项目各自创建一个独立的python虚拟环境。 1.pip instal 阅读全文
摘要:
1.Scrapy是蜘蛛爬虫框架,我们用蜘蛛来获取互联网上的各种信息,然后再对这些信息进行数据分析处理。 2.Scrapy的组成 引擎:处理整个系统的数据流处理,出发事务 调度器: 接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回 下载器: 下载网页内容,并将网页内容返回给蜘蛛 蜘蛛: 蜘 阅读全文
摘要:
1.官网下载python安装包(eg:python-3.6.3-embed-win32),并解压文件 2.配置环境变量 3.cmd里查看python版本并设置服务路径 4. 访问查看 阅读全文
摘要:
1.初识Scrapy Scrapy是为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或者存储历史数据等一系列的程序中。 2.选择一个网站 当需要从某个网站获取信息时,但该网站未提供API或者能通过程序获取信息的机制时,Scapy可以助你一臂之力。 3.定义想抓去的数 阅读全文
摘要:
1.什么是war文件? 如果一个Web应用程序的目录和文件非常多,那么将这个Web应用程序部署到另一台机器上,就不是很方便了,我们可以将Web应用程序打包成Web归档(WAR)文件。这个过程和把Java类文件打包成jar文件的过程类似。利用WAR文件可以把Servlet类文件和相关的资源集中在一起进 阅读全文
摘要:
1.登录 $ ssh username@ip ssh 是Secure Shell的缩写,是建立在应用层基础上的安全协议。ssh是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用ssh协议可以有效防止远程管理过程中的信息泄露问题。 2.Linux命令 文件和目录 cd /home 进入 阅读全文
摘要:
1.基本的爬虫工作原理 ①)网络爬虫定义,又称Web Spider,网页蜘蛛,按照一定的规则,自动抓取网站信息的程序或者脚本。 蜘蛛通过网页的链接地址来寻找网页,从网站某一个页面开始,读取网页的内容,找到网页中的其他链接地址, 然后通过这些链接地址寻找下一个网页,直到把这个额昂展所有的网页都抓取完为 阅读全文
摘要:
1) 点 (.)去匹配任意字符的时候,不能匹配换行符 在这个模式中(?:.|\n)是指定了一个非捕获组(仅仅用来做匹配,部能通过单独捕获或者编号的组) 2) re.DOTALL re.compile()函数接受一个标志参数叫re.DOTALL,在这里非常有用,它可以让正则表达式中的点(.)匹配包括换 阅读全文