LynHou

摘要： # -*- coding: utf-8 -*- 中文用户一定先用这行来声明编码方式 爬虫： 爬虫是自动访问互联网，并且提取数据的程序 (从网络上获取非结构化的数据，ETL将这些数据转换为结构化数据存储，然后做分析挖掘) 爬虫的核心，是页面规律的探索和反爬机制的处理 爬虫的价值，互联网数据为我所用 轻 阅读全文

摘要： 为什么要用到cmd界面 在这里操作的是Scripy框架的指令，不是Python代码 Parse Scripy的回调函数 fiddler 用于爬取JS存储数据的页面 项目： 1. 创建一个scrapy项目 cmd--进入scrapy.exe目录--scrapy startproject TestScr 阅读全文

摘要： 应用领域： 1. 网络爬虫 2. 大数据分析与挖掘 3. 机器学习 4. web应用 5. 游戏开发 6. 自动化运维 入门学习网站： imooc，廖雪峰，黑马 环境变量 就是告诉电脑，你的程序安装在什么地方(.exe文件能被执行到) 也即在命令行下输入python时，能够被找到 python sh 阅读全文

摘要： Python3内置了sqlite SQLite是一个软件库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎 是在世界上最广泛部署的 SQL 数据库引擎 SQLite 源代码不受版权限制 下载安装： http://www.sqlite.org/download.html sqli 阅读全文

摘要： Pandas的功能： 1. 结构化的数据分析; 相比excel，可以处理更大量的数据和更好的性能 2. 对数据的清洗 阅读全文