随笔分类 - python
摘要：背景：今年开始搞 Data science ，学了 python 小半年，但一直没时间整理整理。这篇文章很基础，就是根据廖雪峰的 python 教程 整理了一下基础知识，再加上自己的一些拓展，方便自己以后查阅。 一、基础 1、简介 (1) 历史 Python是著名的“龟叔”Guido van Ros
阅读全文
摘要：零、写在前面 本文涉及的反爬技术，仅供个人技术学习，禁止并做到： 干扰被访问网站的正常运行 抓取受到法律保护的特定类型的数据或信息 搜集到的数据禁止传播、交给第三方使用、或者牟利 如有可能，在爬到数据后24小时候内删除 具体可参考 2019年5月28号 颁布的 "《数据安全管理办法（征求意见稿）》"
阅读全文
摘要：一、Node.js 日志 1、原生 Node.js 原生方法其实很简单，就四个： 配合 pm2 的 log 功能（参见我之前的 blog： "pm2 官方文档学习笔记 小蒋不素小蒋 博客园" ），可以对项目实现基础的日志功能。（目前我采用的也是这种） 2、第三方库 debug：比较简单，expres
阅读全文
摘要：零、写在前面 本文涉及的反爬技术，仅供个人技术学习，禁止并做到： 干扰被访问网站的正常运行 抓取受到法律保护的特定类型的数据或信息 搜集到的数据禁止传播、交给第三方使用、或者牟利 如有可能，在爬到数据后24小时候内删除 具体可参考 2019年5月28号 颁布的 《数据安全管理办法（征求意见稿）》 一
阅读全文
摘要：一、背景 为公司负责 Data Science 的同事配置线上 jupyter_server （jupyter + jupyter_kernel_gateway）环境。 二、环境 CentOS 7.6 三、安装 从最基础的 python 安装开始介绍。 1、python 采用编译安装，版本为 3.7
阅读全文
摘要：一、介绍 Splash 跟之前我们介绍的 Selenium （ 参考 Selenium 与自动化测试 —— 《Selenium 2 自动化测试实战》读书笔记） 很类似，都可以理解成一个浏览器，提供网页动态渲染（css、javascript、flash 等）服务，并且都支持 HTTP API 与之交互
阅读全文
摘要：零、背景 我之前写过关于 charles 的使用笔记，为什么现在又要来写同类型的 mitmproxy 工具呢？下面我会娓娓道来他比 charles 多出的强大功能。 一、介绍 mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序， 类似 Fiddle、Charles ， 只不过它通过
阅读全文
摘要：一、介绍 1、dash 是什么 dash 是一个基于 Flask (Python) + React 的 web 框架。 入门指南：https://dash.plot.ly/getting-started> 二、安装 1、安装 pip install dash==0.39.0 # The core d
阅读全文
摘要：一、引入 import matplotlib as mpl import matplotlib.pyplot as plt 二、配置 1、画图接口 Matplotlib 有两种画图接口： （1）一个是便捷的 MATLAB 风格接口 （2）功能更强大的面向对象接口【推荐，下文都以这个为例】 在面向对象
阅读全文
