随笔分类 - Python
摘要:对于标称型数据,在特征处理的时候,需要对其进行编码 在编码之前,如果训练集和测试集是分开的,则需要对其进行合并,避免标称数据丢失 # 合并 df = train.append(test).reset_index() # 列名 original_columns = list(df.columns) 常
阅读全文
摘要:sqlalchemy是Python的ORM框架 1.安装sqlalchemy 2.安装mysql-connector
阅读全文
摘要:1.首先需要注册一个网易的邮箱,开启smtp服务,并使用其授权码 2.发送邮件的Python脚本 #!/usr/bin/python # -*- coding: UTF-8 -*- import smtplib from email.header import Header from email.m
阅读全文
摘要:安装的过程请参考 Ubuntu14.04下同时安装Anaconda2与Anaconda3 启动的时候cd到$HOME/anaconda2/envs/py3k/bin下 然后记得在/etc/profile中加上 如果想安装包,直接pip install
阅读全文
摘要:布隆过滤器的实现方法1:自己实现 参考 http://www.cnblogs.com/naive/p/5815433.html bllomFilter两个参数分别代表,布隆过滤器的大小和hash函数的个数 #coding:utf-8 #!/usr/bin/env python from bitarr
阅读全文
摘要:查看安装的库 查看过时的库 批量更新的Python脚本 更新pip
阅读全文
摘要:1.安装request pip install requests 2.请求网页 下载地址:http://phantomjs.org/download.html >>> import requests >>> r = requests.get('https://wwww.baidu.com') >>>
阅读全文
摘要:jieba——“结巴”中文分词是sunjunyi开发的一款Python中文分词组件,可以在Github上查看jieba项目。 要使用jieba中文分词,首先需要安装jieba中文分词,作者给出了如下的安装方法: 1.全自动安装:easy_install jieba 或者 pip install ji
阅读全文
摘要:pandas是python特征预处理常用的框架 1.查看数据 加载数据 #-*- coding: utf-8 -*- import pandas as pd train_data = pd.read_csv("./data/train.csv") print(train_data) pandas显示
阅读全文
摘要:1.首先在浏览器中进入WAP版微博的网址,因为手机版微博的内容较为简洁,方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符,最后最重要的是勾选(记住登录状态) 3.使用Wires
阅读全文
摘要:用homebrew 在电脑上安装tesseract库 brew install tesseract 用pip安装支持python的tesseract 接口 pip install pytesseract 使用pytesseract库对图片文件(jpg、png、bmp等)进行识别,把图片转换成字符串输
阅读全文
摘要:1.数据可视化 1.单变量可视化 参考:从kaggle房价预测看探索性数据分析的一般规律 查看pandas某列的统计指标 # 描述性统计 print(train_data['SalePrice'].describe()) count 1460.000000 # 行数 mean 180921.1958
阅读全文
摘要:特征缩放(Feature Scaling)是一种将数据的不同变量或特征的方位进行标准化的方法。 在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲(数量级)的纯数值,便于不同单位或量级的指标能够进行比较和加权。 特征缩放的好处: 参考:标准化的好处及常见处理方法 1. 提升
阅读全文
摘要:官方文档:https://pandas.pydata.org/docs/reference/index.html 1.loc属性,通过标签或布尔数组访问一组行和列。pandas.DataFrame.loc >>> df = pd.DataFrame([[1, 2], [4, 5], [7, 8]],
阅读全文
摘要:1.程序输入和输出 raw_input()内建函数 >>> user = raw_input('Enter your name:') Enter your name:root >>> print 'Your name is:',user Your name is: root print语句 >>>
阅读全文
摘要:1.下载python3.8 cd ~/Download wget https://www.python.org/ftp/python/3.8.11/Python-3.8.11.tgz 解压 tar -zxvf Python-3.8.11.tgz 2.创建目录 cd /usr/local sudo m
阅读全文
摘要:1.配置ssh configuration 2.给项目配置远程python环境 2.配置python interpreter以及代码同步的路径 最后选择remote的python环境来运行代码 remote的python环境上有显卡,可以成功查询到 参考:Pycharm远程调试及远程虚拟环境(包括D
阅读全文
摘要:args 表示参数是一个变量 *args 表示参数是一个tuple **kwargs 表示参数是一个dict 比如 def function(arg,*args,**kwargs): print(arg,args,kwargs) function(6,7,8,9,a=1, b=2, c=3) 结果为
阅读全文
摘要:1.获取元素 通过a标签的文本筛选 driver.find_element(By.LINK_TEXT, 'xx').click() 通过css筛选 driver.find_element(By.CSS_SELECTOR, "input[type='email']").send_keys("xxx")
阅读全文
摘要:1.使用docker镜像运行selenium+chrome环境 官方镜像仓库selenium/standalone-chrome,只支持amd64 拉取镜像 docker pull selenium/standalone-chrome:120.0 启动 docker run -d -p 4444:4
阅读全文