随笔分类 -  Python

Python的log
摘要:关键代码 调用方: Logger.py Logger相关属性 可以通过下面的代码来进行设置(基本上不需要这么设置,因为通过getlogger()获取的logger对象并没有集成root的相关配置): 关于format 阅读全文

posted @ 2019-11-01 16:58 张叫兽的技术研究院 阅读(653) 评论(0) 推荐(0) 编辑

Pandas的DataFrame
摘要:1. 手工创建DataFrame 1 a = [[1, 2, 2],[3,None,6],[3, 7, None],[5,None,7]] 2 data = DataFrame(a) 2. Excel数据数据没有顶头的处理 1 import os 2 import pandas as pd 3 ba 阅读全文

posted @ 2019-08-30 13:12 张叫兽的技术研究院 阅读(422) 评论(0) 推荐(0) 编辑

Python访问数据库
摘要:之前总是报错,说是Connection Already Close;后来才发现是因为写法的问题;在writeToDB的函数中,执行完毕后,将会执行final里面的关闭链接; 但是,其实访问并没有完事,在writeToDB外围还有一层循环,后续还是会继续访问数据库,但是此时链接已经关闭,于是导致了这个 阅读全文

posted @ 2019-07-27 20:55 张叫兽的技术研究院 阅读(226) 评论(0) 推荐(0) 编辑

Python的传递引用
摘要:在研究神经网络的反向传播的时候,不解一点,就是修改的是神经网络的paramets,为什么影响内部的神经元(层),比如Affine层;因为除了创建的时候,使用params作为Affine层的构造函数参数之外,根本没有再使用。关系如下: 后来才发现其实python里面也是和Java一样,对于对象类型传值 阅读全文

posted @ 2019-06-06 09:21 张叫兽的技术研究院 阅读(289) 评论(0) 推荐(0) 编辑

如何爬取网页数据
摘要:https://selenium-python.readthedocs.io/navigating.html https://blog.csdn.net/chengxuyuanyonghu/article/details/79154468 关键是要明白webdriver是基于浏览器驱动的;所以在创建 阅读全文

posted @ 2019-03-26 13:44 张叫兽的技术研究院 阅读(296) 评论(0) 推荐(0) 编辑

Python手记(二)
摘要:1.map函数 map函数用于将指定的数据成员都使用指定函数进行处理。 比如: 这两个函数分别将arr中成员转换为float类型,以及对于arr中成员求平方。 还可以通过lamba函数来进行指定匿名函数: 但是注意map函数在python2中返回的是List(原生数组),但是在python3中返回的 阅读全文

posted @ 2019-03-10 21:22 张叫兽的技术研究院 阅读(220) 评论(0) 推荐(0) 编辑

python的set处理二维数组转一维数组
摘要:for splitValue in set(dataset[:, featureIndex].tolist()): 首先set是一个无序,无重复的数据结构,所以很多时候使用它来进行去重;但是set接收的函数是原生array,这个怎么办?我现在有的numpy里面的matrix;于是我查了一下,直接使用 阅读全文

posted @ 2019-03-10 21:17 张叫兽的技术研究院 阅读(4154) 评论(0) 推荐(0) 编辑

python print format
摘要:python print format %o —— oct 八进制 %d —— dec 十进制 %x —— hex 十六进制 1 1 >>> print('%o' % 20) 2 2 24 3 3 >>> print('%d' % 20) 4 4 20 5 5 >>> print('%x' % 20 阅读全文

posted @ 2019-03-10 21:12 张叫兽的技术研究院 阅读(328) 评论(0) 推荐(0) 编辑

关于回归树的创建和剪枝
摘要:之前对于树剪枝一直感到很神奇;最近参考介绍手工写了一下剪枝代码,才算理解到底什么是剪枝。 首先要明白回归树作为预测的模式(剪枝是针对回归树而言),其实是叶子节点进行预测;所以在使用回归树进行预测的时候,本质都是在通过每层(每个层代表一个属性)的值的大于和小于来作为分值,进行二叉树的遍历。最后预测值其 阅读全文

posted @ 2019-03-10 20:56 张叫兽的技术研究院 阅读(1440) 评论(0) 推荐(0) 编辑

Python神坑:sum和numpy.sum
摘要:同样的一段代码,在两个python文件里面执行的结果不一样,一个是按照列单位进行sum一个是所有元素进行sum; 搞了半天,最后想到了,是不是可能sum语义不同,python原生和numpy的两个?一查,果然sum分两种; 在第一个类文件里面(第二个类文件有一句: from numpy import 阅读全文

posted @ 2019-03-10 20:54 张叫兽的技术研究院 阅读(2642) 评论(0) 推荐(0) 编辑

Python问题汇总
摘要:1.dict is not callable tree是一个字典类型。 tree("left") -> tree["left"] 2.list indices must be integers or slices, not tuple dataset是原生的python数组,是list类型(pyth 阅读全文

posted @ 2019-03-10 20:52 张叫兽的技术研究院 阅读(1843) 评论(0) 推荐(0) 编辑

nonzero
摘要:在python的numpy里面这个函数的意义是返回参数数组中不为0的元素的索引(indics)。 from numpy import array output: [[1 0 0] [0 2 0] [1 1 0]] (array([0, 1, 2, 2], dtype=int64), array([0 阅读全文

posted @ 2019-02-11 07:49 张叫兽的技术研究院 阅读(246) 评论(0) 推荐(0) 编辑

Python时钟,计算程序运行时间
摘要:关于计算程序执行时间 1. time需要import;2. time.clock在windows下面返回的是时间戳,在计算时间间隔需要用end - start;但是在linux下面clock则是获取时间间隔(clock调用第二次开始);3. 注意在linux下面返回的是占用cpu的时钟时间,所以sl 阅读全文

posted @ 2018-10-28 11:43 张叫兽的技术研究院 阅读(1289) 评论(0) 推荐(0) 编辑

Python中的数组和list
摘要:Python的X[y==1, 0] 最近研究逻辑回归,Iris花的经典示例,代码就不全粘贴了,具体代码参看“Iris花逻辑回归与实现” X[y==0, 0]中的y==0是个什么东东,为什么可以占据X的第一个位置? 首先我们看一下X是个什么? Output: X是一个数组,数组的元素是一个二元组。在解 阅读全文

posted @ 2018-10-07 20:52 张叫兽的技术研究院 阅读(6297) 评论(0) 推荐(0) 编辑

关于value_count
摘要:value_counts将会对于指定列的数据进行group,然后统计出各个出现的值的数量,并且按照从高到低的顺序进行排序 输出: 代表Pclass这个字段共有三种值:1,2,3;出现的次数分别为216,184以及491,上面的列表就是按照出现“值”的数量从高到低排列以及数量进行排列; 原则即使:在对 阅读全文

posted @ 2018-08-12 22:43 张叫兽的技术研究院 阅读(1833) 评论(0) 推荐(0) 编辑

jupyter notebook的路径
摘要:跟你执行jupyter notebook的当前路径有关系;你在哪个路径下执行的这个语句,那么你就是以那个路径为基础的workspace 阅读全文

posted @ 2018-08-12 22:27 张叫兽的技术研究院 阅读(170) 评论(0) 推荐(0) 编辑

Jupyter和IPython
摘要:Jupyter内核就是IPython(Interactive Python);你看到的按tab键能够自动提示/补齐都是IPython实现的。 IPython其实不只限于IPython,其实你看到的IDE里面的tab键自动感应都是IPython的实现,比如Pycharm里面的Anaconda库就是包含 阅读全文

posted @ 2018-06-04 09:24 张叫兽的技术研究院 阅读(212) 评论(0) 推荐(0) 编辑

关于pyspark
摘要:http://spark.apache.org/ 官网,下载tar包 解压缩到本地; 设置环境变量,把%Spark解压缩路径%/bin放入到PATH变量中;(可以考虑设置一个SPARK_HOME) 在命令窗口中敲入pySpark,将会看到一系列OK的提示字符串; 问题: Could not loca 阅读全文

posted @ 2017-08-27 22:12 张叫兽的技术研究院 阅读(167) 评论(0) 推荐(0) 编辑

hive通过spark导入hbase
摘要:发现采用shcjar的话,总是执行到某个点就停止了 于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看 确实不行,即使没有createtable,也是报错没有权限创建表;还是专心来研究一下shc吧 翻看一下日志,日志注明了spark查看 阅读全文

posted @ 2017-08-27 22:06 张叫兽的技术研究院 阅读(1584) 评论(0) 推荐(0) 编辑

Pyspark
摘要:It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex 阅读全文

posted @ 2017-08-19 22:04 张叫兽的技术研究院 阅读(1280) 评论(0) 推荐(0) 编辑

导航