Python的log
摘要：关键代码 调用方： Logger.py Logger相关属性 可以通过下面的代码来进行设置（基本上不需要这么设置，因为通过getlogger()获取的logger对象并没有集成root的相关配置）： 关于format
阅读全文
posted @ 2019-11-01 16:58
随笔分类 - Python
Pandas的DataFrame
摘要：1. 手工创建DataFrame 1 a = [[1, 2, 2],[3,None,6],[3, 7, None],[5,None,7]] 2 data = DataFrame(a) 2. Excel数据数据没有顶头的处理 1 import os 2 import pandas as pd 3 ba
阅读全文
posted @ 2019-08-30 13:12
Python访问数据库
摘要：之前总是报错，说是Connection Already Close；后来才发现是因为写法的问题；在writeToDB的函数中，执行完毕后，将会执行final里面的关闭链接； 但是，其实访问并没有完事，在writeToDB外围还有一层循环，后续还是会继续访问数据库，但是此时链接已经关闭，于是导致了这个
阅读全文
posted @ 2019-07-27 20:55
Python的传递引用
摘要：在研究神经网络的反向传播的时候，不解一点，就是修改的是神经网络的paramets，为什么影响内部的神经元（层），比如Affine层；因为除了创建的时候，使用params作为Affine层的构造函数参数之外，根本没有再使用。关系如下： 后来才发现其实python里面也是和Java一样，对于对象类型传值
阅读全文
posted @ 2019-06-06 09:21
如何爬取网页数据
摘要：https://selenium-python.readthedocs.io/navigating.html https://blog.csdn.net/chengxuyuanyonghu/article/details/79154468 关键是要明白webdriver是基于浏览器驱动的；所以在创建
阅读全文
posted @ 2019-03-26 13:44
Python手记（二）
摘要：1.map函数 map函数用于将指定的数据成员都使用指定函数进行处理。 比如： 这两个函数分别将arr中成员转换为float类型，以及对于arr中成员求平方。 还可以通过lamba函数来进行指定匿名函数： 但是注意map函数在python2中返回的是List（原生数组），但是在python3中返回的
阅读全文
posted @ 2019-03-10 21:22
python的set处理二维数组转一维数组
摘要：for splitValue in set(dataset[:, featureIndex].tolist()): 首先set是一个无序，无重复的数据结构，所以很多时候使用它来进行去重；但是set接收的函数是原生array，这个怎么办？我现在有的numpy里面的matrix；于是我查了一下，直接使用
阅读全文
posted @ 2019-03-10 21:17
python print format
摘要：python print format %o —— oct 八进制 %d —— dec 十进制 %x —— hex 十六进制 1 1 >>> print('%o' % 20) 2 2 24 3 3 >>> print('%d' % 20) 4 4 20 5 5 >>> print('%x' % 20
阅读全文
posted @ 2019-03-10 21:12
关于回归树的创建和剪枝
摘要：之前对于树剪枝一直感到很神奇；最近参考介绍手工写了一下剪枝代码，才算理解到底什么是剪枝。 首先要明白回归树作为预测的模式（剪枝是针对回归树而言），其实是叶子节点进行预测；所以在使用回归树进行预测的时候，本质都是在通过每层（每个层代表一个属性）的值的大于和小于来作为分值，进行二叉树的遍历。最后预测值其
阅读全文
posted @ 2019-03-10 20:56
Python神坑：sum和numpy.sum
摘要：同样的一段代码，在两个python文件里面执行的结果不一样，一个是按照列单位进行sum一个是所有元素进行sum； 搞了半天，最后想到了，是不是可能sum语义不同，python原生和numpy的两个？一查，果然sum分两种； 在第一个类文件里面（第二个类文件有一句: from numpy import
阅读全文
posted @ 2019-03-10 20:54
Python问题汇总
摘要：1.dict is not callable tree是一个字典类型。 tree("left") -> tree["left"] 2.list indices must be integers or slices, not tuple dataset是原生的python数组，是list类型（pyth
阅读全文
posted @ 2019-03-10 20:52
nonzero
摘要：在python的numpy里面这个函数的意义是返回参数数组中不为0的元素的索引（indics）。 from numpy import array output： [[1 0 0] [0 2 0] [1 1 0]] (array([0, 1, 2, 2], dtype=int64), array([0
阅读全文
posted @ 2019-02-11 07:49
Python时钟，计算程序运行时间
摘要：关于计算程序执行时间 1. time需要import；2. time.clock在windows下面返回的是时间戳，在计算时间间隔需要用end - start；但是在linux下面clock则是获取时间间隔（clock调用第二次开始）；3. 注意在linux下面返回的是占用cpu的时钟时间，所以sl
阅读全文
posted @ 2018-10-28 11:43
Python中的数组和list
摘要：Python的X[y==1, 0] 最近研究逻辑回归，Iris花的经典示例，代码就不全粘贴了，具体代码参看“Iris花逻辑回归与实现” X[y==0, 0]中的y==0是个什么东东，为什么可以占据X的第一个位置？ 首先我们看一下X是个什么？ Output: X是一个数组，数组的元素是一个二元组。在解
阅读全文
posted @ 2018-10-07 20:52
关于value_count
摘要：value_counts将会对于指定列的数据进行group，然后统计出各个出现的值的数量，并且按照从高到低的顺序进行排序 输出： 代表Pclass这个字段共有三种值：1，2，3；出现的次数分别为216,184以及491，上面的列表就是按照出现“值”的数量从高到低排列以及数量进行排列； 原则即使：在对
阅读全文
posted @ 2018-08-12 22:43
jupyter notebook的路径
摘要：跟你执行jupyter notebook的当前路径有关系；你在哪个路径下执行的这个语句，那么你就是以那个路径为基础的workspace
阅读全文
posted @ 2018-08-12 22:27
Jupyter和IPython
摘要：Jupyter内核就是IPython（Interactive Python）；你看到的按tab键能够自动提示/补齐都是IPython实现的。 IPython其实不只限于IPython，其实你看到的IDE里面的tab键自动感应都是IPython的实现，比如Pycharm里面的Anaconda库就是包含
阅读全文
posted @ 2018-06-04 09:24
关于pyspark
摘要：http://spark.apache.org/ 官网，下载tar包 解压缩到本地； 设置环境变量，把%Spark解压缩路径%/bin放入到PATH变量中；（可以考虑设置一个SPARK_HOME) 在命令窗口中敲入pySpark，将会看到一系列OK的提示字符串； 问题： Could not loca
阅读全文
posted @ 2017-08-27 22:12
hive通过spark导入hbase
摘要：发现采用shcjar的话，总是执行到某个点就停止了 于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看 确实不行，即使没有createtable，也是报错没有权限创建表；还是专心来研究一下shc吧 翻看一下日志，日志注明了spark查看
阅读全文
posted @ 2017-08-27 22:06
Pyspark
摘要：It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex
阅读全文
posted @ 2017-08-19 22:04
