2020 年 8月随笔档案 - jaysonteng

tensorflow安装

摘要：通过annaconda来安装TensorFlow annaconda安装方式：查看我另外一篇博客【点击跳转】新建tensorflow环境因为不同的框架公用的部分工具会存在兼容性问题，所以在annaconda里面，最好新建一个TensorFlow单独的环境： # tf为环境名称，自定义 # 3.6 阅读全文

posted @ 2020-08-30 09:02 jaysonteng 阅读(267) 评论(0) 推荐(0) 编辑

pandas DataFrame中agg聚合后重命名列标题

摘要：使用 rename 方法即可 # 注意添加axis=1 df.agg({'g_name': lambda x: len(x.tolist())}).rename({'g_name': 'g_num'}, axis=1) 参考链接阅读全文

posted @ 2020-08-28 10:47 jaysonteng 阅读(2347) 评论(0) 推荐(0) 编辑

editplus远程连接服务器，修改文件保存警告：could not create backup file do you want to change the backup options

摘要：出现此报错是因为连接远程，editplus默认会设置生成备份文件解决方法： tool--> configure...，如下图所示： File-->Backup Options..., 如下图所示：将Create backup...前面的勾去掉即可阅读全文

posted @ 2020-08-12 13:05 jaysonteng 阅读(906) 评论(0) 推荐(0) 编辑

ubuntu linux体统修改时区为中国

摘要：直接使用命令即可： ## 修改时间 timedatectl set-timezone Asia/Shanghai ## 同步到硬件时间 sudo hwclock -w ## 查看硬件时间：若时间正确即修改完成，最好再重启一下 sudo hwclock -r 阅读全文

posted @ 2020-08-12 09:48 jaysonteng 阅读(480) 评论(0) 推荐(0) 编辑

博客园markdown上传文件及图片

摘要：博客园的在线文档编辑器挺好用，但是网页上编辑，始终还是没有本地编辑方便。本人本地编辑使用的是typora编辑器，很好的支持markdown文件，并且能够本地解析markdown的格式。关于typora的安装很简单，点击跳转到官网下载。不多说了，进入主题： 1、上传本地markdown文件到博客园阅读全文

posted @ 2020-08-11 16:21 jaysonteng 阅读(3195) 评论(3) 推荐(5) 编辑

pandas dataframe多层索引取值

摘要：import pandas as pd import numpy as np # 新建df数据 df = pd.DataFrame(np.random.randint(50, 100, size=(4, 4)), columns=pd.MultiIndex.from_product( [['math 阅读全文

posted @ 2020-08-11 14:59 jaysonteng 阅读(8542) 评论(0) 推荐(1) 编辑

ubuntu18.04配置集群：VirtualBox + hadoop3.2.0 + mysql8 + hive3.1.2+ zookeeper3.6.1 + kafka2.5.0 + scala2.13.3 + spark3.0.0

摘要：小白安装集群，历时大半个月，吐血记录，中途差点放弃，坚持就是胜利吧。目录一、版本说明二、ubuntu虚拟机安装三、克隆系统，生成多个机器四、hadoop安装五、mysql安装六、hive安装七、zookeeper安装八、scala安装九、kafka安装十、spark安装十一、阅读全文

posted @ 2020-08-09 01:34 jaysonteng 阅读(330) 评论(0) 推荐(0) 编辑

ubuntu mysql修改密码，配置免密登陆

摘要：修改密码先登陆mysql：mysql -u root -p 切换到mysql数据库：use mysql 修改密码： # 123456是修改后的密码, 'root'是登录用户名 update mysql.user set authentication_string=password('123456' 阅读全文

posted @ 2020-08-08 22:51 jaysonteng 阅读(1123) 评论(0) 推荐(0) 编辑

ubuntu安装与卸载java

摘要：安装java 查看java是否安装：java -version java版本：较新的版本是java11，若要安装执行命令：sudo apt install default-jre 我选择的是java8，因为此版本是得到广泛支持的。安装命令：sudo apt install openjdk-8-jd 阅读全文

posted @ 2020-08-07 15:42 jaysonteng 阅读(20314) 评论(0) 推荐(3) 编辑

linux ubuntu 用户名，主机名，密码修改，增加用户，删除用户

摘要：主机名修改： 18.04之前的版本：直接修改/etc/hostname中的文本内容 18.04及之后的版本：先修改cloud.cfg文件： sudo vi /etc/cloud/cloud.cfg 修改preserve_hostname=true 再修改主机名：sudo vi /etc/hostn 阅读全文

posted @ 2020-08-07 11:13 jaysonteng 阅读(1126) 评论(0) 推荐(0) 编辑

linux中sudo fdisk -l报错：GPT PMBR size mismatch will be corrected by write错误

摘要：问题产生原因：在对虚拟机扩容时候，由于linux系统没有对其磁盘信息进行更新，导致了磁盘实际容量和linux系统容量不一致报错的地方： 1、使用sudo fdisk -l查看磁盘信息时报错：GPT PMBR size mismatch will be corrected by w(rite)错误阅读全文

posted @ 2020-08-05 22:29 jaysonteng 阅读(18009) 评论(2) 推荐(4) 编辑

VM VirtualBox虚拟机vdi扩大磁盘空间容量

摘要：安装好虚拟机后，发现磁盘容量很快就被占满，想要扩展系统磁盘容量，其实很简单，步骤如下：先查看所需修改的磁盘vdi文件的位置：将虚拟机关机再进入VM VirtualBox的安装目录下：运行cmd 进入目录： d: # 进入d目录下 cd \Program Files\Oracle\Virtua 阅读全文

posted @ 2020-08-05 14:54 jaysonteng 阅读(771) 评论(0) 推荐(0) 编辑

WinSCP传输文件到虚拟机linux报错：SSH2_MSG_CHANNEL_FAILURE for nonexistent channel 0

摘要：情况说明：使用的系统的ubuntu server 18.04，虚拟机是VM VirtualBox，我在使用winscp传输文件到虚拟机ubuntu时，文件传输到一半的时候就报此错误，并且winscp的连接会断开。在网上查找了好多方法没有解决。最后，发现是虚拟机的磁盘满了。解决办法 1.删掉虚阅读全文

posted @ 2020-08-05 07:14 jaysonteng 阅读(6680) 评论(0) 推荐(1) 编辑

parallel python多进程集群模式

摘要：parallel python作为轻量级的python分布式框架，为用python做简单的分布式计算提供了很大的方便，而且使用也简单。主要分为单机模式和集群模式：单机模式单机模式就是本机上进行多进程，这与multiprocess的多进程类似，甚至表现不是那么好（主要是体现在速度上面，比mult 阅读全文

posted @ 2020-08-03 15:59 jaysonteng 阅读(1332) 评论(0) 推荐(0) 编辑

zookeeper报错：ERROR [main:QuorumPeerMain@86] - Invalid config, exiting abnormally org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Address unresolved: node01:3888

摘要：问题描述启动zookeeper时，感觉一切正常，但是通过zkServer.sh status查看状态时，发现报错： Error contacting service. It is probably not running. 通过查看 zk/logs下的文件，发现有如下报错： ERROR [main 阅读全文

posted @ 2020-08-01 11:23 jaysonteng 阅读(5443) 评论(2) 推荐(6) 编辑