2022 年 7月随笔档案 - feitiandamo

ConnectionRefused报错总结

摘要：主机连接拒绝通常有以下几种情况：1. 主机名称的问题，机器因为某种原因，hostname发生了变更。2. 免密通信失效由master ssh到其他主机监测是否能够连接3. 确认目标ip是否有效，该机器配置了真实的地址4. ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(331) 评论(0) 推荐(0) 编辑

每天一个linux命令之if的简单用法

摘要：声明:允许转载，转载请注明链接，谢谢合作! 1 字符串判断 str1 = str2 当两个串有相同内容、长度时为真 str1 != str2 当串str1和str2不等时为真 -n str1 当串的长度大于0时为真(... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(1586) 评论(0) 推荐(0) 编辑

每天一个linux命令之 ps aux

摘要：ps -ef和ps aux有什么区别。答： ps aux 是用BSD的格式来显示 java这个进程可以看到状态显示的内容有：USER , PID , %CPU , %MEM , VSZ , RSS ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(296) 评论(0) 推荐(0) 编辑

hive调优

摘要：优化时，把hive sql 当做map reduce 程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(27) 评论(0) 推荐(0) 编辑

读书笔记

摘要：读车品觉的 1.大数据时代的核心特质是'用数据找机会' 2.很多时候，我们欠缺的不是解决问题的方式，而是定位问题的能力 3.在万物皆数据的时代，要以“假设数据都能获取”为前提去思考问题 4.端菜才是大数据所面临的最严重的问题。收集数据的人并不... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(18) 评论(0) 推荐(0) 编辑

每天一个linux命令之 grep

摘要：声明:允许转载，转载请注明链接，谢谢合作! --------------------------------------------------我是分割线---------------------------------------------------... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(289) 评论(0) 推荐(0) 编辑

关于使用su切换用户之后，命令无法…

摘要：在第一部分中，我们讲了使用expect和spawn结合的方法，来实现切用户执行命令的例子。第一部分的地址是：https://blog.csdn.net/wx740851326/article/details/72302935 这一部分，我们来看下如何切换命令... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(105) 评论(0) 推荐(0) 编辑

关于使用su切换用户之后，命令无法…

摘要：在很多的linux脚本中，我们需要su切换用户，来执行相应权限的命令。如果脚本中直接su的话，大多数情况，命令在su之后不会继续执行。因此，我们需要换一种方式来实现su命令，在这里，我推荐使用expect结合spawn命令来实现。实例如下： export c... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(387) 评论(0) 推荐(0) 编辑

Cloudera认证_开发者考试大纲

摘要：cca175开发者认证有10至12条题目，主要是基于cdh5的操作题。要想通过此考试，需要掌握以下基本技能： 1.获取数据的能力这需要我们掌握sqoop的etl命令，flume的数据采集方式，以及如何使用hdfs的命令行加载数据。 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(104) 评论(0) 推荐(0) 编辑

查看 SELinux状态及关闭SELinux

摘要：查看SELinux状态： 1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态 SELinux status: enabled 2、ge... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(65) 评论(0) 推荐(0) 编辑

Yarn浅析

摘要：yarn的主要思想是将 JobTracker的资源管理和任务调度 / 监控功能分离开来，形成两个组件。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(34) 评论(0) 推荐(0) 编辑

flume配置文件example

摘要：flume配置文件example #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Sp... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(70) 评论(0) 推荐(0) 编辑

hadoop安全认证服务

摘要：cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。下面我们来依次了解一下： ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(127) 评论(0) 推荐(0) 编辑

HDFS使用QJM实现高可用（一）

摘要：QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。第一部分 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(150) 评论(0) 推荐(0) 编辑

算法分析之Paxos 算法

摘要：Paxos 算法，这个算法主要解决的问题是一个分布式系统如何就某个值（决议）达成一致。这是一种基于消息传递模型的一致性算法。凡是多个过程需要达成某种一致性的都可以用到Paxos 算法。这个算法有以下几个典型的应用场... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(32) 评论(0) 推荐(0) 编辑

HDFS使用QJM实现高可用（二）

摘要：QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。第二... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(67) 评论(0) 推荐(0) 编辑

HDFS【Hadoop分布式文件系统】

摘要：一、前提和设计目标(6点) 硬件错误：硬件错误是常态，错误检测和快速、自动的恢复是HDFS最核心的架构目标。流式数据访问：流式访问数据集，数据批处理。相比数据访问的低延迟问题，更关注对数据的高吞吐量。大规... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(90) 评论(0) 推荐(0) 编辑

抽取sql字段类型转换规范

摘要：字符型varchar2：replace(replace(replace(trim(ADDRESS_REMARK),chr(9),'_'),chr(13)||chr(10),'_'),chr(10),'_')||chr(9)|| 日期型date... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(50) 评论(0) 推荐(0) 编辑

使用sql获取目标表字段

摘要：使用sql获取目标表字段 select owner, table_name, to_char(column_name) AS column_name from (select c.OWNER, ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(237) 评论(0) 推荐(0) 编辑

flume学习笔记

摘要：一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供对数据进行简单处理，并写到... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(66) 评论(0) 推荐(0) 编辑

CDH 的Cloudera Manager免费与收费…

摘要：CDH 特性免费版付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Instal... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(698) 评论(0) 推荐(0) 编辑

hadoop版本比较【文章】

摘要：一、背景介绍生产环境中，hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。 Apache Hadoop：... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(413) 评论(0) 推荐(0) 编辑

docker镜像使用

摘要：可以去https://github.com 搜索dockerfile MySQL 默认会在 3306 端口启动数据库。 $ sudo docker run --name some-mysql -e MYSQL_ROOT... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(21) 评论(0) 推荐(0) 编辑

docker底层实现

摘要：Docker 底层的核心技术包括 Linux 上的名字空间（Namespaces）、控制组（Control groups）、 Union 文件系统（Union file systems）和容器格式（Container... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(52) 评论(0) 推荐(0) 编辑

写一个docker file

摘要：#---------------------dockerfile----------------------- #-------attention:dockerfile命令均要求使用大写--------- #容器的基本信息和版本 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(21) 评论(0) 推荐(0) 编辑

docker高级网络配置

摘要：当 Docker 启动时，会自动在主机上创建一个 docker0 虚拟网桥，实际上是 Linux 的一个 bridge，可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。当创建一个 Docker 容器的时候，同时会... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(136) 评论(0) 推荐(0) 编辑

Docker 中的网络功能

摘要：Docker 允许通过外部访问容器或容器互联的方式来提供网络服务。外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。映射所有接口地址 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(40) 评论(0) 推荐(0) 编辑

Docker 数据管理

摘要：1.在容器中管理数据主要有两种方式：数据卷（Data volumes）数据卷容器（Data volume containers）数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(27) 评论(0) 推荐(0) 编辑

docker 综述

摘要：一、为什么要用docker 1.docker的资源利用率高，系统开销小 Docker 容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多。其次，Docker 对系统资源的利用率很高，一台主机上可以同时运行数... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(58) 评论(0) 推荐(0) 编辑

java随笔

摘要：java确定了每类基本类型所占的空间的大小，他们的大小并不像其他大多数语言那样随机器硬件架构的变化而变化。这种存储空间大小的不变性是java程序比其他大多数语言编写的程序更具有可移植性的原因之一。阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(12) 评论(0) 推荐(0) 编辑

java对象的存储

摘要：问：程序运行时，java对象是怎么放置安排的，内存是怎么分配的。有五个不同的地方可以存储数据 1.寄存器。位于处理器内部，是最快的存储区。java中不能直接对其进行操作，c类语言可以。 2.堆栈。位于ram中。一般使用堆... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(235) 评论(0) 推荐(0) 编辑

scp时使用expect免密码交互

摘要：方法1: 前提需要机器安装expect命令 #! /usr/bin/expect -f spawn scp -P 端口 root@x.x.x.x :/x.txt /x.txt expec... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(79) 评论(0) 推荐(0) 编辑

循环脚本

摘要：声明:允许转载，转载请注明链接，谢谢合作! 很多时候我们在执行sh命令需要执行一个时间段的脚本任务，循环调用是很常见的，以下的脚本用于递归执行一个时间段的脚本。代码如下： #!/bin/sh #circle_oper... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(110) 评论(0) 推荐(0) 编辑

日归档脚本

摘要：声明:允许转载，转载请注明链接，谢谢合作! 下面分享一个我在工作中使用的每天归档文件的脚本。主要的功能就是备份一个文件夹下的所有需要备份的文件达成tar包脚本如下： #!/bin/sh #daily_... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(34) 评论(0) 推荐(0) 编辑

两种shell交互的方法

摘要：声明:允许转载，转载请注明链接，谢谢合作! 两种方法，另附效果图：第一种方案: while true; do read -p "Do you wish to install this program?" yn case $yn i... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(44) 评论(0) 推荐(0) 编辑

PLSQLDeveloper连接远程Oracle数据…

摘要：声明:允许转载，转载请注明链接，谢谢合作! 亲测有效此说明主要针对，本地无oracle，想远程连接oracle的情况。 1、首先去oracle官网下载三个需要的压缩包具体地址是：http://www.oracle.... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(297) 评论(0) 推荐(0) 编辑

设置python的启动文件

摘要：设置启动文件 PYTHONSTARTUP 类似于profile 这个文件在交互会话期是只读的，当Python从脚本中解读文件或以终端/dev/tty 做为外部命令源时则不会如此，它与解释器中不受限制的使用。你也可以... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(381) 评论(0) 推荐(0) 编辑

docker 命令的简单使用

摘要：声明:允许转载，转载请注明链接，谢谢合作! 1.docker search 搜索docker镜像信息 2.docker pull 从镜像库中拉取镜像文件 3.docke... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(128) 评论(0) 推荐(0) 编辑

$? 的使用

摘要：$? 主要用于返回上一行执行命令的结果，然后加以判断 if [ $? -ne 0 ]then #脚本不正常退出 exit 1fi 判断上一行命令结果是否为0，不为0则异常退出 ne是not equal的意思 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(802) 评论(0) 推荐(0) 编辑

shell脚本中的$*，$@和$#

摘要：my_fun() { echo "$#" } echo 'the number of parameter in "$@" is '$(my_fun "$@") echo 'the number of parameter in "$*" is '$(... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(801) 评论(0) 推荐(0) 编辑

重定向的使用

摘要：>和>>都是重定向输出1> 指标准信息输出路径（也就是默认的输出方式）2> 指错误信息输出路径2>&1 指将标准信息输出路径指定为错误信息输出路径（也就是都输出在一起）阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(32) 评论(0) 推荐(0) 编辑

linux tee 命令详解

摘要：tee指令会从标准输入设备读取数据，将其内容输出到标准输出设备，同时保存成文件。语法：tee [-ai][--help][--version][文件...] 参数： -a或--append 附加到既有文件的后面，... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(25) 评论(0) 推荐(0) 编辑

“set -e” 的作用

摘要：----------------------------------------------------------- #!/bin/bash set -e command 1 command 2 ... exit 0 -----------... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(161) 评论(0) 推荐(0) 编辑

ps命令的使用

摘要：声明:允许转载，转载请注明链接，谢谢合作! 引子： ps -ef和ps aux有什么区别。答：ps aux 是用BSD的格式来显示 java这个进程可以看到状态显示的项目有：USER , PID , %CPU , ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(123) 评论(0) 推荐(0) 编辑

Sqoop学习笔记

摘要：声明:允许转载，转载请注明链接，谢谢合作! sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。一、 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(83) 评论(0) 推荐(0) 编辑

docker学习笔记

摘要：Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、 bare metal、OpenStack 集群和其他的基础应用平台。 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(48) 评论(0) 推荐(0) 编辑

Python学习日记 0320.1

摘要：我常想，一个人，究竟要做到什么样的程度才能掌握自己的生命。这段日记主要用于记录我学习python核心编程这本书的过程。 chapter 1 1.python可以通过解释器，py脚本，ide来运行。 2.python自带了很多标准库... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(13) 评论(0) 推荐(0) 编辑

软考高项47个过程组

摘要：项目整体管理 ①制定项目章程 ②制定项目管理计划 ③指导与管理项目工作 ④监控项目工作 ⑤实施整体变更控制 ⑥结束项目或阶段项目范... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(216) 评论(0) 推荐(0) 编辑

项目管理第十二章项目相关方管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(153) 评论(0) 推荐(0) 编辑

项目管理第十一章项目采购管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(78) 评论(0) 推荐(0) 编辑

项目管理第十章项目风险管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(179) 评论(0) 推荐(0) 编辑

项目管理第八章项目资源管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(275) 评论(0) 推荐(0) 编辑

项目管理第七章项目质量管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(282) 评论(0) 推荐(0) 编辑

PMP第六版十大知识领域五大过程组

摘要：十大知识领域 49个子过程五大过程组启动规划执行监控收尾1整合管理1.1制定项目章程1.2制定项目管理计划 1.3指... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(85) 评论(0) 推荐(0) 编辑

项目管理第六章项目成本管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(133) 评论(0) 推荐(0) 编辑

项目管理第五章项目进度管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(209) 评论(0) 推荐(0) 编辑

项目管理第四章项目范围管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(163) 评论(0) 推荐(0) 编辑

项目管理第三章项目整合管理

摘要：项目管理第一章综述第二章写在前面第三章项目整合管理第四章项目范围管理第五章项目进度管理第六章项目成本管理第... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(232) 评论(0) 推荐(0) 编辑

项目管理第二章写在前面

摘要：项目管理第一章综述第二章写在前面文章目录项目管理前言一、组织过程资产二、事业环境因素三、商业文件协议1. 项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(51) 评论(0) 推荐(0) 编辑

项目管理第一章综述

摘要：项目管理第一章综述文章目录项目管理前言一、PMP和软考高项二、项目管理1.PMP的五大过程组，十大知识领域2.软考高项... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(73) 评论(0) 推荐(0) 编辑

anaconda 无法激活环境

摘要：** 1.检查anaconda的版本 ** 找不到 activate命令或者activate之后发现环境并没有激活建议下载最新的a... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(168) 评论(0) 推荐(0) 编辑

anaconda 安装包报错代理设置

摘要：anaconda安装报错的原因有很多种： 1.代理原因： ** 指定代理方法为修改c盘相应用户下的 .condarc文件 proxy... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(420) 评论(0) 推荐(0) 编辑

PMBOK第三章

摘要：项目经理能力三角：项目管理专业技能、领导力、战略与商业管理技术项目管理技能：有效利用项目管理知识，实现项目集或项目的预期成果的能力... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(13) 评论(0) 推荐(0) 编辑

PMBok第二章

摘要：事业环境因素？工作授权系统WAS 项目管理信息系统 PMIS 配置管理系统（变更控制系统）记录管理系统组织过程资产？在整个项目... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(9) 评论(0) 推荐(0) 编辑

PMBok第一章

摘要：重要的话说在前面：项目管理的重要性：交付优质产品的唯一方法就是关注项目管理 Q：核心思想：项目中完成的所有工作都有一个模式，这个... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(29) 评论(0) 推荐(0) 编辑

linux取前一天，前一个月，需注意bug

摘要：指定了一个日期，取它的前一天，一周，一个月，一年分别用 day week month year (加不加s均可),代码中顺序不限，... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(183) 评论(0) 推荐(0) 编辑

pandas数据处理之标签列字符转数字

摘要：机器学习中，当我们在进行数据预处理的时候，对于标签列非字符的数据，我们往往需要将其转换成字符，因为有的算法可能不支持非数字类型来做特... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(260) 评论(0) 推荐(0) 编辑

pandas实现in和 not in

摘要：pandas中经常会需要对某列做一些筛选，比如筛选某列里的不包含某些值的行，类似sql里的in和not in功能，那么怎么实现呢。 ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(163) 评论(0) 推荐(0) 编辑

机器学习入门

摘要：一直以来想要学习机器学习。想要入门机器学习，学习的方式大多是从网上观看相关的视频和书籍。看的视频，怎么说呢，讲的很基础，但是没有... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(66) 评论(0) 推荐(0) 编辑

数据预处理数据归一化之 sklearn.preprocessing

摘要：之所以要数据归一化是因为，不同评价指标往往具有不同的量纲，数值间的差距可能很大，不进行处理会影响到分析的结果，同时也不利于多个指标在... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(515) 评论(0) 推荐(0) 编辑

No numeric types to aggregate报错

摘要：pandas使用pivote_table时，报错报这个错多半是因为你指定的列里不能执行所对应的聚合操作，你所指定的数字列里包含着字... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(448) 评论(0) 推荐(0) 编辑

关联分析（1）

摘要：基本方法关联分析的目标包括两项：发现频繁项集和发现关联规则。首先需要找到频繁相机，然后才能获得关联规则。关联分析的主要目的是寻... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(167) 评论(0) 推荐(0) 编辑

时间序列预测法

摘要：预测是人们根据食物的发展鼓励、历史和现状，分析影响其变化的因素，对其发展前景和趋势进行的一种推测。时间序列分析法时间序列分析师根... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(718) 评论(0) 推荐(0) 编辑

书单

摘要：1.决战大数据（升级版）：大数据的关键思考车品觉 2.数据即未来大数据的王者之道美布瑞恩戈德西陈斌译 3.数据分析与机器学... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(6) 评论(0) 推荐(0) 编辑

爱词霸每日一词爬取

摘要：要爬取的目标网站是金山词霸的每日一句栏目本人热衷英语学习，同时觉得其使用的图片以后可以当做素材，作为一个什么限制也没有的基础网站，... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(170) 评论(0) 推荐(0) 编辑

CDSW安装遇到的问题

摘要：CDSW的安装手册请参考我的另一篇文章 CDSW安装手册 1.域名解析的问题。配置需要仔细仔细再仔细，否则dns解析不了是无法访问... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(48) 评论(0) 推荐(0) 编辑

CDSW安装手册

摘要：CDSW是cloudera的数据科学工作台安装的注意事项 1.CDH的版本需要在5.13及以后的版本。 2.需要给CDSW的主节点... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(363) 评论(0) 推荐(0) 编辑

python动态调用函数

摘要：举例文件 windows_params 包含两个方法，两个参数 a = 1b = 2def count(): print('... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(168) 评论(0) 推荐(0) 编辑

python学习入门

摘要：python基础 1.启动jupyter notebook 2.在桌面上新建名为jupyter的文件夹，进入文件夹，新建python... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(36) 评论(0) 推荐(0) 编辑

pycharm 破解

摘要：因为原来的破解补丁下载链接失效了，今天来更新下新的补丁。首先感那些无私制作并免费提供补丁的人，世界因他们而光明！！！同时，我也更... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(158) 评论(0) 推荐(0) 编辑

python开发环境安装

摘要：安装anaconda Anaconda下载下载python 3.X版本之后一键安装即可。安装 jupyter notebook... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(22) 评论(0) 推荐(0) 编辑

django跨域设置

摘要：前后端开发的时候需要设置下跨域访问，设置如下 setting文件里添加 CORS_ALLOW_CREDENTIALS = True ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(134) 评论(0) 推荐(0) 编辑

pandas数据处理

摘要：去重 df.drop_duplicates(keep=‘first’,inplace=True) 条件 df.loc[(df[‘CL... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(15) 评论(0) 推荐(0) 编辑

pandas设置不用科学计数法

摘要：import numpy as np np.set_printoptions(suppress=True) pd.set_optio... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(167) 评论(0) 推荐(0) 编辑

pandas 遍历行和列

摘要：需求判断一个df中的各行各列是否包含某值，然后做出操作读取文件 import pandas as pd df= pd.read_... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(149) 评论(0) 推荐(0) 编辑

json.dumps的数据封装问题

摘要：json.dumps封装数据在使用pandas处理数据时时长会碰到需要将数据转换成json输出到前端。正常的json数据可以直... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(23) 评论(0) 推荐(0) 编辑

spark stream数据处理过程中不要去读hdfs文件

摘要：今天访问hdfs，偶然报错There are 0 datanode(s) running and no node(s) are ex... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(52) 评论(0) 推荐(0) 编辑

mongodb 分片集群报错整理

摘要：从节点默认没有读写权限 error: { “$err” : “not master and slaveOk=false”, “cod... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(424) 评论(0) 推荐(0) 编辑

mongodb分片集群部署

摘要：配置数据库配置文件 pidfilepath = /usr/mongodb/config/log/config.piddbpath =... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(45) 评论(0) 推荐(0) 编辑

idea创建scala项目

摘要：安装了scala插件 file 》setting》plugins搜SCALA安装完之后重启，晚上下载sbt安装。配置sbtsbt... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(41) 评论(0) 推荐(0) 编辑

pycharm配置anaconda编译

摘要：pycharm安装完之后需要设置下，file>>settings>>general>>auto import>>python>>sh... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(33) 评论(0) 推荐(0) 编辑

sqoop常见问题处理

摘要：事务处理由于线程的并发性，一个导入操作可能并不是原子性的。会一次statement插入100条数据，然后每100 个state... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(129) 评论(0) 推荐(0) 编辑

oracle jdbc Connection Reset问题

摘要：oracle jdbc Connection Reset问题 oracleJDBC在建立连接时需要一些随机数据用以加密session... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(240) 评论(0) 推荐(0) 编辑

数据预处理 Python主要数据预处理函数

摘要：interpolate 包含了大量的插值函数 unique 去除数据中的重复元素 isnull/notnull 判断元素是否空值 r... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(32) 评论(0) 推荐(0) 编辑

数据预处理（2）数据集成和数据变换数据规约

摘要：数据集成数据挖掘的过程中往往需要的数据分布在不同的数据库，数据集成就是将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(390) 评论(0) 推荐(0) 编辑

数据预处理（1）数据清洗

摘要：数据预处理的内容主要包括数据清洗，数据集成，数据变换和数据规约。数据清洗数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(788) 评论(0) 推荐(0) 编辑

数据探索（3）Python主要数据探索函数

摘要：Python中用于数据探索的库主要是Pandas（数据分析）和Matplotlib（数据可视化）。数据探索函数可大致分为统计特征函... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(62) 评论(0) 推荐(0) 编辑

数据探索（2）数据特征分析

摘要：数据特征分析分布分析 1.定量数据的分布分析对于定量变量而言，选择组数和组宽是做频率分布分析时最主要的问题，一般按照以下步骤进行... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(245) 评论(0) 推荐(0) 编辑

数据探索（1）数据质量分析

摘要：数据质量分析数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(328) 评论(0) 推荐(0) 编辑

python数据分析工具

摘要：Numpy 提供数组支持 Scipy 提供矩阵支持 Matplotlib 数据可视化工具、作图库 pandas 数据分析和探索工具 ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(45) 评论(0) 推荐(0) 编辑

Python使用入门

摘要：运行方式一般两种方式：客户端执行python3使用Jupyter编码建议安装anaconda，方便包管理使用# 来添加注释 ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(63) 评论(0) 推荐(0) 编辑

Python数据挖掘过程

摘要：数据挖掘的建模过程定义挖掘目标明确系统完成后想要达成什么样的效果。我们需要分析应用领域，了解相关领域的情况，熟悉背景知识，弄清... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(161) 评论(0) 推荐(0) 编辑

读数据即未来第二章

摘要：序道德经阐述:道生一，一生二，二生三，三生万物。 1964年美国科学家盖尔曼提出中子，质子这一类强子是由三个更基本的单元夸克构成的... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(23) 评论(0) 推荐(0) 编辑

读数据即未来大数据的王者之道

摘要：序道德经阐述:道生一，一生二，二生三，三生万物。 1964年美国科学家盖尔曼提出中子，质子这一类强子是由三个更基本的单元夸克构成的... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(87) 评论(0) 推荐(0) 编辑

mysql数据备份

摘要：使用mysql的dump命令以sql格式存储。 mysqldump -uroot -p database > backup.sql ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(14) 评论(0) 推荐(0) 编辑

mysql5.7双机主主热备

摘要：热备这个东西必然消耗资源，对mysql应用的影响暂时还没有研究，对mysql操作频繁的场景下必然会有影响。数据需要备份的请参考我的... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(169) 评论(0) 推荐(0) 编辑

linux设置开机自启动

摘要：systemctl start mysqld systemctl start 加你的服务名称就可以了。 ... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(19) 评论(0) 推荐(0) 编辑

Mysql修改密码策略

摘要：首先看下当前的密码策略 show variables like 'validate_password%';+------------... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(75) 评论(0) 推荐(0) 编辑

kafka消费者重复消费同一个topic

摘要：我的需求是我有多个消费者，需要重复消费某一个topic。场景是sparkstreaming消费kafka数据在这里sparkst... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(1297) 评论(0) 推荐(0) 编辑

MYSQL group by 报错sql_mode=only_full_group_by

摘要：之所以报this is incompatible with sql_mode=only_full_group_by的错误是因为mys... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(176) 评论(0) 推荐(0) 编辑

mysql日期转换

摘要：字符串转日期 str_to_date(str,format)；注:format格式必须和str的格式相同，否则返回空例子：字符... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(38) 评论(0) 推荐(0) 编辑

mysql隔时间查询数据

摘要：作者：wx740851326 来源：CSDN 原文：https://blog.csdn.net/wx740851326/artic... 阅读全文

posted @ 2022-07-27 21:09 feitiandamo 阅读(250) 评论(0) 推荐(0) 编辑

遍历json对象