05 2019 档案
摘要：0 什么是回归？ 假设线性回归是个黑盒子，那按照程序员的思维来说，这个黑盒子就是个函数，然后呢，我们只要往这个函数传一些参数作为输入，就能得到一个结果作为输出。那回归是什么意思呢？其实说白了，就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢？非常简
阅读全文
摘要：python机器学习手写算法系列——线性回归
阅读全文
摘要：原文地址：https://blog.csdn.net/yongjian1092/article/details/52176018 转换类型： 积极转换（Active）：可以更改通过它来传递的数据行数，例如“过滤器”组件，输入时数据量与输出时不一样。 被动转换（Passive）：不能更改通过它来传递的
阅读全文
摘要：Informatica_(3)组件
阅读全文
摘要：Informatica_(2)第一个例子
阅读全文
摘要：Informatica_(1)安装
阅读全文
摘要：InformaticaPowerCenter调用存储过程
阅读全文
摘要：Informatica 结构 PowerCenter数据整合引擎是基于元数据驱动的，提供了基于数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该元数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据，ETL转换规则，知识库用户权限，ETL任
阅读全文
摘要：一·查看字符集 字符集在系统中体现形式是一个环境变量，以CentOS6.5为例,其查看当前终端使用字符集的方式可以有以下几种方式: 第一种： 1 2 [root@Testa-www tmp]# echo $LANG zh_CN.UTF-8 1 2 [root@Testa-www tmp]# echo
阅读全文
摘要：Redis-3.2.9集群配置（redis cluster）
阅读全文
摘要：Redis 学习笔记（一） redis-3.0.4的安装
阅读全文
摘要：redis是单进程数据库，多用户排队对统一数据进行访问，不存在并发访问生产的线程安全问题。 oracle是多进程数据库，存在并发访问的问题，必须事务加锁等方式进行处理。
阅读全文
摘要：hive.metastore.warehouse.dir /data/hive/warehouse hive.metastore.local false hive.metastore.schema.verification false javax.jdo.option.Connectio...
阅读全文
摘要：一、连接远程数据库： 1、显示密码 如：MySQL 连接远程数据库（192.168.5.116），端口“3306”，用户名为“root”，密码“123456” C:/>mysql -h 192.168.5.116 -P 3306 -u root -p123456 2、隐藏密码 如：MySQL 连接本
阅读全文
摘要：本人mysql 装的5.7，liunux版本百度云的centos 6.5 1.查看mysql的安装情况 rpm -qa|grep -i mysql 2.停止mysql服务，删除mysql rpm -ev mysql-5.1.73-8.el6_8.x86_64 rpm -ev mysql-libs-5
阅读全文
摘要：export JAVA_HOME=/software/jdk1.8.0_131export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=
阅读全文
摘要：Eclipse常用快捷键 1几个最重要的快捷键 代码助手:Ctrl+Space（简体中文操作系统是Alt+/）快速修正：Ctrl+1单词补全：Alt+/打开外部Java文档：Shift+F2显示搜索对话框：Ctrl+H快速Outline：Ctrl+O打开资源：Ctrl+Shift+R打开类型：Ctr
阅读全文
摘要：With查询语句不是以select开始的，而是以“WITH”关键字开头 可认为在真正进行查询之前预先构造了一个临时表，之后便可多次使用它做进一步的分析和处理 WITH Clause方法的优点 增加了SQL的易读性，如果构造了多个子查询，结构会更清晰；更重要的是：“一次分析，多次使用”，这也是为什么会
阅读全文
摘要：glibc是gnu发布的libc库，即c运行库，glibc是linux系统中最底层的api，几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现。很多linux的基本命令，比如cp, rm, ll,ln等，都得依
阅读全文
摘要：最近博主在进行Hive测试 压缩解压缩的时候 遇到了这个问题， 该问题也常出现在日常 hdfs 指令中， 在启动服务 与 hdfs dfs 执行指令的时候 ： 都会显示该提示，下面描述下该问题应该如何解决: 参考文章： Hadoop之—— WARN util.NativeCodeLoader: Un
阅读全文
摘要：底线命令模式 :0或:1跳到文件第一行 :$跳到文件最后一行 命令模式 gg跳到第一行 shift+g跳到文件最后一行
阅读全文
摘要：假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： 下面我们来介绍启动hdfs和yarn的一些命令。 1.启动hdfs集群（使用hadoop的批量启动脚本） 从上面的启动日志可以看出，start-dfs
阅读全文
摘要：2.1 HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端口 50070
阅读全文
摘要：Hadoop开发环境搭建 感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html 一、软件准备 JDK：jdk-7u80-windows-x64.exe http://www.oracle.com/technetwork/java/java
阅读全文
摘要：刚用Ambari搭建好Hadoop，就开始写Hello World! 一、背景 1、Hadoop版本 经查看为2.7.1 Shell 1 2 3 4 5 6 7 [root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion
阅读全文
摘要：InformaticaPowerCenter调用存储过程
阅读全文
摘要：日前，华为颁布了2019年048号总裁办电子邮件，该邮件转发了摘自《管理新视野》上的一篇华为创始人、总裁任正非十几年前的谈话，涉及了正职、副职的能力与要求，也提到了干部需要具备的素质、提拔干部的核心理念，还包括了对华为接班人的要求，在此时重新强调可谓恰逢其时。 在对干部提拔的态度上，任正非表示，干部
阅读全文
摘要：作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数
阅读全文
摘要：作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献
阅读全文
摘要：Vim完全可以用键盘进行操作。本文将常用的按键归纳总结。 第一部分：一般模式可用的按钮，如光标移动、复制粘贴、查找替换等 查找与替换 第二部分：一般模式切换到编辑模式 进入插入或替换的编辑模式 块选择 多窗口 vim常用命令示意图
阅读全文
摘要：在开启hadoop时候报错：localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 此时 ssh localhost也会失败 原因是秘钥没有给自己， 运行ssh-copy-id -i /home/
阅读全文
摘要：(1) 命令名称：mkdir (2) 英文原意：make directories (3) 命令所在路径：/bin/mkdir (4) 执行权限：所有用户 (5) 功能描述：创建新目录 (6) 语法： mkdir 【-p】【目录名】 -p 递归创建 例子：创建单个目录：mkdir /tmp/vae.t
阅读全文
摘要：ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对，下面我以CentOS为例。 登录的原理： 有机器A(192.168.1.155)，B(192.168.1.181)。现想A通过ssh免密码登录到B。首先以root账户登陆为例。 1.首先我们需要在A机器上生
阅读全文
摘要：两张图读懂kafka应用： Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 c
阅读全文
摘要：一、事前准备 1.kafka官网：http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:（linux） 192.168.145.129 主机名：kafka01 192.168.145.130 kafka02 192.168.145.
阅读全文
摘要：Topic在Kafka中是主题的意思，生产者将消息发送到主题，消费者再订阅相关的主题，并从主题上拉取消息。 在创建Topic的时候，有两个参数是需要填写的，那就是partions和replication-factor。 partions 主题分区数。kafka通过分区策略，将不同的分区分配在一个集群
阅读全文
摘要：查找文件find ./ -type f查找目录find ./ -type d查找名字为test的文件或目录find ./ -name test查找名字符合正则表达式的文件,注意前面的‘.*’(查找到的文件带有目录)find ./ -regex .*so.*\.gz查找目录并列出目录下的文件(为找到的
阅读全文
