关闭页面特效
06 2020 档案
人工智能深度学习入门练习之（35）深度学习 – 过拟合与dropout机制
摘要：过拟合，欠拟合 过拟合（overfitting）：学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了。 欠拟合（underfitting）：学习能太差，训练样本的一般性质尚未学好。 下面是直观解释： 下面再举一个具体的例子： 如果我们有6个数据，我们选择用怎么样的回归曲线对它拟合呢？看下图
阅读全文
人工智能深度学习入门练习之（34）深度学习 – 多层神经网络
摘要：深度学习 – 多层神经网络 单层网络 先回顾一下单层网络，即一个神经元（自适应线性单元），如下图所示。 可以使用梯度下降法训练模型，确定权重与偏置。 多层神经网络历史 深度学习涉及训练多层神经网络，也称为深度神经网络。 在20世纪50年代Rosenblatt感知器被开发出来之后，直到1986年hin
阅读全文
人工智能深度学习入门练习之（33）深度学习 – 自适应线性单元
摘要：深度学习 – 自适应线性单元 如前所述，在 20 世纪 50 年代，感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期，自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x)
阅读全文
人工智能深度学习入门练习之（32）深度学习 – 感知器
摘要：深度学习 – 人工神经元 关于人工神经元，前面章节稍微提过，本章将详细讨论。 生物神经元 人脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞，参与处理和传递化学信号和电信号。树突是从其他神经元接收信息的分枝。 细胞核处理从树突接收到的信息。轴突是一种神经细胞用来传递信息的生物电缆。突触是轴突和其
阅读全文
人工智能深度学习入门练习之（31）深度学习 – 运行平台
摘要：GPU 对比 CPU 要运行深度学习项目，建议使用gpu，cpu与gpu比较如下： 规格 英特尔酷睿i7-6900k处理器极限版 英伟达GeForce GTX I 080 Ti 时钟频率 3.2 GHz < 1.5 GHz 核数 8 3584 内存带宽 64 GB/s 484 GB/s 浮点计算 4
阅读全文
人工智能深度学习入门练习之（30）深度学习 – 人工神经网络
摘要：本章我们将从生物神经元开始学习人工神经网络。 生物神经元 哺乳动物的大脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞。神经元参与处理和传递化学信号和电信号，它们接受信号输入，在细胞核中处理信号，如果信号强度大于某个阈值，就会把信号输出。 人类的大脑可以学习识别物体。例如，婴儿多次看到椅子，并听
阅读全文
人工智能深度学习入门练习之（29）深度学习 – 介绍
摘要：具有感知、学习、推理和解决问题等认知功能的机器被认为拥有人工智能。 当机器具有认知能力时，人工智能就产生了。人类在相关领域的能力是人工智能的衡量标准。 弱人工智能 弱人工智能执行特定任务，甚至比人类做得更好，例如，围棋人工智能AlphaGo。弱人工智能是目前人工智能的主要研究领域。 强人工智能 强人
阅读全文
区块链入门到实战（38）之Solidity – 条件语句
摘要：Solidity支持条件语句，让程序可以根据条件执行不同的操作。条件语句包括： if if...else if...else if 语法 if (条件表达式) { 被执行语句(如果条件为真) } 示例 展示if语句用法。 pragma solidity ^0.5.0; contract Solidi
阅读全文
区块链入门到实战（37）之Solidity – 循环语句
摘要：与其他语言类似，Solidity语言支持循环结构，Solidity提供以下循环语句。 while do ... while for 循环控制语句：break、continue。 Solidity – while循环 语法 Solidity 中， while循环的语法如下： while (表达式) {
阅读全文
区块链入门到实战（36）之Solidity – 运算符
摘要：Solidity – 算术运算符 Solidity 支持的算术运算符，如下表所示： 假设变量A的值为10，变量B的值为20。 序号运算符与描述 1 + (加)求和例: A + B = 30 2 – (减)相减例: A – B = -10 3 * (乘)相乘例: A * B = 200 4 / (除)
阅读全文
区块链入门到实战（35）之Solidity – 变量作用域
摘要：局部变量的作用域仅限于定义它们的函数，但是状态变量可以有三种作用域类型。 Public – 公共状态变量可以在内部访问，也可以通过消息访问。对于公共状态变量，将生成一个自动getter函数。 Internal – 内部状态变量只能从当前合约或其派生合约内访问。 Private – 私有状态变量只能从
阅读全文
区块链入门到实战（34）之Solidity – 变量
摘要：Solidity 支持三种类型的变量： 状态变量 – 变量值永久保存在合约存储空间中的变量。 局部变量 – 变量值仅在函数执行过程中有效的变量，函数退出后，变量无效。 全局变量 – 保存在全局命名空间，用于获取区块链相关信息的特殊变量。 Solidity 是一种静态类型语言，这意味着需要在声明期间指
阅读全文
区块链入门到实战（33）之Solidity – 数据类型
摘要：在用任何语言编写程序时，都需要使用变量来存储各种信息。变量是内存空间的名称，变量有不同类型，例如整型、字符串类型等等。操作系统根据变量的数据类型分配内存。 Solidity中，变量类型有以下几大类： 值类型 地址类型 引用类型 值类型 类型保留字取值 布尔型 bool true/false 整型 i
阅读全文
区块链入门到实战（32）之Solidity – 代码注释
摘要：Solidity 支持c风格和c++风格的注释。 //之后到行尾的文本，都被看作注释，编译器忽略此内容 /* 与 */ 之间的文本被看作注释， 编译器忽略此内容 示例 注释示例。 function getResult() public view returns(uint){ // 这是一行注释，类似
阅读全文
区块链入门到实战（31）之Solidity – 第一个程序
摘要：为简单起见，我们使用在线Solidity开发工具Remix IDE编译和运行Solidity程序。 第1步 – 在File explorers选项卡下，新建一个test1.sol文件，代码如下： 示例 pragma solidity ^0.5.0; contract SolidityTest { c
阅读全文
区块链入门到实战（30）之Solidity – 基础语法
摘要：一个 Solidity 源文件可以包含任意数量的合约定义、import指令和pragma指令。 让我们从一个简单的 Solidity 源程序开始。下面是一个 Solidity 源文件的例子： pragma solidity >=0.4.0 <0.6.0; contract SimpleStorage
阅读全文
区块链入门到实战（29）之Solidity – 环境搭建
摘要：在线开发环境Remix(推荐) 学习Solidity推荐使用在线开发环境Remix，本教程的例子将使用Remix开发运行。 安装本地编译器 安装 nodejs / npm node官方网站下载node，推荐LTS版本，按提示完成安装，npm会同时装上。 验证Node版本： Kevin@QIKEGU
阅读全文
区块链入门到实战（28）之Solidity – 介绍
摘要：Solidity语言是一种面向合约的高级编程语言，用于在以太坊区块链网络上实现智能合约。Solidity语言深受c++、Python和JavaScript的影响，针对以太坊(Ethereum)虚拟机(EVM)设计。 Solidity语言是静态类型语言，支持继承、库和复杂的用户定义类型。 可以使用So
阅读全文
区块链入门到实战（27）之以太坊(Ethereum) – 智能合约开发
摘要：智能合约的优点 与传统合同相比，智能合约有一些显著优点： 不需要中间人 费用低 代码就是规则 区块链网络中有多个备份，不用担心丢失 避免人工错误 无需信任，就可履行协议 匿名履行协议 以太坊(Ethereum) – 智能合约开发概述 支持智能合约的区块链 虽然以太坊(Ethereum)是最流行支持智
阅读全文
区块链入门到实战（26）之以太坊(Ethereum) – 挖矿
摘要：以太坊(Ethereum)与其他公共区块链一样，使用工作量证明机制确保区块链网络正常运行。 矿工进行工作量证明计算，即挖矿，来选择区块，写入区块链，确认交易。 交易过程如下图所示： 从技术角度来看，以太坊使用的工作量证明算法称为Ethash，这是一种哈希算法，灵感来自Dagger-Hashimoto
阅读全文
区块链入门到实战（25）之以太坊(Ethereum) – 以太币单位
摘要：以太币的主要单位是以太/Ether，即一个以太币，以太币的最小单位是wei。 以太币最小单位 wei 是以虚拟币先驱人物：戴伟 Wei Dai 命名，戴伟 W Dai 是一位兴趣广泛的密码学专家，他在 1998 年发明了 B-money 匿名的、分布式的电子加密货币系统，强调点对点的交易和不可更改的
阅读全文
区块链入门到实战（24）之以太坊(Ethereum) – 网络节点
摘要：用途： 全节点：用于区块和交易的校验 轻节点：电子钱包 以太坊(Ethereum)网络是一个公共的区块链网络，网络中包含2种网络节点： 全节点 轻节点 全节点 包含了从初始区块开始的全部区块，这些区块中包含了所有的交易历史记录，这些信息是区块链完整性的证据，可用于区块和交易的校验。通常矿工节点应该是
阅读全文
区块链入门到实战（23）之以太坊(Ethereum) – 虚拟机架构
摘要：以太坊(Ethereum)网络中，定义了一组通用协议用于支持智能合约的运行，其核心便是以太坊(Ethereum)虚拟机。 下图解释了该架构: 开发人员使用Solidity等开发语言开发智能合约 源程序被编译成以太坊虚拟机支持的字节码可执行程序 可执行程序被部署到网络中，即写入区块，并被分配一个账号(
阅读全文
区块链入门到实战（22）之以太坊(Ethereum) – 账号(地址)
摘要：作用： 外部账号 – 用户使用的账号，账户余额。 合约账号 – 智能合约使用的账号，每个智能合约都有一个账号，内存和账户余额 以太坊(Ethereum)网络中，有2种账号： 外部账号 – 用户使用的账号 合约账号 – 智能合约使用的账号，每个智能合约都有一个账号 这些账号，都被称为状态对象/stat
阅读全文
区块链入门到实战（21）之以太坊(Ethereum) – 分布式应用(DApp)
摘要：作用：用户交互 分布式应用(DApp)是运行在区块链之上的应用程序，支持区块链网络中用户之间的交互。 DApp(decentralized application)的后端代码运行在区块链网络上，这个可以与普通互联网应用比较一下，普通互联网应用的后端代码运行在集中式的服务器上。 DApp可以使用任何语
阅读全文
区块链入门到实战（20）之以太坊(Ethereum) – 虚拟机(E.V.M.)
摘要：作用：执行智能合约代码的引擎 以太坊(Ethereum)虚拟机是执行智能合约代码的引擎。 可以用某种语言，例如Solidity语言，开发智能合约程序，编译成以太坊(Ethereum)虚拟机支持的字节码/bytecode，然后该程序就可以在虚拟机中执行了。 以太坊(Ethereum)虚拟机可以被看做是
阅读全文
区块链入门到实战（19）之以太坊(Ethereum) – 以太币
摘要：以太币的作用：防范以太坊网络被滥用和激励矿工。 与比特币网络有比特币类似，以太坊(Ethereum)也有自己的虚拟币 — 以太币。 以太币的主要作用有2个： 应用程序执行任何操作都需要支付以太币，防范以太坊网络被滥用。 与比特币类似，用于激励矿工。 每次执行智能合约时，都需要消耗“汽油/gas”，即
阅读全文
区块链入门到实战（18）之以太坊(Ethereum) – 什么是智能合约
摘要：作用：提供优于传统合约的安全方法，并减少与合约相关的其他交易成本。 以太坊网络基石：以太坊虚拟币和智能合约。 智能合约（Smart contract ）是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易，这些交易可追踪且不可逆转。智能合约概念于199
阅读全文
区块链入门到实战（17）之以太坊(Ethereum) – 是什么
摘要：以太坊的作用：构建基于区块链的分布式应用。 以太坊是什么：可编程的虚拟币。 以太坊(Ethereum)是一个可编程的虚拟币，它是一个基于公共区块链的分布式计算平台，可用于构建基于区块链的分布式应用。 在以太坊(Ethereum)出现之前，各种区块链应用的功能非常有限，例如，比特币和其他加密货币都只是
阅读全文
区块链入门到实战（16）之区块链 – 防范攻击
摘要：接下来讨论比特币系统中，三种不同类型的可能攻击 竞态攻击 比特币交易，需要被写入区块链才有效。作为一个攻击者，你可以把相同的比特币发给不同的卖家，可能需要使用2台不同的机器。如果卖家没有等到付款被确认，就发货了，卖家就拿不到付款。防范这种攻击的方法是，卖家至少要等待一个块的确认后才发货，2个卖家都等
阅读全文
区块链入门到实战（15）之区块链 – 用户隐私
摘要：如何保护用户隐私：将区块链匿名。 为什么需要保护用户隐私：区块链的账本是公开的。 区块链是一个公开的账本，为了保护用户隐私，区块链是匿名的，否则世界上任何人都能知道谁有多少钱，谁付钱给谁了。而传统的银行系统是通过对其记录保密来维护这种隐私。 区块链中的账号用一个用户的公钥表示，这个公钥是匿名的，区块
阅读全文
区块链入门到实战（14）之区块链 – 处理冲突
摘要：冲突产生的原因：多个不同的矿工同时完成了工作证明，随之生成的新区块添加到链中，导致区块链分叉。 如何解决冲突：最长的分支会被保留，较短的分支则被废除 比特币网络中，包含了多个矿工。有一种情况是可能的，2个不同的矿工同时完成了工作证明，同时将新区块添加到链中，区块链分叉了。如下图所示： 现在，在Blo
阅读全文
区块链入门到实战（13）之区块链 – 付款确认
摘要：作为收款方，会想确认一笔交易有没有被写入区块链。 由于本地节点(钱包)的区块链，只包含了区块链头，没有交易信息，这笔交易在本地是找不到的。 但是，区块链是一个网络，你可以向包含全部区块信息的节点(例如矿工节点)发请求(GetData)，查找指定的交易，找到对应的区块，获取默克尔树。如下图所示 如上图
阅读全文
区块链入门到实战（12）之区块链 – 默克尔树(Merkle Tree)
摘要：目的：解决由于区块链过长，导致节点硬盘存不下的问题。 方法：只需保留交易的哈希值。 区块链作为分布式账本，原则上网络中的每个节点都应包含整个区块链中全部区块，随着区块链越来越长，节点的硬盘有可能放不下。区块链中引入了默克尔树解决这个问题。 区块链中，为节省空间，只保存交易的哈希值，不保存交易本身的信
阅读全文
区块链入门到实战（11）之区块链 – 矿工的激励
摘要：目的：解决量大，效率低下做出区块大小限制的问题 一个矿工短时间内有可能会接收到大量交易，导致处理不过来，所以必须对区块大小作出限制。区块大小的上限，已经在系统中预先定义，所以区块中只能包含一定数量的交易。 一个区块中的交易数，由预定义的块大小和每个块的平均长度决定。这表明，发送者应该使消息尽量简短，
阅读全文
区块链入门到实战（10）之区块链 – 交易流程与挖矿
摘要：我们总结一下前面章节介绍的交易步骤： 区块链网络中，任何想支付的人，需创建一个交易，里面的内容大致是，买家付给卖家多少钱。 在一定时间内，网络中可能会发生多笔交易。 所有交易，都会通过网络广播，但交易不一定要到达网络中的每个节点。 接收到新交易的矿工，将多个新交易组装成一个块。注意，多个矿工之间新建
阅读全文
区块链入门到实战（9）之区块链 – 工作量证明
摘要：目的：解决艰难的任务，获取记账能力。 区块链中，每个人手上都有账本，每个人都可以记账，但怎么能让这些账本的内容保持一致，让大家都认这个账，就需要共识机制。 人类社会中，通常的共识机制是，如果某个人能完成某项艰难的任务，他就可以做某些事。要推翻这个共识，就也要完成这些艰难的任务，所以共识不是那么容易被
阅读全文
区块链入门到实战（8）之区块链 – 链接区块
摘要：由不同矿工创建的区块被连接在一起，形成了所谓的真正分布式公共账本。 链中的每个块包含多个消息(事务)，如上图所示。链条上的一个区块可能来自任何矿工。在创建区块链时，可以看到会把前一个区块的哈希值添加到当前区块中。 因此，矿工在创建新区块时，获取链中最顶端区块的哈希值，将它与自己的消息集组合起来，并为
阅读全文
区块链入门到实战（7）之区块链 – 挖矿
摘要：区块链中，当Bob付款给Alice时，创建了一个转账交易，但他不会将其单独发送给Alice。相反，交易消息将在他所连接的整个网络上广播。Bob的网络如图所示。 消息传递到所有连接的节点(机器)，图中的一些节点被标记为矿工。这些机器运行着挖掘比特币的软件。接下来，我们将解释这种挖掘的含义。 挖矿过程
阅读全文
区块链入门到实战（6）之区块链 – 哈希(Hash)
摘要：密码学中，最重要的函数之一是哈希函数。哈希函数将任意大小的数据(内容)映射到固定大小的数据(哈希值)。 哈希函数是单向的，从内容生成哈希值很容易，但从哈希值映射到内容很难。 比特币使用SHA-256哈希函数，该函数生成一个大小为256位(32字节)的哈希值(输出)。如图所示 Bob在向Alice下订
阅读全文
区块链入门到实战（5）之区块链 – 非对称加密
摘要：非对称加密技术也被称为公钥密码技术(简称PKI)。它使用2个成对的密钥： 公钥 对外公开 私钥 必须严格保密，保管好不能弄丢 密钥本质上是一个数值，使用数学算法产生。可以用公钥加密消息，然后使用私钥解密；反过来也可以使用私钥加密，用公钥解密，这也被称为签名，相当于用私章盖印，对方就可以使用你的公钥来
阅读全文
区块链入门到实战（4）之区块链 – 应用发展阶段
摘要：区块链的应用发展，大致可分为3个阶段： 区块链1.0：虚拟币 区块链2.0: 智能合约 区块链3.0: DApp 下面将简要描述区块链应用发展的3个阶段。 区块链1.0：虚拟币 通过解决计算数学难题，来创造虚拟货币的想法，最初是由哈尔•芬尼(Hal Finney)在2005年提出的，他首次提出了加密
阅读全文
区块链入门到实战（3）之区块链 – 比特币
摘要：中本聪在2008年推出了比特币。比特币是一种加密货币(虚拟货币)，或者说是数字货币，使用加密技术来管理和生成货币单位。比特币目前是加密币中最有价值的一种。 比特币是一种数字资产，可以通过互联网，在交易双方之间安全地买卖和转移。 比特币可以用来储存价值，就像黄金、白银和其他类型的投资一样。我们还可以使
阅读全文
区块链入门到实战（2）之区块链 – 发展历史
摘要：区块链的提出 区块链技术是最早由计算机科学家斯图尔特·哈伯(Stuart Haber)和w·斯科特·斯托内塔(W. Scott Stornetta)于1991年提出。他们介绍了一种方案，用于在数字文档上加盖时间戳，防止文档被篡改。他们开发了一个系统，使用加密的安全区块链来存储有时间戳的文档。 默克尔
阅读全文
区块链入门到实战（1）之区块链 – 介绍
摘要：什么是区块链？ 区块链是一个分布式账本。银行系统可以理解为一个中心化的账本，账本中记录了每个人有多少钱，但每个人手上是没有这个账本的，只有银行有。 区块链也是一个账本，账本中记录了每个人拥有什么，但每个人手上都有这个账本。这个账本是公开的，所有人都可以查看。 区块链技术把先进的密码学与计算机科学相结
阅读全文
Python爬虫小白入门（十四）Python 爬虫 – 提取数据到Pandas DataFrame
摘要：Pandas 是一个开放源码、BSD许可的库，为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。把抓取到的数据存储到Pandas DataFrame中，可以进一步对数据进行分析，是一种常见做法。 本章例子，将从豆瓣网站上抓取北美电影排行榜，并放进DataFrame中。 抓取网页数据
阅读全文
Python爬虫小白入门（十三）Python 爬虫 – 使用CSS选择器
摘要：BeautifulSoup对象支持使用CSS选择器查找标签。这些选择器是CSS语言中使用的指定HTML Tag样式的方式。 下面是一些例子: p a — 在p标记中找到所有的a标签。 body p a — 在body标记内的p标记内查找所有a标签。 html body — 查找html标记内的bod
阅读全文
Python爬虫小白入门（十二）Python 爬虫 – 根据id与class查找标签
摘要：本章介绍怎么根据id与class查找标签。假设有下面的HTML文档： <html> <head> <title>A simple example page</title> </head> <body> <div> <p class="inner-text first-item" id="first"
阅读全文
Python爬虫小白入门（十一）Python 爬虫 – 根据类型查找标签
摘要：find_all 如要查找全部同类标签，可以使用find_all方法。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python-scraping
阅读全文
Python爬虫小白入门（十）Python 爬虫 – BeautifulSoup分析页面
摘要：我们已经抓取了一个HTML页面，接下来，我们使用BeautifulSoup来分析页面。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python-
阅读全文
Python爬虫小白入门（九）Python 爬虫 – 使用requests抓取网页
摘要：Python中，requests库可用于向web服务器发出http请求，http请求有多种方式，例如，GET/POST/PUT/DELETE 等等。 这里将使用GET请求抓取页面： import requests page = requests.get("https://kevinhwu.githu
阅读全文
Python爬虫小白入门（八）Python 爬虫 – 搭建环境
摘要：安装 requests 与 BeautifulSoup4 搭建Python爬虫环境，需要安装下面2个软件包: requests 用于执行HTTP请求 BeautifulSoup4 分析HTML页面 可以使用pip安装这些依赖项: pip install requests BeautifulSoup4
阅读全文
Python机器学习（九十七）Pandas 绘图
摘要：Pandas的另一个优点是与Matplotlib的集成，可以直接绘制DataFrame和Series。 注意：如没有安装Matplotlib，需首先安装：pip install matplotlib。 import matplotlib.pyplot as plt plt.rcParams.upda
阅读全文
Python机器学习（九十六）Pandas apply函数
摘要：与Python中的列表类似，可以使用for循环遍历DataFrame或Series，但是这样做(尤其是在大型数据集上)非常慢。 Pandas中提供了一个高效的替代方案：apply()方法。 语法 DataFrame.apply(func) Series.apply(func) func – 要对数据
阅读全文
Python机器学习（九十五）Pandas 有条件访问
摘要：有时需要根据条件，访问DataFrame中的数据。例如，找出电影数据集中，某个导演的电影： # 加载数据 movies_df = pd.read_csv("IMDB-Movie-Data.csv", index_col="Title") movies_df.columns = ['rank', 'g
阅读全文
Python机器学习（九十四）Pandas 访问行数据
摘要：访问行数据，有两个方法: .loc – 使用索引名定位 .iloc – 使用索引序号定位 示例中的数据以电影名作为索引： # 加载数据 movies_df = pd.read_csv("IMDB-Movie-Data.csv", index_col="Title") movies_df.column
阅读全文
Python机器学习（九十三）Pandas 访问列数据
摘要：返回Series 访问DataFrame中的Series，可以使用DataFrame['列名']方式。 # 加载数据 movies_df = pd.read_csv("IMDB-Movie-Data.csv", index_col="Title") movies_df.columns = ['ran
阅读全文
Python机器学习（九十二）Pandas 统计
摘要：describe 在整个DataFrame上使用describe()，我们可以得到一个统计结果: import pandas as pd # 加载数据 movies_df = pd.read_csv("IMDB-Movie-Data.csv", index_col="Title") movies_d
阅读全文
Python机器学习（九十一）Pandas 填充(Imputation)空值
摘要：除了删除空值，还有一种处理空值的方法是填充(Imputation)。 让我们看看在revenue_millions列中填充缺失的值。 首先，将该列提取到变量中: revenue = movies_df['revenue_millions'] 使用DataFrame['列名']可以获取1列数据，即一个
阅读全文
Python机器学习（九十）Pandas 去除null值
摘要：数据集中通常会包含null值或空值，对于空值的处理有2种方式： 删除带有null的行或列 用非空值填充null项 检查null值 要处理数据集中的null值，首先要找出DataFrame中的哪些单元格是空的: movies_df.isnull() 输出 rank genre description
阅读全文
Python机器学习（八十九）Pandas 整理列名
摘要：关于数据集的列名，通常建议最好使用小写字母，删除特殊字符，并用下划线替换空格。有时数据集的列名可能不是很规范，需要整理修改理列名。 获取DataFrame的列名 获取DataFrame的列名，可以使用DataFrame.columns属性。 movies_df.columns 输出 Index(['
阅读全文
Python机器学习（八十七）Pandas 去除重复
摘要：去除重复数据是一项常见操作，Pandas中，可以使用drop_duplicates方法。 电影数据集没有重复的行，我们来制造一些重复行。 temp_df = movies_df.append(movies_df) temp_df.shape 输出 (2000, 11) append()将返回一个副本
阅读全文
Python机器学习（八十六）Pandas 数据集信息
摘要：info 使用.info方法，可以查看数据集的基本信息： movies_df.info() 输出 <class 'pandas.core.frame.DataFrame'> Index: 1000 entries, Guardians of the Galaxy to Nine Lives Data
阅读全文
Python机器学习（八十五）Pandas 用head与tail查看数据
摘要：Pandas可以对数据集进行各种有用的分析和操作。让我们先从最简单的查看数据开始。 我们将使用IMDB电影数据集来演示，数据集文件下载：IMDB-Movie-Data.csv 首先加载CSV数据集，并将电影标题Title指定为索引。 import pandas as pd movies_df = p
阅读全文
Python机器学习（八十四）Pandas DataFrame存储到CSV, JSON，SQL
摘要：有时需要存储DataFrame到文件中，可以把DataFrame存储到CSV, JSON，SQL数据库中，如下所示： df.to_csv('new_purchases.csv') df.to_json('new_purchases.json') # 保存到SQL数据库 import sqlite3
阅读全文
Python机器学习（八十三）Pandas 读取 SQL 数据库
摘要：要从SQL数据库中加载数据，可以使用Pandas的read_sql_query方法。 我们将使用sqlite来测演示。 首先安装python的sqlite驱动 pysqlite3： pip install pysqlite3 pysqlite3用于创建数据库连接，然后使用SELECT查询数据，加载D
阅读全文
Python机器学习（八十三）Pandas 读取 JSON 数据
摘要：要从Json文件中读取数据，可以使用Pandas的read_json方法。 Json文件的内容： { "apples": { "June": 3, "Robert": 2, "Lily": 0, "David": 1 }, "oranges": { "June": 0, "Robert": 3, "
阅读全文
Python机器学习（八十二）Pandas 读取 CSV 数据
摘要：将各种文件格式的数据加载到DataFrame中非常简单。 CSV文件只需要一行代码就可以加载数据。 例如，假设我们的CSV文件内容如下： ,apples,oranges June,3,0 Robert,2,3 Lily,0,7 David,1,2 在Excel中打开： Pandas加载CSV为Dat
阅读全文
Python机器学习（八十一）Pandas Series 与 DataFrame
摘要：Pandas的两个主要数据结构是Series和DataFrame。 DataFrame可以理解为一张表，Series就是其中的一个列。 DataFrame和Series在许多操作上是相似的，通常在一个上能做的操作在另一个上也能做，如填充空值和计算平均值。 Pandas 创建 DataFrame 要创
阅读全文
Python机器学习（八十）Pandas 介绍
摘要：Pandas 是一个开放源码、BSD许可的库，为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。Pandas基于NumPy开发。 Pandas 用途 Pandas 是一个数据分析工具，可用来清理、转换和分析数据。 例如，我们有一个csv格式的数据集，我们可以把数据提取到Pandas
阅读全文
Python机器学习（七十九）Keras 评估模型
摘要：模型训练好后，就可以使用测试数据评估模型的性能。 score = model.evaluate(X_test, Y_test, verbose=0) 到此为止，我们已经完成了一个完整的Keras应用。进一步了解Keras，可参考更多Keras例子。 完整代码 下面是本教程的完整代码： # Keras
阅读全文
Python机器学习（七十八）Keras 训练模型
摘要：训练模型，即根据训练数据拟合模型的过程。为了拟合这个模型，需要设置训练的批次大小和训练周期(epoch)数，另外，当然需要传递训练数据。 model.fit(X_train, Y_train, batch_size=32, nb_epoch=10, verbose=1) # Epoch 1/10 #
阅读全文
Python机器学习（七十七）Keras 编译模型
摘要：接下来编译模型。在编译模型时，设置损失函数与优化器。 model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) Keras有多种损失函数和开箱即用的优化器可供选择。
阅读全文
Python机器学习（七十六）Keras 模型架构
摘要：接下来定义神经网络模型架构。 在实际的研发工作中，模型架构研究是主要工作。当你刚刚开始时，可以从学术论文中复制经过验证的架构，或者使用现有的示例，Keras中的示例网址。 首先声明一个Sequential模型格式: model = Sequential() 接下来，声明输入层: model.add(
阅读全文
Python机器学习（七十五）Keras 预处理分类标签
摘要：让我们看看分类标签数据: print (y_train.shape) # (60000,) print (y_train[:10]) # [5 0 4 1 9 2 1 3 1 4] 可以看到，这是一个一位数组，包含了训练数据集对应的标签。 在Keras中，模型训练时，需要把分类标签数据转换为类似位图
阅读全文
Python机器学习（七十四）Keras 预处理数据
摘要：首先需要调整数据集的形状，让其包含图像的位深信息。 打印原始数据集的形状： >>> print (X_train.shape) (60000, 28, 28) 可以看到并没有包含图像的位深信息。 MNIST是灰度图像，位深为1，我们将数据集从形状(n，宽度，高度)转换为(n，位深，宽度，高度)。 i
阅读全文
Python机器学习（七十三）Keras 加载MNIST数据集
摘要：MNIST是一个经典的深度学习和计算机视觉的数据集，里面包含了0-9的手写数字图片，开发人员可使用此数据集来训练和测试神经网络，训练后的神经网络可以识别手写数字。 Keras库已经包含了这个数据集，可以从Keras库中加载: from keras.datasets import mnist # 将预
阅读全文
Python机器学习（七十二）Keras 导入库与模块
摘要：让我们从导入numpy开始，并为计算机的伪随机数生成器设置一个种子，相同种子可以产生同系列的随机数。 import numpy as np np.random.seed(123) # 种子相同，随机数产生可以重现 接下来，将从Keras导入Sequential模型类型。这是一个简单的线性神经网络层的
阅读全文
Python机器学习（七十一）Keras 环境搭建
摘要：我们使用主流的TensorFlow作为Keras的底层实现。 Keras需要依赖下面的库，确保电脑上已经安装: Python 3 NumPy SciPy Matplotlib TensorFlow 检查一下是否安装正确: 命令行上输入: > python Python 3.7.3 (v3.7.3:e
阅读全文
Python机器学习（七十）Matplotlib 保存图形
摘要：保存为图像文件 可以使用plt.savefig()函数将图形保存到png文件中。 示例 # 保存图形 plt.savefig("foo.png") # 保存为透明图像 plt.savefig("foo.png", transparent=True) 保存为PDF 示例 # 导入 PdfPages f
阅读全文
Python机器学习（六十九）Matplotlib 其他类型图形
摘要：Matplotlib 柱状图 柱状图/条形图是常见的图形类型，可使用bar()方法绘制。 示例 # 导入numpy库与matplotlib.pyplot库 import numpy as np import matplotlib.pyplot as plt # 柱状图条目 divisions = [
阅读全文
Python机器学习（六十八）Matplotlib 多个图形
摘要：个图(figure)中可以包含多个子图(subplot)。 subplot 可以使用subplot()添加子图。 示例 创建2个子图，水平排列。 # 导入numpy库与matplotlib.pyplot库 import numpy as np import matplotlib.pyplot as
阅读全文
Python机器学习（六十七）Matplotlib 图形绘制
摘要：本章我们将从一个简单的图形开始，演示各种绘图方法，逐步丰富图形，使其更美观。 使用默认属性绘图 Matplotlib中，绘制图形时，可以设置一些属性，包括：图形大小、dpi、行宽、颜色和样式、坐标轴、网格属性、文本和字体属性等等。如果不设置，则将使用属性的默认值。 示例 使用默认设置，绘制正弦函数和
阅读全文
Python机器学习（六十六）Matplotlib 基本概念
摘要：Figure/绘图 Figure表示整个绘图，可以理解为一个画布，绘图中可以包含多个子图形（subplot）。 如果不显式创建figure，会使用默认的figure。 示例 显式创建figure # 创建一个大小为8x6英寸的图形，每英寸80个点 plt.figure(figsize=(8, 6),
阅读全文
Python机器学习（六十五）Matplotlib 入门
摘要：绘制一个简单图形 让我们从一个简单的图形开始。 示例 # 以别名plt导入pyplot模块 import matplotlib.pyplot as plt # 准备数据 x = [1,2,3,4] y = [1,4,9,16] # 绘制数据 plt.plot(x, x, label='linear'
阅读全文
Python机器学习（六十四）SciPy 统计
摘要：scipy.stats模块包含了统计工具以及概率分析工具。 分布: 直方图和概率密度函数 给定随机过程的观测值，其直方图是随机过程的概率密度函数PDF的估计量: 示例 import numpy as np samples = np.random.normal(size=1000) bins = np
阅读全文
Python机器学习（六十三）SciPy 信号处理
摘要：scipy.signal模块专门用于信号处理。 重新采样 scipy.signal.resample()函数使用FFT将信号重采样成n个点。 示例 import numpy as np t = np.linspace(0, 5, 100) x = np.sin(t) from scipy impor
阅读全文
Python机器学习（六十二）SciPy 优化
摘要：优化是指在某些约束条件下，求解目标函数最优解的过程。机器学习、人工智能中的绝大部分问题都会涉及到求解优化问题。 SciPy的optimize模块提供了许多常用的数值优化算法，一些经典的优化算法包括线性回归、函数极值和根的求解以及确定两函数交点的坐标等。 导入scipy.optimize模块，如下所示
阅读全文
Python机器学习（六十一）SciPy 图像处理
摘要：图像处理和分析通常被看作是对二维值数组的操作。然而，在一些领域中，必须对高维数的图像进行处理分析，例如，医学成像和生物成像。由于对多维特性的良好支持，numpy非常适合这种类型的应用程序。scipy.ndimage包提供了许多通用的图像处理和分析功能，这些功能支持操作任意维度的数组。 scipy.n
阅读全文
Python机器学习（六十）SciPy 线性代数
摘要：SciPy线性代数包是使用优化的ATLAS LAPACK和BLAS库构建的，具有高效的线性代数运算能力。 线性代数包里的函数，操作对象都是二维数组。 SciPy.linalg 与 NumPy.linalg与NumPy.linalg相比，scipy.linalg除了包含numpy.linalg中的所有
阅读全文
Python机器学习（五十九）SciPy 输入输出
摘要：scipy.io(输入和输出)包用于读写各种格式的文件。scipy.io支持的格式很多，下面列出了几种常用格式： Matlab IDL Matrix Market Wave Arff Netcdf MATLAB Matlab 格式是最常用的。 下面是用于加载和保存.mat文件的函数。 loadmat
阅读全文
Python机器学习（五十八）SciPy 插值
摘要：插值，是依据一系列的点(xi,yi)通过一定的算法找到一个合适的函数来包含(逼近)这些点，反应出这些点的走势规律，然后根据走势规律求其他点值的过程。 scipy.interpolate包里有很多类可以实现对一些已知的点进行插值，即找到一个合适的函数，例如，interp1d类，当得到插值函数后便可用这
阅读全文
Python机器学习（五十七）SciPy 积分
摘要：Scipy中的integrate模块提供了很多数值积分方法，例如，一重积分、二重积分、三重积分、多重积分、高斯积分等等。 下面介绍几种常用的积分函数。 一重积分 SciPy积分模块中，quad函数是一个重要函数，用于求一重积分。例如，在给定的a到b范围内，对函数f(x)求一重积分。 quad的一般形
阅读全文
Python机器学习（五十六）SciPy fftpack(傅里叶变换)
摘要：SciPy提供了fftpack模块，包含了傅里叶变换的算法实现。 傅里叶变换把信号从时域变换到频域，以便对信号进行处理。傅里叶变换在信号与噪声处理、图像处理、音频信号处理等领域得到了广泛应用。 如需进一步了解傅里叶变换原理，可以参考相关资料。 快速傅里叶变换 计算机只能处理离散信号，使用离散傅里叶变
阅读全文
Python机器学习（五十五）SciPy 常量
摘要：SciPy中的常量包提供了很多科学领域中的常量，例如：光速。 SciPy 常量包 要使用常量，需要先导入常量包（scipy.constants）。 示例 从scipy.constants中导入pi值： #导入pi常量 from scipy.constants import pi print("sci
阅读全文
人工智能深度学习入门练习之（28）TensorFlow – 例子：循环神经网络(RNN)
摘要：循环神经网络(RNN)是一种用于处理序列数据的人工神经网络，序列数据是相互依赖的（有限或无限）数据流，比如时间序列数据、信息性的字符串、对话等。 长短时记忆网络(LSTM)是一类特殊的循环神经网络，具有学习长时依赖关系的能力，是目前最常用的循环神经网络。 注意: 关于循环神经网络的介绍，可参考我们的
阅读全文
人工智能深度学习入门练习之（27）TensorFlow – 例子：卷积神经网络(CNN)
摘要：卷积神经网络（CNN）旨在解决图像识别问题，卷积神经网络在图像识别、机器视觉等方面有着广泛的应用。 计算机中的图像格式 这张杭州天际线的图片，可以看到很多建筑和颜色。那么计算机是如何处理这幅图像的呢? 图像由像素组成，像素表示图像中的一个颜色点。例如，一个40×30的图像，表示宽40个像素，高30个
阅读全文
人工智能深度学习入门练习之（26）TensorFlow – 例子：人工神经网络(ANN)
摘要：人工神经网络(ANN)介绍 生物神经元 人脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞，参与处理和传递化学信号和电信号。 以下是生物神经元的重要组成部分: 树突 – 从其他神经元接收信息的分支 细胞核 – 处理从树突接收到的信息 轴突 – 一种被神经元用来传递信息的生物电缆 突触 – 轴突和
阅读全文
人工智能深度学习入门练习之（25）TensorFlow – 例子：线性回归
摘要：线性回归 数学中的回归是指，现实中的变量之间存在一种函数关系，通过一批样本数据找出这个函数关系，即通过样本数据回归到真实的函数关系。 线性回归/Linear Regression是指，一些变量之间存在线性关系，通过一批样本数据找出这个关系，线性关系函数的图形是一条直线。 线性函数的方程如下： y =
阅读全文
人工智能深度学习入门练习之（24）TensorFlow – TensorBoard
摘要：TensorBoard是一个工具，可以图形化显示TensorFlow程序（神经网络），还可以显示许多训练过程中的指标数据，如损失、准确度或权重等。TensorBoard可以帮助用户更好地理解、调试和优化TensorFlow程序。 下面是一个线性回归模型的图形： TensorBoard通过读取Tens
阅读全文
人工智能深度学习入门练习之（23）TensorFlow – 高阶API
摘要：前面章节都是低阶API的介绍，有助于我们理解TensorFlow的基础知识。 为方便开发人员，TensorFlow提供了高阶API，包括以下模块： Keras，用于构建和训练深度学习模型的 TensorFlow 高阶 API。 Eager Execution，一个以命令方式编写 TensorFlow
阅读全文
人工智能深度学习入门练习之（22）TensorFlow – 会话
摘要：TensorFlow中，会话（Session）表示计算图一次执行的上下文，也被称为TensorFlow运行时。 TensorFlow应用大致可以分为2个部分： 使用计算图定义神经网络结构 创建会话运行神经网络(计算图) 我们将通过一个例子来加深理解。 示例 本例完成以下操作： 创建两个张量常量 创建
阅读全文
人工智能深度学习入门练习之（21）TensorFlow – 创建计算图
摘要：创建计算图 下面的代码在内存中创建一个默认计算图。 import tensorflow as tf x = tf.Variable(3, name="x") y = tf.Variable(4, name="y") f = x*x*y + y + 2 代码中声明了变量和函数，这将会在内存中创建一个默
阅读全文
人工智能深度学习入门练习之（20）TensorFlow – 占位符
摘要：占位符允许稍后赋值，通常用于存储样本数据。 要创建占位符，可使用tf.placeholder方法。 语法 tf.placeholder(dtype, shape=None, name=None ) 说明 dtype: 数据类型 shape: 占位符的维数，可选。默认情况下，值为赋值数据的形状 nam
阅读全文
人工智能深度学习入门练习之（19）TensorFlow – 变量
摘要：变量存储可变化的值，例如可用于存储可训练参数：权重和偏置。 要创建一个变量，可以使用tf.get_variable()方法。 tf.get_variable(name = "", values, dtype, initializer) 参数 name = "": 变量名称 values: 指定变量形
阅读全文
人工智能深度学习入门练习之（18）TensorFlow – 张量运算
摘要：我们已经知道怎么创建张量，现在来学习张量运算。 TensorFlow包含了许多基本的张量运算操作，让我们从一个简单的平方运算开始。 要进行平方运算，可以使用tf.sqrt(x)函数，x是一个浮点数。 import tensorflow as tf x = tf.constant([2.0], dty
阅读全文
人工智能深度学习入门练习之（17）TensorFlow – 张量数据类型
摘要：张量中的所有元素只能有一种数据类型。可以使用张量属性dtype获取数据类型。 import tensorflow as tf m_shape = tf.constant([ [10, 11], [12, 13], [14, 15] ] ) print(m_shape.dtype) 输出 <dtype
阅读全文
人工智能深度学习入门练习之（16）TensorFlow – 张量形状
摘要：张量的形状描述了张量中每个维度的元素数量。 打印张量时，TensorFlow会输出张量的形状，你也可以直接获取张量的形状属性。 import tensorflow as tf # 张量形状 m_shape = tf.constant([ [10, 11], [12, 13], [14, 15] ]
阅读全文
人工智能深度学习入门练习之（15）TensorFlow – 创建张量
摘要：要创建张量，可以使用tf.constant()函数。 tf.constant(value, dtype, name = "") 参数说明 value: 定义张量的n维数组值，可选 dtype: 定义张量数据类型，例如： tf.string: 字符串类型 tf.float32: 浮点类型 tf.int
阅读全文
人工智能深度学习入门练习之（14）TensorFlow – 计算图
摘要：TensorFlow中的各种操作，如加权求和，激活函数等，都被编排成一个图，称为计算图。这样，一个神经网络就可以用一个计算图来表示。 计算图从本质上来说，是TensorFlow在内存中构建的程序逻辑图，它定义了实现神经网络所需的变量和操作。计算图定义好后，就可以被执行了。 计算图可以被分割成多个块，
阅读全文
人工智能深度学习入门练习之（13）TensorFlow – 张量
摘要：Tensorflow的名字直接来源于它的核心数据结构：张量。 张量的概念来源于线性代数，表示一个多维数组，张量中的元素具有相同的数据类型。 Tensorflow中，所有的计算都涉及到张量，张量可以是输入数据，或者计算结果。 TensorFlow中的各种操作，如加权求和，激活函数等，都被编排成一个图，
阅读全文
人工智能深度学习入门练习之（12）TensorFlow – 数学基础
摘要：在创建TensorFlow中的应用程序之前，最好能先理解TensorFlow所需的数学概念。数学被认为是任何机器学习算法的核心。 线性代数 标量(scalar) 一个单独的数 向量(vector) 一列数，即一维数组 矩阵(matrix) 二维数组 张量(tensor) 多维数组 矩阵加法 如果2个
阅读全文
人工智能深度学习入门练习之（11）TensorFlow – 理解人工智能
摘要：具有感知、学习、推理和解决问题等认知功能的机器被认为拥有人工智能。 当机器具有认知能力时，人工智能就产生了。人类在相关领域的能力是人工智能的衡量标准。 弱人工智能 弱人工智能执行特定任务，甚至比人类做得更好，例如，围棋人工智能AlphaGo。弱人工智能是目前人工智能的主要研究领域。 强人工智能 强人
阅读全文
人工智能深度学习入门练习之（10）TensorFlow – 介绍
摘要：TensorFlow是一个开源的深度学习框架，由谷歌团队开发。TensorFlow使用方便，开发人员可以用来开发各种人工智能应用。 TensorFlow的官方网站: www.tensorflow.org TensorFlow的主要特性： 以张量(一种多维数组)为基础，轻松定义、计算数学算式 提供对深
阅读全文
Python机器学习（五十四）SciPy k均值聚类
摘要：聚类(K-means clustering)是在一组未标记的数据中，将相似的数据（点）归到同一个类别中的方法。聚类与分类的最大不同在于分类的目标事先已知，而聚类则不知道。 K-means是聚类中最常用的方法之一，它是基于点与点的距离来计算最佳类别归属，即靠得比较近的一组点（数据）被归为一类。 K-m
阅读全文
Python机器学习（五十三）SciPy 特殊函数
摘要：scipy.special 模块中包含了一些常用的杂项函数，例如经常使用的： 立方根函数 指数函数 相对误差指数函数 对数和指数函数 兰伯特函数 排列组合函数 γ函数 示例 解立方根: from scipy.special import cbrt res = cbrt([1000, 27, 8, 2
阅读全文
Python机器学习（五十二）SciPy 基础功能
摘要：默认情况下，所有NumPy函数都可以在SciPy(命名空间)中使用。当导入SciPy时，不需要显式地导入NumPy函数。NumPy的主要对象是n次多维数组ndarray，SciPy构建在ndarray数组之上，ndarray是存储单一数据类型的多维数组。在NumPy中，维度称为轴，坐标轴的数量称为秩
阅读全文
Python机器学习（五十一）SciPy 介绍
摘要：SciPy，发音为Sigh Pi，是一个python开源库，在BSD授权下发布，主要用于数学、科学和工程计算。 SciPy库依赖于NumPy，NumPy提供了方便和快速的n维数组操作。它们一起可以运行在所有流行的操作系统上，安装简单，使用免费。 现在，组合使用NumPy、SciPy和Matplotl
阅读全文
Python机器学习（五十）NumPy 线性代数
摘要：NumPy中包含了numpy.linalg模块，提供线性代数运算功能。下表描述了该模块中的一些重要功能。 SN函数描述 1 dot() 两个数组的点积 2 vdot() 两个向量的点积 3 inner() 两个数组的内积 4 matmul() 两个数组的矩阵乘积 5 det() 计算矩阵的行列式 6
阅读全文
Python机器学习（四十九）NumPy 矩阵库函数
摘要：NumPy包含一个矩阵库NumPy.matlib，这个模块的函数用于处理矩阵而不是ndarray对象。 NumPy中，ndarray数组可以是n维的，与此不同，矩阵总是二维的，但这两种对象可以相互转换。 matlib.empty() empty()函数返回一个新的矩阵，但不会初始化矩阵元素。 num
阅读全文
Python机器学习（四十八）NumPy 副本和视图
摘要：数组副本是内容与原数组相同，存储在另一个内存位置的数组。 数组视图是由原数组生成的另一个数组，但是与原数组共享数组元素内存，是对同一个内存位置所存储数组元素的不同呈现。 数组引用是原数组的别名，与原数组是同一个数组。 数组赋值 NumPy中，把一个数组赋值给另一个数组，不会拷贝数组，赋值只是对原始数
阅读全文
Python机器学习（四十七）NumPy 排序、查找、计数
摘要：NumPy中提供了各种排序相关的函数。这些排序函数实现了不同的排序算法，每个算法的特点是执行速度、最坏情况性能、所需的工作空间和算法的稳定性。下表为三种排序算法的比较。 种类速度最差情况工作区稳定性 ‘quicksort’ 1 O(n^2) 0 no ‘mergesort’ 2 O(n*log(n)
阅读全文
Python机器学习（四十六）NumPy 统计函数
摘要：Numpy提供各种统计函数，用于数据统计分析。 从数组中找出最小和最大元素 函数numpy.amin()和numpy.amax()分别用于查找指定轴上，数组元素的最小值和最大值。 示例 import numpy as np a = np.array([[2,10,20],[80,43,31],[22
阅读全文
Python机器学习（四十五）NumPy 数学函数
摘要：Numpy包含大量的数学函数，如三角函数、算术函数和处理复数的函数等等，这些函数可以用来执行各种数学操作。 三角函数 Numpy中包含三角函数，用于不同角度的正弦、余弦和正切等就散。 示例 import numpy as np arr = np.array([0, 30, 60, 90, 120,
阅读全文
Python机器学习（四十四）NumPy 字符串函数
摘要：NumPy中，可以使用下面的函数对dtype字符串数组进行操作。 SN函数描述 1 add() 连接字符串(数组)。 2 multiply() 返回字符串的多个副本，即，如果字符串“hello”乘以3，则返回一个字符串“hello hello hello”。 3 center() 返回指定宽度的字符
阅读全文
Python机器学习（四十三）NumPy 位运算
摘要：NumPy包中，可用位操作函数进行位运算。 bitwise_and 位与运算 bitwise_or 位或运算 invert 位非运算 left_shift 左移位 right_shift 右移位 bitwise_and 要对数值进行位与运算，可以使用bitwise_and()函数。 示例 impor
阅读全文
Python机器学习（四十二）NumPy 数组迭代
摘要：NumPy提供了迭代器对象NumPy.nditer，是一个高效的多维迭代器对象，可以使用它对数组进行迭代，使用Python的标准迭代器接口访问数组元素。 示例 import numpy as np a = np.array([[1,2,3,4],[2,4,5,6],[10,20,39,3]]) pr
阅读全文
Python机器学习（四十一）NumPy 广播
摘要：NumPy中，有时两个不同形状的数组之间需要进行运算。 考虑下面的例子。 示例 两个形状相同的数组相乘： import numpy as np a = np.array([1,2,3,4,5,6,7]) b = np.array([2,4,6,8,10,12,14]) c = a*b; print(
阅读全文
Python机器学习（四十）NumPy 数组切片
摘要：要访问或修改ndarray数组中的元素，可以使用数组切片/索引。 如前所述，ndarray数组索引从0开始。 使用切片访问数组，首先通过内置slice函数创建一个切片对象，该对象存储了创建时传入的start、stop和step参数，把这个切片对象传给数组，我们就可以提取数组的一部分(切片)返回。 一
阅读全文
Python机器学习（三十九）基于数值区间创建数组
摘要：NumPy中，可以通过指定数值范围创建ndarray数组。 numpy.arange 要使用指定区间均匀分布的数值创建数组，可以使用arange函数。 语法如下所示： numpy.arange(start, stop, step, dtype) 参数： start: 区间开始值。默认值是0。 sto
阅读全文
Python机器学习（三十八）NumPy 基于已有数据创建数组
摘要：NumPy提供了使用现有数据创建数组的方法。 numpy.asarray 要使用列表或元组创建ndarray数组，可使用asarray函数。这个函数通常用于将python序列转换为numpy数组对象的场景中。 语法如下所示： numpy.asarray(sequence, dtype = None,
阅读全文
Python机器学习（三十七）NumPy 数组创建
摘要：要创建ndarray数组对象，除了使用底层的ndarray构造函数(ndarray.array())，还可以使用下面介绍的函数。 numpy.empty empty函数创建未初始化数组，可以指定数组形状和数据类型。 语法如下所示： numpy.empty(shape, dtype = float,
阅读全文
Python机器学习（三十六）NumPy 数据类型
摘要：NumPy提供的数值类型，数值范围比Python提供的数值类型更大。NumPy的数值类型，如下表所示： SN数据类型描述 1 bool_ 布尔值，取值ture/false，占用一个字节 2 int_ 是integer的默认类型。与C语言中的long类型相同，有可能是64位或32位。 3 intc 类
阅读全文
Python机器学习（三十五）NumPy ndarray
摘要：NumPy中最重要的类是ndarray，ndarray是存储单一数据类型的多维数组。 可以使用索引(从0开始)访问ndarray对象中的元素。 ndarray的内存结构 标准的Python列表(list)中，元素是对象。如：L = [1, 2, 3]，需要3个指针和三个整数对象，对于数值运算比较浪费
阅读全文
Python机器学习（三十四）Numpy 介绍
摘要：Numpy代表numeric python，是一个用于计算、处理多维数组的python包。 NumPy包由Travis Oliphant在2005年创建，基于原来的Numeric模块与Numarray模块，大部分是用c语言编写的。 NumPy提供各种强大的数据结构(多维数组和矩阵)，以及对这些数据结
阅读全文
Python机器学习（三十三）Sklearn 速查
摘要：Scikit-learn是一个开源Python库，它使用统一的接口实现了一系列机器学习、预处理、交叉验证和可视化算法。 一个基本例子 from sklearn import neighbors, datasets, preprocessing from sklearn.model_selection
阅读全文
Python机器学习（三十二）Sklearn 支持向量机
摘要：前面章节尝试了K均值聚类模型，准确率并不高。接下来我们尝试一种新方法：支持向量机(SVM)。 支持向量机 支持向量机(support vector machine/SVM)，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸
阅读全文
Python机器学习（三十一）Sklearn K均值聚类
摘要：到目前为止，我们已经非常深入地了解了数据集，并且把它分成了训练子集与测试子集。 接下来，我们将使用聚类方法训练一个模型，然后使用该模型来预测测试子集的标签，最后评估该模型的性能。 聚类(clustering)是在一组未标记的数据中，将相似的数据（点）归到同一个类别中的方法。聚类与分类的最大不同在于分
阅读全文
Python机器学习（三十）Sklearn 预处理数据
摘要：前面章节中，我们首先加载数据，接着查看数据集的基本信息，然后可视化数据进一步查看数据集信息。接下来，我们开始处理数据，但这之前，通常需要预处理数据。 数据标准化 大型数据分析项目中，数据来源不同，量纲及量纲单位不同，为了让它们具备可比性，需要采用标准化方法消除由此带来的偏差。原始数据经过数据标准化处
阅读全文
Python机器学习（二十九）Sklearn 可视化数据:主成分分析(PCA)
摘要：主成分分析(PCA)是一种常用于减少大数据集维数的降维方法，把大变量集转换为仍包含大变量集中大部分信息的较小变量集。 减少数据集的变量数量，自然是以牺牲精度为代价的，降维的好处是以略低的精度换取简便。因为较小的数据集更易于探索和可视化，并且使机器学习算法更容易和更快地分析数据，而不需处理无关变量。
阅读全文
Python机器学习（二十八）Sklearn 使用matplotlib可视化数据
摘要：digits是一个手写数字的数据集，我们可以使用Python的数据可视化库，比如matplotlib，来查看这些手写数字图像。 示例 显示digits.images中的手写数字图像。 from sklearn import datasets # 加载 `digits` 数据集 digits = da
阅读全文
Python机器学习（二十七）Sklearn 数据集基本信息
摘要：前面章节中，我们加载了SciKit-Learn自带的数据集digits，可以通过以下语句查看数据集中包含哪些主要内容： digits.keys() 输出 dict_keys(['data', 'target', 'target_names', 'images', 'DESCR']） data 样本数
阅读全文
Python机器学习（二十六）Sklearn 加载数据集
摘要：机器学习是计算机科学的一个分支，研究的是无需人类干预，能够自己学习的算法。 与TensorFlow不同，Scikit-learn(sklearn)的定位是通用机器学习库，而TensorFlow(tf)的定位主要是深度学习库。 数据科学中的第一步通常都是加载数据，我们首先学习怎么使用SciKit-Le
阅读全文
Python机器学习（二十五）尬聊机器学习
摘要：如果你从来没有使用过机器学习，你会想，这个不就是编程吗？或者，到底机器学习是什么？首先，我们确实是使用编程语言来实现机器学习模型，我们跟计算机其他领域一样，使用同样的编程语言和硬件。但不是每个程序都用了机器学习。对于第二个问题，精确定义机器学习就像定义什么是数学一样难，但我们试图在这章提供一些直观的
阅读全文
人工智能深度学习入门练习之（9）机器学习与深度学习的区别
摘要：近年来，随着科技的快速发展，人工智能不断进入我们的视野中。作为人工智能的核心技术，机器学习和深度学习也变得越来越火。一时间，它们几乎成为了每个人都在谈论的话题。那么，机器学习和深度学习到底是什么，它们之间究竟有什么不同呢？ 什么是机器学习？ 机器学习(Machine Learning，ML)是人工智
阅读全文
人工智能深度学习入门练习之（8）比较深度学习三大框架
摘要：人工智能的浪潮正席卷全球，诸多词汇时刻萦绕在我们的耳边，如人工智能，机器学习，深度学习等。“人工智能”的概念早在1956年就被提出，顾名思义用计算机来构造复杂的，拥有与人类智慧同样本质特性的机器。经过几十年的发展，在2012年后，得益于数据量的上涨，运算力的提升和机器学习算法(深度学习)的出现，人工
阅读全文
Python机器学习（二十四）机器学习常见算法分类汇总
摘要：机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家
阅读全文
Python机器学习（二十三）机器学习简史
摘要：自从科学，技术和人工智能的最初立场出发，跟随布莱斯·帕斯卡（Blaise Pascal）和冯·莱布尼兹（Von Leibniz）的科学家们在思考这种机器具有与人类一样多的智力。儒勒·凡尔纳（Jules Verne），弗兰克·鲍姆（Frank Baum，绿野仙踪），玛丽·雪莉（Frankkenstei
阅读全文
Python机器学习（二十一）随机森林算法
摘要：一、随机森林算法简介： 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin
阅读全文
Python机器学习（二十）决策树系列三—CART原理与代码实现
摘要：ID3，C4.5算法缺点 ID3决策树可以有多个分支，但是不能处理特征值为连续的情况。 在ID3中，每次根据“最大信息熵增益”选取当前最佳的特征来分割数据，并按照该特征的所有取值来切分， 也就是说如果一个特征有4种取值，数据将被切分4份，一旦按某特征切分后，该特征在之后的算法执行中， 将不再起作用，
阅读全文
Python机器学习（十九）决策树之系列二—C4.5原理与代码实现
摘要：ID3算法缺点 它一般会优先选择有较多属性值的Feature，因为属性值多的特征会有相对较大的信息增益，信息增益反映的是，在给定一个条件以后，不确定性减少的程度， 这必然是分得越细的数据集确定性更高，也就是条件熵越小，信息增益越大。为了解决这个问题，C4.5就应运而生，它采用信息增益率来作为选择分支
阅读全文
Python机器学习（十八）决策树之系列一ID3原理与代码实现
摘要：应用实例： 你是否玩过二十个问题的游戏，游戏的规则很简单：参与游戏的一方在脑海里想某个事物，其他参与者向他提问题，只允许提20个问题，问题的答案也只能用对或错回答。问问题的人通过推断分解，逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似，用户输人一系列数据，然后给出游戏的答案。如下表 假如
阅读全文
Python机器学习（十七）AdaBoost原理与代码实现
摘要：基本思路 Adaboost体现的是“三个臭皮匠，胜过一个诸葛亮”，它是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)， 然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。训练过程如下（参考Andy的机器学习--浅析Adaboost算法，他说得非常形象，贴切。）
阅读全文
Python机器学习（十六）KNN原理与代码实现
摘要：1. KNN原理 KNN（k-Nearest Neighbour）：K-近邻算法，主要思想可以归结为一个成语：物以类聚 1.1 工作原理 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的 k （k <= 20）个实例，这 k 个实例的多数属于某个类， 就把该输入实例分为这个类。
阅读全文
Python机器学习（十五）朴素贝叶斯算法原理与代码实现
摘要：算法原理 朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。 该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。 但由于该算法以自变量之间的独立（条件特征独立）性和连续变
阅读全文
Python机器学习（十四）Logistic回归算法原理与代码实现
摘要：主要思想 根据现有数据对分类边界线建立回归公式，以此进行分类，其核心是通过最优化算法寻找最佳回归系数（权重系数），主要应用于二分类。 算法原理 二分类的特点是非此即彼，其数学特性符合单位阶跃函数，在某一点会发生突变。这也符合我们现实当中的一些应用场景（比如分数从0 到 60会很容易，越往上你所花的时
阅读全文
Python机器学习（十三） 最近邻居/k-近邻算法
摘要：KNN算法是一种基于实例的学习，或者是局部近似和将所有计算推迟到分类之后的惰性学习。用最近的邻居（k）来预测未知数据点。k 值是预测精度的一个关键因素，无论是分类还是回归，衡量邻居的权重都非常有用，较近邻居的权重比较远邻居的权重大。 KNN 算法的缺点是对数据的局部结构非常敏感。计算量大，需要对数据
阅读全文
Python机器学习（十二）支持向量机算法
摘要：1. 解决什么问题？ 最基本的应用是数据分类，特别是对于非线性不可分数据集。支持向量机不仅能对非线性可分数据集进行分类，对于非线性不可分数据集的也可以分类 （我认为这才是支持向量机的真正魅力所在，因为现实场景中，样本数据往往是非线性不可分的）。 现实场景一 ：样本数据大部分是线性可分的，但是只是在样
阅读全文
Python机器学习（十一）线性回归算法
摘要：回归分析（Regression Analysis）是统计学的数据分析方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测其它变量的变化情况。 线性回归算法（Linear Regression）的建模过程就是使用数据点来寻找最佳拟合线。公式，y = mx +
阅读全文
Python机器学习（十）经典算法大全
摘要：1.KNN 分类算法 由于knn算法涉及到距离的概念，KNN 算法需要先进行归一化处理 1.1 归一化处理 scaler from sklearn.preprocessing import StandardScaler standardScaler =StandardScaler() standar
阅读全文
Python机器学习（九）简单神经网络
摘要：深度神经网络算法，是基于神经网络算法的一种拓展，其层数更深，达到多层，本文以简单神经网络为例，利用梯度下降算法进行反向更新来训练神经网络权重和偏向参数，文章最后，基于Python 库实现了一个简单神经网络算法程序，并对异或运算和0-9字符集进行预测。 一、问题引入 利用如下图像结构，通过训练集对其参
阅读全文
人工智能深度学习入门练习之（7）线性回归
摘要：代码实现： import numpy as np def compute_error_for_line_given_points(b, w, points): totalError = 0 for i in range(0, len(points)): x = points[i, 0] y = po
阅读全文
人工智能深度学习入门练习之（6）求和方法2
摘要：代码实现： import tensorflow as tf assert tf.__version__.startswith('2.') a=tf.constant(2.) b=tf.constant(4.) print(f'{a}+{b}={a+b}') 执行结果：
阅读全文
人工智能深度学习入门练习之（5）求和
摘要：代码实现： import tensorflow.compat.v1 as tf tf.disable_v2_behavior() # 使用静态图模式运行以下代码 assert tf.__version__.startswith('2.') # 1.创建计算图阶段 # 创建2个输入端子，指定类型和名字
阅读全文
人工智能深度学习入门练习之（4）矩阵实现
摘要：代码实现： import numpy as np import matplotlib from matplotlib import pyplot as plt # Default parameters for plots matplotlib.rcParams['font.size'] = 20 m
阅读全文
人工智能深度学习入门练习之（3）求导
摘要：代码实现： import tensorflow as tf # 创建4个张量 a=tf.constant(1.) b=tf.constant(2.) c=tf.constant(3.) w=tf.constant(4.) with tf.GradientTape() as tape: tape.wa
阅读全文
人工智能深度学习入门练习之（2）Anaconda和Pycharm的安装和配置
摘要：子曰：“工欲善其事，必先利其器。”学习Python就需要有编译Python程序的软件，一般情况下，我们选择在Python官网下载对应版本的Python然后用记事本编写，再在终端进行编译运行即可，但是对于我这样懒的小白，我喜欢装一些方便的软件来辅助我编写程序。在学习Java时，正常情况选择安装JDK然
阅读全文
人工智能深度学习入门练习之（1）Tensorflow2.2.0-cpu安装教程
摘要：1.下载Anaconda 1.下载最新版的Anoconda，可百度搜索“Anaconda 清华镜像”，下载对应系统机器位数的安装文件，我下载的windows-64bit。 网址如下：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 我是wi
阅读全文
python之（9）Python操作MySQL
摘要：import MySQLdb #查询数量 def Count(cur): count=cur.execute('select * from Student') print （'there has %s rows record' % count） #插入 def Insert(cur): sql =
阅读全文
Python绘图之（7）turtle画五环
摘要：代码实现： import turtle turtle.goto(0,0) turtle.color("blue") turtle.pensize(5) turtle.circle(50) turtle.penup() turtle.goto(100,0) turtle.color("green")
阅读全文
Python绘图之（6）turtle绘制彩色螺旋线
摘要：代码实现： #绘制彩色螺旋线 import turtle import time turtle.pensize(2) turtle.bgcolor("black") colors = ["red","yellow","purple","blue"] turtle.tracer(False) for
阅读全文
Python绘图之（5）turtle 画一朵花
摘要：操纵海龟绘图有着许多的命令,这些命令可以划分为两种:一种为运动命令，一种为画笔控制命令1. 运动命令:forward(degree) #向前移动距离degree代表距离backward(degree) #向后移动距离degree代表距离right(degree) #向右移动多少度left(degre
阅读全文
SparkStreaming入门到实战之(15)--Spark Streaming+Kafka提交offset实现有且仅有一次(exactly-once)
摘要：本文讲Spark Streamming使用Direct方式读取Kafka，并在输出（存储）操作之后提交offset到Kafka里实现程序读写操作有且仅有一次，即程序重启之后之前消费并且输出过的数据不再重复消费，接着上次消费的位置继续消费Kafka里的数据。Spark Streamming+Kafka
阅读全文
SparkStreaming入门到实战之(14)--利用Spark实现Oracle到Hive的历史数据同步
摘要：1、需求背景 通过Spark将关系型数据库（以Oracle为例）的表同步的Hive，这里讲的只是同步历史数据，不包括同步增量数据。 2、Oracle和Hive的字段类型对应 利用Spark的字段类型自动匹配，本来以为Spark匹配的不是很好，只是简单的判断一下是否为数字、字符串，结果经验证，Spar
阅读全文
SparkStreaming入门到实战之(13)--spark-submit提交Spark Streamming+Kafka程序
摘要：前言 Spark Streaming本身是没有Kafka相关的jar包和API的，如果想利用Spark Streaming获取Kafka里的数据，需要自己将依赖添加SBT或Maven项目中，添加依赖更新项目之后，就可以在Eclipse等IDE里直接运行Spark Streamming+Kafka的程
阅读全文
SparkStreaming入门到实战之(12)--SparkStreaming+Kafka 实现统计基于缓存的实时uv
摘要：前言 本文利用SparkStreaming+Kafka实现实时的统计uv，即独立访客，一个用户一天内访问多次算一次，这个看起来要对用户去重，其实只要按照WordCount的思路，最后输出key的数量即可，所以可以利用SparkStreaming+Kafka 实现统计基于缓存的实时wordcount，
阅读全文
SparkStreaming入门到实战之(11)--SparkStreaming+Kafka 实现基于缓存的实时wordcount
摘要：前言 本文利用SparkStreaming和Kafka实现基于缓存的实时wordcount程序，什么意思呢，因为一般的SparkStreaming的wordcount程序比如官网上的，只能统计最新时间间隔内的每个单词的数量，而不能将历史的累加起来，本文是看了教程之后，自己实现了一下kafka的程序，
阅读全文
SparkStreaming入门到实战之(10)--基于OGG的Oracle与Hadoop集群准实时同步介绍
摘要：前言 ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 下面是我的源端和目标端的一些配置信息： -版本OGG版本ip别名 源端 OracleRelease 11.2.0.1.0
阅读全文
SparkStreaming入门到实战之(9)--Spark Streaming连接Kafka入门教程
摘要：前言 首先要安装好kafka,这里不做kafka安装的介绍,本文是Spark Streaming入门教程，只是简单的介绍如何利用spark 连接kafka，并消费数据，由于博主也是才学，所以其中代码以实现为主，可能并不是最好的实现方式。 1、对应依赖 根据kafka版本选择对应的依赖，我的kafka
阅读全文
Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）
摘要：1、在服务器（虚拟机）spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/ 1.
阅读全文
Spark SQL入门到实战之（6）Spark Sql 连接mysql
摘要：1、基本概念和用法（摘自spark官方文档中文版） Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便于连接其它数据源。
阅读全文
大数据集群运维（21）centos7 hive 单机模式安装配置
摘要：前言：由于只是在自己的虚拟机上进行学习，所以对hive只是进行最简单的配置，其他复杂的配置文件没有配置。 1、前提 1.1 安装配置jdk1.8 1.2 安装hadoop2.x hadoop单机模式安装见：centos7 hadoop 单机模式安装配置 1.3 安装mysql并配置myql允许远程访
阅读全文
大数据集群运维（20）centos7 hadoop 单机模式安装配置
摘要：前言 由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop+hive的单机部署，以便自己能进行简单的学习，这里记录一下，本来想把hadoop和h
阅读全文
大数据集群运维（19）通过数据库客户端界面工具DBeaver连接Hive
摘要：前言 本文讲解如何通过数据库客户端界面工具DBeaver连接hive，并解决驱动下载不下来的问题。 1、为什么使用客户端界面工具 为什么使用客户端界面工具而不用命令行使用hive 通过界面工具查看分析hive里的数据要方便很多 业务人员没有权限通过命令行连接hive 领导喜欢在界面工具上查看hive
阅读全文
Python绘图之（4）turtle 画国旗
摘要：代码实现： import turtle import time import os def draw_square(org_x, org_y, x, y): turtle.setpos(org_x, org_y) # to left and bottom connor turtle.color('r
阅读全文
Python绘图之（3）用turtle画蛇
摘要：import turtle def drawSnake(rad,angle,len,nackrad): for i in range(len): turtle.circle(rad,angle) #画圆，参数分别是半径和角度 turtle.circle(-rad,angle) #半径为负，反方向画圆
阅读全文
Python绘图之（2）turtle模块画正多边形
摘要：画正多边形主要是计算多边形每个角度对应的外角的度数，计算出来这个度数即可画图，相对来说非常简单 以正六边形为例 import turtle import time t = turtle.Pen() for i in range(6): t.forward(100) t.left(60) time.s
阅读全文
大数据集群运维（18）Idea创建Scala的Maven项目
摘要：Idea版本（2018.1.5） Scala版本（2.11.0） Java版本（1.8.0_151） 创建Scala的Maven项目 Idea新建项目如图，输入GroupId和ArtifactId之后点击“下一步”->配置Maven home目录（默认即可）->输入工程名“完成”，Idea自动构建项
阅读全文
大数据集群运维（17）CentOS7.5搭建ES6.2.4集群与简单测试
摘要：一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads 版本：elasticsea
阅读全文
大数据集群运维（16）CentOS7.5搭建Kafka2.11-1.1.0集群与简单测试
摘要：一、下载 下载地址： http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的 kafka_2.11-1.1.0.tgz 二、集群规划 IP 节点名称 Kafka Zookeeper Jdk Scala 192.168.100.21 no
阅读全文
大数据集群运维（15）CentOS7.5搭建Hadoop2.7.6完全分布式集群
摘要：一 完全分布式集群搭建 Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.2 关闭防火墙，设置静态IP，主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够
阅读全文
大数据集群运维（14）CentOS7.5搭建spark2.3.1集群
摘要：一 下载安装包 1 官方下载 官方下载地址：http://spark.apache.org/downloads.html 2 安装前提 Java8 安装成功 zookeeper 安装参考：CentOS7.5搭建Zookeeper3.4.12集群 hadoop 安装参考：CentOS7.5搭建Hado
阅读全文
大数据集群运维（13）CentOS7.5搭建Hive2.3.3
摘要：一 Hive的下载 软件下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 这里下载的版本是：apache-hive-2.3.3-bin.tar.gz 官方安装配置文档：https://cwiki.apache.org/confluence/
阅读全文
大数据集群运维（12）JDK安装和环境变量配置（Win7版）
摘要：系统环境：Windows7 x64 安装JDK和JRE版本：1.8.0_191 1、下载JDK安装包 Oracle官网下载网址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 选择需要下载的JDK版本，本人下载的
阅读全文
大数据集群运维（11）python第三方库大全
摘要：环境管理 管理 Python 版本和环境的工具 p：非常简单的交互式 python 版本管理工具。官网 pyenv：简单的 Python 版本管理工具。官网 Vex：可以在虚拟环境中执行命令。官网 virtualenv：创建独立 Python 环境的工具。官网 virtualenvwrapper：v
阅读全文
Python爬虫小白入门（十五）Python常用模块大全
摘要：OS 模块 #os模块就是对操作系统进行操作，使用该模块必须先导入模块： import os #getcwd() 获取当前工作目录(当前工作目录默认都是当前文件所在的文件夹) result = os.getcwd() print(result) #chdir()改变当前工作目录 os.chdir('
阅读全文
大数据集群运维（10）Pycharm下安装模块
摘要：方法一：使用Pycharm的终端安装 一、网络爬虫 1、安装requests包 作用：简洁且简单的处理HTTP请求的第三方库 网址：https://pypi.org/project/requests/ pip install requests 2、安装scrapy包 作用：快速、高层次的Web获取框
阅读全文
大数据集群运维（9）Pycharm下安装Numpy包
摘要：Numpy--Numerical Python，是一个基于Python的可以存储和处理大型矩阵的库。几乎是Python 生态系统的数值计算的基石，例如Scipy，Pandas，Scikit-learn，Keras等都基于Numpy。使用Numpy, 可以进行： ·数组和逻辑运算 ·傅里叶变换和图形操
阅读全文
大数据集群运维（8）windows环境下tensorflow cpu安装过程详解
摘要：写在最前： 在安装过程中遇到很多坑，一开始自己从官网下载了Python3.6.3或者Python3.6.5或者Python3.7.1等多个版本，然后直接pip install tensorflow或者从https://www.lfd.uci.edu/~gohlke/pythonlibs/下载制定的t
阅读全文
大数据集群运维（7）pycharm安装破解方法
摘要：1、pycharm专业版官方下载链接：http://www.jetbrains.com/pycharm/download/#section=windows正常下载并安装 2、从https://github.com/V7hinc/pycharm-crack下载所需工具，将破解工具JetbrainsCr
阅读全文
