摘要： 预备知识 强学习与弱学习 一个概念是强可学习的充分必要条件是这个概念是弱可学的。 分类 对于分类问题，提升算法通过组合多个较为容易学习到的弱分类器构成一个强分类器。 关键问题 每一轮训练数据的权值或概率分布确定； 弱分类器构建强分类器的方式。 adaboost算法 损失函数 设$(x_1, y_1) 阅读全文

摘要： 根据关键字获取高德地图poi信息 百度地图和高德地图都提供了根据关键字获取相应的poi信息的api，不过它们提供给普通开发者使用的次数有限无法满足要求。其次百度地图返回的poi中位置信息不是经纬度，而高德地图则可以返回poi的经纬度信息。 网页分析 目的 以关键字 为例，我们需要使用爬虫获取到高德地 阅读全文

摘要： 关闭集群 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点 使用 不会停止pid相关的进程，会造成在客户端机器重启后再次启动cloudera scm agent出现异常，使用 则不会造成异常。 关闭chd中服务端节点 至此cdh集群已完全关闭 启 阅读全文

摘要： mongodb数据迁移到hbase 导入包 操作hbase的类 操作mongodb且到将数据导入到hbase的类 主函数 阅读全文

摘要： 相关显示参数设置 显示参数设置 动态分区参数设置 创建数据库 建表 普通建表： 分区表 临时表 本地数据写入hive表 查询结果存储 查询结果写入普通表 查询结果写入分区表 查询结果写入本地文件 hive调用python的udf udf文件 encoding: utf 8 ''' @author: 阅读全文

摘要： 最近一段时间团队接到的项目需要处理的数据量非常大，之前的处理方式难以满足现有需求。最近两周前前后后折腾了不少，在搭建了hadoop+hbase+hive+spark的一个集群后，由于感觉管理和监控太麻烦就把它给干掉了，转而折腾CDH。 安装CDH前需要安装Cloudera Manager，官方文档提 阅读全文

摘要： 本文主要代码用于有代理网站http://www.kuaidaili.com/free/intr中的代理ip爬取，爬虫使用过程中需要输入含有代理ip的网页链接。 测试ip是否可以用 获取指定页面的代理ip地址 调用爬虫 阅读全文

摘要： python读取与写入csv,txt格式文件 在数据分析中经常需要从csv格式的文件中存取数据以及将数据写书到csv文件中。将csv文件中的数据直接读取为 类型和 是非常方便也很省事的一种做法，以下代码以鸢尾花数据为例。 csv文件读取为dict 代码 输出 如果读入的每条数据需要单独处理且数据量较 阅读全文

摘要： python变量传递 数值 代码 输出 结论 数值变量之间的是按值传递。 字符串 代码 输出 结论 字符串变量之间也是按值传递。 链表 代码 输出 结论 从上面的输出结果可以看到， 和`l_2 c/c++ l_2 = l_1 l_2 l_1 [1, 2, 3, 4] l_2[0] = 100 l_1 阅读全文

摘要： 用Python自动发送邮件     最近需要在服务器上处理一些耗时比较长的任务，因此想到利用python写一个自动发送邮件的脚本，在任务执行完毕后发送邮件通知我。以下代码以163邮箱为例： 开通163邮箱的smtp协议    &e 阅读全文