2019年2月13日
逻辑回归算法 - 乳腺癌预测
摘要： 1 目标 根据历史女性乳腺癌患者数据集（医学指标）构建逻辑回归分类模型进行良／恶性乳腺癌肿瘤预测 2 数据集 2.1 数据集来源 数据集源于威斯康星州临床科学中心。每个记录代表一个乳腺癌的随访数据样本。这些是DR Wolberg自1984~1995随访搜集连续乳腺癌患者数据，数据仅包括那些具有侵入性 阅读全文
posted @ 2019-02-13 14:48 架构师老狼 阅读(1320) 评论(0) 推荐(0) 编辑
大数据实战手册-开发篇之spark实战案例：实时日志分析
摘要： 2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器 （java） @SuppressWarnings("static access") private void handleSocket() { lock.lock(); Writer writer = nul 阅读全文
posted @ 2019-02-13 14:45 架构师老狼 阅读(1138) 评论(1) 推荐(0) 编辑
大数据实战手册-开发篇之IO
摘要： 2.4 sparkContext IO:读 2.4.1 textFile Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt") 2. 阅读全文
posted @ 2019-02-13 14:44 架构师老狼 阅读(310) 评论(0) 推荐(0) 编辑
大数据实战手册-开发篇之RDD:计算 transform->action
摘要： 2.2 RDD:计算 transform action 2.2.1 aggregate x = sc.parallelize([2,3,4], 2)[Task不能跨分片，task数为2] neutral_zero_value = (0,1) sum: x+0 = x, product: 1 x = 阅读全文
posted @ 2019-02-13 14:43 架构师老狼 阅读(208) 评论(0) 推荐(0) 编辑
大数据实战手册-开发篇之pycharm远程开发调试
摘要： 2.1 pycharm远程开发调试 2.1.1 python版本一致 版本都保持3.6.6 root cd /usr/local/python3/bin/pip3 list 备注：[python模块导入顺序是从sys.path中取，可以代码加入到sys.path。 当前目录 PYTHONPATH 安 阅读全文
posted @ 2019-02-13 14:42 架构师老狼 阅读(228) 评论(0) 推荐(0) 编辑
大数据实战手册-安装篇之安装配置
摘要： 1.2 安装配置 1.2.1 安装jdk1.8 root vim /etc/profile export JAVA_HOME=/data/software/jdk1.8.0_191 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_ 阅读全文
posted @ 2019-02-13 14:41 架构师老狼 阅读(199) 评论(0) 推荐(0) 编辑
大数据实战手册-安装篇之基础环境
摘要： 1. 1 基础环境 1.1.1 关闭selinux 查看状态：/usr/sbin/sestatus disabled vim /etc/selinux/config 重启 reboot 1.1.2 关闭防火墙 查看防火墙规则 firewall cmd list all 查询端口是否开放 firewa 阅读全文
posted @ 2019-02-13 14:40 架构师老狼 阅读(171) 评论(0) 推荐(0) 编辑