2018 年 3月随笔档案 - biyangqiang

书籍-大数据技术入门笔记

摘要：0.前沿 1.大数据时代 2.大数据软件架构 MapReduce进程示例 PS:jobTracker:是主节点，只有一个，管理所有的作业。老板 tasktracker:负责maptask、reducetask、shuffle等操作。包工头、包身工 sort会对键值进行排序，shuffle会把键值相阅读全文

posted @ 2018-03-29 10:04 biyangqiang 阅读(2049) 评论(0) 推荐(1) 编辑

day28Spark

摘要：PS:因为Spark是用内存运行的，非常快 PS: 1.下面就是将conf的spark-env.template改变成spark-env.sh,并添加红色部分 2.修改slaves文件添加从设备启动程序 PS:ui 端口是8080 1. 执行Spark程序 1.1. 执行第一个spark程序 / 阅读全文

posted @ 2018-03-28 16:05 biyangqiang 阅读(189) 评论(0) 推荐(0) 编辑

day29akka

摘要：实现项目 1.创建Maven项目 PS:通常编译好的话，使用插件的package命令导包，放大linux执行。 PS : Master PS:Worker 下午没学阅读全文

posted @ 2018-03-27 16:16 biyangqiang 阅读(107) 评论(0) 推荐(0) 编辑

小程序开发学习

摘要：1.开发工具 https://mp.weixin.qq.com/debug/wxadoc/dev/devtools/download.html 下载开发工具 1.1注册小程序申请帐号点击 https://mp.weixin.qq.com/wxopen/waregister?action=step 阅读全文

posted @ 2018-03-23 16:37 biyangqiang 阅读(176) 评论(0) 推荐(0) 编辑

day25scala

摘要：Scala的安装配置 PS:首先必须要有java环境 1.安装scala的2.10.5 PS:编写scala不能用这么笨的方法，需要专业的工具，安装插件如下图 https://blog.csdn.net/iamlihongwei/article/details/72783459?locationNu 阅读全文

posted @ 2018-03-22 20:31 biyangqiang 阅读(141) 评论(0) 推荐(0) 编辑

day21-22Redis Mahout

摘要：day22 阅读全文

posted @ 2018-03-21 21:44 biyangqiang 阅读(135) 评论(0) 推荐(0) 编辑

day39KNN算法和其他的算法

摘要：PS: 1.现在明白为什么其他的同学一直都在做数字图像处理，matlab这种东西了，因为机器学习，其他底层主要是做预先处理，然后调用某一个算法 2.感觉knn算法就是根据先验数据计算下一个跟自己一样不一样 1. kNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN 阅读全文

posted @ 2018-03-20 17:28 biyangqiang 阅读(209) 评论(0) 推荐(0) 编辑

day39机器学习

摘要：2 Numpy快速上手 2.1. 什么是Numpy Numpy是Python的一个科学计算的库主要提供矩阵运算的功能，而矩阵运算在机器学习领域应用非常广泛 Numpy一般与Scipy、matplotlib一起使用。虽然python中的list已经提供了类似于矩阵的表示形式，不过numpy为我们提阅读全文

posted @ 2018-03-20 13:52 biyangqiang 阅读(171) 评论(0) 推荐(0) 编辑

day18-19 Storm

摘要：课程介绍课程名称：Storm是什么课程目标：通过该课程的学习能够了解离线计算与流式计算的区别、掌握Storm框架的基础知识、了解流式计算的一般架构图。课程大纲： 1、离线计算是什么？ 2、流式计算是什么？ 3、流式计算与离线计算的区别？ 4、 Storm是什么？ 5、 Storm与Ha 阅读全文

posted @ 2018-03-17 17:33 biyangqiang 阅读(169) 评论(0) 推荐(0) 编辑

day16 Hbase day17

摘要：1. hbase简介（是基于HDFS.相当于是一个缓存层） 1.1. 什么是hbase（列式的分布式数据库） HBASE是一个高可靠性、高性能、面向列（以前学习的Mysql都是面向行的）、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的阅读全文

posted @ 2018-03-15 21:05 biyangqiang 阅读(130) 评论(0) 推荐(0) 编辑

day39Python

摘要：1.Python简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 l Python是一种解释型语言：这意味着开发过程中没有了编译这个阅读全文

posted @ 2018-03-14 15:09 biyangqiang 阅读(102) 评论(0) 推荐(0) 编辑

day12Flume、azkaban、sqoop

摘要：1.PS:Hive中好少有update这个方法，因为他主要是用来批量数据的处理分析。 2.PS:软连接和硬连接的区别软连接就是我们普通和Windows系统一样的快捷方式，她也是一个文件硬连接就是他是一个inode，对文件会有引用，删除这个快捷方式不会删除文件。 3.pig其实和hive一样，只不阅读全文

posted @ 2018-03-08 20:40 biyangqiang 阅读(188) 评论(0) 推荐(0) 编辑

帮路遥做的批量处理二维码图片

摘要：主要代码，其他代码参考https://www.cnblogs.com/xz-luckydog/p/6402568.html docker run -d -p 8085:8082 --name=qr_server -v /opt/data:/opt/data 192.168.1.129:5000/qr 阅读全文

posted @ 2018-03-05 13:53 biyangqiang 阅读(317) 评论(0) 推荐(0) 编辑

biyangqiang

03 2018 档案