上一页 1 ··· 4 5 6 7 8 9 下一页
2019年10月8日
scala集合和Java集合对应转换操作
摘要： 用Scala编码的时候，经常会遇到scala集合和Java集合互相转换的case, scala.collection.Iterable <=> java.lang.Iterable scala.collection.Iterable <=> java.util.Collection scala.co 阅读全文
posted @ 2019-10-08 17:50 糖醋排骨加辣椒 阅读(1838) 评论(0) 推荐(0) 编辑
scala中使用redis
摘要： redis命令参考网址：http://doc.redisfans.com/index.html 创建redis集群： key键操作： list列表操作： 阅读全文
posted @ 2019-10-08 17:46 糖醋排骨加辣椒 阅读(4034) 评论(0) 推荐(1) 编辑
2019年9月30日
爬虫调研
摘要： 一、 爬虫流程 发送请求à获得页面à解析页面à下载内容à储存内容 二、 网络爬虫类型 1. 通用网络爬虫 含义 爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。 结构 包括页面爬行模块、页面分析模块、链接过滤模块、页面数据库、URL队列、初始URL集合 阅读全文
posted @ 2019-09-30 14:19 糖醋排骨加辣椒 阅读(423) 评论(0) 推荐(0) 编辑
hadoop命令
摘要： 启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 Hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/w 阅读全文
posted @ 2019-09-30 13:29 糖醋排骨加辣椒 阅读(216) 评论(0) 推荐(0) 编辑
IDEA打jar包
摘要： 1.配置Intellij idea -->file -->project structure -->artifacts -->+ -->jar -->from ... >main class选择主类 -->ok(spark-assembly.jar包比较大，可以删除，大数据平台已经安装了) -->o 阅读全文
posted @ 2019-09-30 13:24 糖醋排骨加辣椒 阅读(400) 评论(0) 推荐(0) 编辑
spark.mllib
摘要： import org.apache.spark.mllib.recommendation.{ALS,MatrixFactorizationModel,Rating} ALS:最小二乘法求解矩阵分解问题的最优化方法。其实，就是补充二维矩阵中缺失的打分。 输入：显性数据-train,隐形数据-train 阅读全文
posted @ 2019-09-30 13:21 糖醋排骨加辣椒 阅读(210) 评论(0) 推荐(0) 编辑
scala知识点
摘要： 数据类型 整型，浮点型，字符，字符串，布尔型，Unit无值，Null空值，Nothing：其他所有类型的子类型Any:所有其他类的超类AnyRef:所有引用类的基类 数据结构 字符串String，StringBuffer:可变，每次操作都是对其本身进行操作append方法把字符添加到缓冲区的末端in 阅读全文
posted @ 2019-09-30 13:20 糖醋排骨加辣椒 阅读(180) 评论(0) 推荐(0) 编辑
scala集合排序
摘要： 1、sortedval a = List(1,4,2,3)升序 val as = as.sortedas:List[Int] = List(1,2,3,4)逆序val asr = as.sorted.reverseasr:List[Int] = List(4,3,2,1) 2、sortByval b 阅读全文
posted @ 2019-09-30 13:17 糖醋排骨加辣椒 阅读(1752) 评论(0) 推荐(0) 编辑
redis命令
摘要： 1.redis连接命令redis-cli -h IP -p 端口号 -c -a 密码 2.redis里查看模式匹配key值>KEYS Rec_Content_I-I* 阅读全文
posted @ 2019-09-30 13:13 糖醋排骨加辣椒 阅读(100) 评论(0) 推荐(0) 编辑
ubuntu安装pycharm
摘要： 1． 安装包pycharm-community-2018.1.2.tar.gz 2． 解压tar –zxvf pycharm-community-2018.1.2.tar.gz 3． 进入解压生成的文件夹：cd pycharm-community-2018.1.2/ 4． cd bin 5． sh 阅读全文
posted @ 2019-09-30 13:07 糖醋排骨加辣椒 阅读(373) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 下一页