祈欢

摘要： 什么是Spark Spark 是一种计算框架，是与mapreduce 不一样的计算框架。他与Hadoop mapreduce相比具有以下优势： 1） Spark 通过将中间结果缓存在内存，而不是磁盘，因此很适合于多阶段的作业，如需多次迭代的机器学习。而 mapreduce 则将中间结果每次都存到磁盘 阅读全文

摘要： 安装配置spark环境出错 参照网上解决方法配置python未果,之后将spark版本更换为2.4.7成功 之后是根据经验贴的配置idea插件和环境,参考:https://blog.csdn.net/aisi5656/article/details/101330394?utm_medium=dist 阅读全文

摘要： 使用VGG模型进行测试 # 模型读取 import scipy.io import numpy as np import os import scipy.misc import matplotlib.pyplot as plt import tensorflow as tf def _conv_la 阅读全文

摘要： 问题: 更改如下设置,具体原因我猜想是pycharm的tool window里的图像显示不支持动态显示图像 之后运行: 阅读全文

摘要： Spark最初的设计目标是使数据分析更快——不仅运行速度快，也要能快速、容易地编写程序。为了使程序运行更快，Spark提供了内存计算，减少了迭代计算时的IO开销；而为了使编写程序更为容易Spark使用简练、优雅的Scala语言编写，基于Scala提供了交互式的编程体验。虽然，Hadoop已成为大数据 阅读全文

摘要： 本书从性能、可用性、伸缩性、扩展性、安全性几个网站核心架构要素切入，全面地介绍了这些核心要素面临的问题域、理论基础及应对方案;对这几个方面进行系统地分析，结合目前成熟的解决方案，以及作者自己的工作经验，理论联系实际，踏实细致地提出合理的解决方案，非常值得我们学习和借鉴。 1.大型网站架构演化 大型网 阅读全文

摘要： 任务： 继续TensorFlow的学习：卷积神经网络 问题： 由报错位置可知是参数的问题，‘wc2’设置有误，卷积的参数应该是[3,3,64,128],而不是[3,3,64,64] 该方法的使用发生了改变，需要改成错误提示中的形式 源代码： import tensorflow as tf from 阅读全文

摘要： Spark Spark的安装与使用 利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+Maven） 问题： spark安装时出现的情况，当时配置文件已经进行配置了但还是加载不了相应的jar包，最终发现错误原因是 spark.env.sh文件在复制的时候多了一个空格 阅读全文

摘要： TensorFlow 卷积神经网络模型架构 卷积神经网络模型参数 Spark Spark的设计与运行原理 问题: TensorFlow的视频教程里偏于实践，好多概念性的东西，比如各种无法理解，需要在这些不懂的方面进行了解。 阅读全文

摘要： TensorFlow 神经网络模型架构 训练神经网络 Scala 数据结构：继承，特质，模式匹配 函数式编程：函数定义和高阶函数，针对集合的操作 问题 1.前两天还能运行的程序今天就不行了 按照网上的方法检查环境变量 没有问题 重启Pycharm解决 2. 错误提示中已经给出，只能使用命名参数的方式 阅读全文