节省时间：AI 模型靠谱下载方案汇总
摘要：这篇文章，想分享下我日常是如何下载模型的，包括下载来源和工具使用细节，希望对折腾模型的你也有帮助。 也希望开源和 AI 领域的研究者、从业者在做技术调研和落地实践的时候，都能节约一些时间。 写在前面 之前写了很多模型相关的文章[1]，或多或少都涉及到模型的下载。因为模型文件都比较大，所以相对稳定快速
阅读全文
posted @ 2024-05-11 11:08
文章分类 - BigDATA
Retrieval approaches,Storm,Spark Streaming,Data storage,Hive,Deep Learning,YARN,Mesos，Foreground display program
大语言模型下载站
摘要：大语言模型下载站HuggingFace.co资源镜像下载网站
阅读全文
posted @ 2023-09-19 11:57
［MySQL学习］常用SQL语句大全总结
摘要：常用SQL语句大全总结 SQL是(Structured Query Language)结构化查询语言的简称，下面赵一鸣随笔博客从基础知识、判断对象和应用技巧等方面，介绍了SQL的应用方法。 基础 创建数据库 创建之前判断该数据库是否存在if exists (select * from sysdata
阅读全文
posted @ 2020-08-04 23:06
MySQL常用SQL语句大全
摘要：零、用户管理： 1、新建用户： >CREATE USER name IDENTIFIED BY 'ssapdrow'; 2、更改密码： >SET PASSWORD FOR name=PASSWORD('fdddfd'); 3、权限管理 >SHOW GRANTS FOR name; //查看name用
阅读全文
posted @ 2020-08-04 23:04
SQL语句大全，所有的SQL都在这里
摘要：一、基础 1、说明：创建数据库CREATE DATABASE database-name2、说明：删除数据库drop database dbname3、说明：备份sql server 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'tes
阅读全文
posted @ 2020-08-04 22:55
【FastDFS】FastDFS 分布式文件系统的安装与使用，看这一篇就够了！！
摘要：【FastDFS】FastDFS 分布式文件系统的安装与使用，看这一篇就够了！！ 作者 | 冰河团队 来源 | cnblogs.com/binghe001/p/13222361.html 写在前面 有不少小伙伴在实际工作中，对于如何存储文件（图片、视频、音频等）没有一个很好的解决思路。都明白不能将文
阅读全文
posted @ 2020-07-05 19:33
PHP获取每天时间戳,每周时间戳,每月时间戳和每年时间戳
摘要：https://github.com/wangyang0210/TimeStamp/tree/master 只是一个思路,后面还会不断的优化,如果您有更好的方法和思路请在评论中写出,我会及时更新并标注来源 1|0封装的方法 <?php /** * 得到对应的时间戳 * @method getTime
阅读全文
posted @ 2019-07-10 11:22
MySQL优化---多表查询优化
摘要：整理自互联网 一、多表查询连接的选择： 相信这内连接，左连接什么的大家都比较熟悉了，当然还有左外连接什么的，基本用不上我就不贴出来了。这图只是让大家回忆一下，各种连接查询。 然后要告诉大家的是，需要根据查询的情况，想好使用哪种连接方式效率更高。（这是技术文） 二、MySQL的JOIN实现原理在MyS
阅读全文
posted @ 2019-07-04 16:43
Hadoop系列之（一）：Hadoop单机部署
摘要：Hadoop系列之（一）：Hadoop单机部署
阅读全文
posted @ 2019-02-21 14:06
HDFS小文件问题及解决方案
摘要：小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间（见参考资料[1][4][5]）。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。
阅读全文
posted @ 2019-01-03 10:38
Hadoop添加节点的方法
摘要：1. 先在slave上配置好环境，包括ssh，jdk，相关config，lib，bin等的拷贝；
2. 将新的datanode的host加到集群namenode及其他datanode中去；
3. 将新的datanode的ip加到master的conf/slaves中；
4. 重启cluster,在cluster中看到新的datanode节点；
5. 运行bin/start-balancer.sh，这个会很耗时间
阅读全文
posted @ 2019-01-03 10:36
HBase 常用Shell命令
摘要：两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> list
阅读全文
posted @ 2019-01-03 10:32
Spring Cloud 微服务架构学习笔记与示例
摘要：Spring Cloud作为第二代微服务的代表性框架，已经在国内众多大中小型的公司有实际应用案例。许多公司的业务线全部拥抱Spring Cloud，部分公司选择部分拥抱Spring Cloud。例如，拍拍贷资深架构师杨波老师就根据自己的实际经验以及对Spring Cloud的深入调研，并结合国内一线互联网大厂的开源项目应用实践结果，认为Spring Cloud技术栈中的有些组件离生产级开发尚有一定距离，最后提出了一个可供中小团队参考的微服务架构技术栈，又被称为“中国特色的微服务架构技术栈1.0”：
阅读全文
posted @ 2018-12-20 16:32
Apache Software Foundation Distribution Directory
摘要：The directories linked below contain current software releases from the Apache Software Foundation projects. Older non-recommended releases can be fou
阅读全文
posted @ 2018-12-11 15:42
大数据分析神兽麒麟(Apache Kylin)
摘要：1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做数据分析依然存在诸多障
阅读全文
posted @ 2018-12-11 15:37
打造实时数据集成平台——DataPipeline基于Kafka Connect的应用实践
摘要：作者：DataPipeline数见科技CTO 陈肃 导读：传统ETL方案让企业难以承受数据集成之重，基于Kafka Connect构建的新型实时数据集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四场活动上，DataPipeline CTO陈肃分享了DataPipeli
阅读全文
posted @ 2018-12-04 10:46
