摘要： 上一篇：《研发LLM模型，如何用数值表示人类自然语言？》 序言：人工智能数据工程师在采集数据时往往会使用不同的工具，因此最终得到的原始数据结构各不相同。市场上已知的数据采集和分析工具所输出的文件格式大致有几种。前面我们介绍了如何从谷歌的TFDS中提取支持的格式数据，今天将为大家讲解两类更常用的数据集 阅读全文

摘要： 今天，我将介绍一种简单的方法，帮助大家从各种网站上收集数据，搭建一个能够像人在浏览器中操作的网页爬虫。这种爬虫甚至可以在 Upwork 等平台上独立完成一些网页抓取的自由职业任务。 自2024年以来，随着 AI 的发展，网页抓取发生了巨大的变化。以前，大公司如亚马逊或沃尔玛为了保持价格竞争力，必须花 阅读全文

摘要： 上一篇：《人工智能——自然语言处理简介》 序言：人工智能大语言模型（LLM）如何理解人类的自然语言？这个过程的核心在于将文本转化为计算机能处理的数值形式，经过计算，最终达到对语言的理解。起初，我们只是简单的随便用一个数字来表示一个单词或一个词根，但随着研究深入，我们发现，不同的数值表达方式能显著提高 阅读全文

摘要： 上一篇：《人工智能模型训练中的数据之美——探索TFRecord》 序言：自然语言处理（NLP）是人工智能中的一种技术，专注于理解基于人类语言的内容。它包含了编程技术，用于创建可以理解语言、分类内容，甚至生成和创作人类语言的新作品的模型。在接下来的几章中，我们将会探讨这些技术。此外，现在有许多利用 N 阅读全文

摘要： 最近，美国新闻集团起诉了知名 AI 搜索引擎 Perplexity AI。也许你会想，这不就是又一起“AI 惹官司”吗？其实，这次情况不太一样，甚至可能会改变我们未来上网的方式！ 争议的焦点是什么？是未来的 AI 搜索——即那些能从全网总结信息的“AI 答题王”。这些 AI 不只是简单的聊天机器人， 阅读全文

摘要： 序言：无论 OpenAI 出于何种原因，用户的期待和认可都是关键。这次 o1 模型的泄露事件意外引发热议，也让用户有机会一窥 o1 的强大潜力。虽然 OpenAI 已推出 o1-preview 和 o1-mini 供用户试用，性能有所提升，但仍未展现最终模型的完整能力。完整版本的意外泄露让人们看到了 阅读全文

摘要： 上一篇：《构建人工智能模型基础：TFDS和Keras的完美搭配》 序言：在人工智能模型的训练过程中，如何高效管理和处理大量数据是一个重要的课题。TensorFlow 的 TFRecord 格式为大规模数据存储和处理提供了一种灵活且高效的解决方案。在本节知识中，我们将介绍如何利用 TFRecord 结 阅读全文

摘要： 上一篇：《数据工程师，转型人工智能岗位的理想时空通道》 序言：本节将带您深入探索 TensorFlow 提供的关键工具和方法，涵盖数据集管理和神经网络模型的构建与训练。在现代人工智能框架中，TensorFlow 的数据集接口 (TensorFlow Datasets, 简称 TFDS) 与 Kera 阅读全文

摘要： 序言：全球顶级的人工智能资讯网站都是以英文语言为主，如果大家看不懂，没关系，作者教大家一个技巧，用人工智能直接帮您看，然后直接让AI解析出您关注的重点内容给您，如果想了解详细信息，让人工智能一字不漏的翻译给你，就这么简单粗暴。 在瞬息万变的人工智能领域，获取最新资讯、紧跟行业发展是保持竞争力的关键。 阅读全文

摘要： 序言：数据工程师是从传统软件工程师向人工智能方向转型的最佳切入点之一。数据工程师的职责通常是为人工智能项目收集和准备高质量的训练数据集，包括从互联网上获取公开数据、或自行采集、清洗、整理数据集。尽管看似简单，但数据工程师的工作至关重要，因为数据质量直接影响模型的性能，数据准备不当可能导致模型开发失败 阅读全文