SACKings
码龄22年
求更新 关注
提问 私信
  • 博客:82,392
    社区:8
    82,400
    总访问量
  • 43
    原创
  • 2
    粉丝
  • 13
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
加入CSDN时间: 2004-04-15
博客简介:

SACKings的博客

查看详细资料
个人成就
  • 获得420次点赞
  • 内容获得1次评论
  • 获得366次收藏
  • 代码片获得530次分享
  • 博客总排名47,006名
  • 原力等级
    原力等级
    3
    原力分
    233
    本月获得
    161
创作历程
  • 27篇
    2025年
  • 4篇
    2022年
  • 12篇
    2021年
成就勋章
TA的专栏
  • Spring
    4篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

大模型训练过程中,本质上是做填空题,那么这些填空题是如何来的?计算损失函数时它的正确答案又是怎么来的?

它学会"法国的首都是巴黎",不是因为有人 explicitly 教它,而是因为在无数文本中,这是最可能出现在"法国的首都是"后面的那个词。假设在训练初期,它给"巴黎"的概率是0.1%,给"伦敦"的概率是0.5%,给"罗马"的概率是0.3%,等等。来表示这个正确答案:这是一个长度为5万的向量,只有在"巴黎"对应的索引位置上是1,其他所有位置都是0。让我们用具体的例子来拆解这个"自我创造学习材料"的过程。输入: "法国" "的" "首都" "是"输入: "的" "首都" "是" "巴黎"“法国的首都是巴黎。
原创
博文更新于 昨天 08:39 ·
289 阅读 ·
10 点赞 ·
0 评论 ·
12 收藏

假如我现在要重头开始训练一个大模型,我怎么能训练它知道”法国的首都是巴黎“?

模型学会“法国首都是巴黎”,
原创
博文更新于 昨天 08:39 ·
372 阅读 ·
10 点赞 ·
0 评论 ·
13 收藏

大模型中神经元的数量和词汇表中的词汇的数量是什么关系?

组件角色类比数量级示例词汇表所有已知词的索引图书馆目录50,000个词词向量一个词的数值化含义一本书的实际内容每个词是一个768维的向量神经元/模型参数进行思考和计算的处理器图书馆里的研究员团队数十亿至万亿个参数(权重和偏置)所以,最核心的区别在于:词汇表大小决定了模型认识的字的多少(知识的广度)。神经元的数量(参数量)决定了模型能有多么深刻和复杂的思考(知识的深度和推理能力)。
原创
博文更新于 昨天 08:38 ·
239 阅读 ·
5 点赞 ·
0 评论 ·
14 收藏

在“法国的首都是?“ 这个例子中?比如在第一层,输入是 ”法国的首都是?“这句话经过编码的向量,那么计算Key矩阵时,K矩阵的参数是多少?这个参数是怎么跟词汇表中”巴黎“这个词产生关系?

模型的知识(如“法国首都是巴黎”)并不是硬编码在某个参数里的。而是分布式地存储在所有参数中,包括:输入词嵌入(让“法国”、“首都”、“巴黎”有正确的初始向量)。中间层的注意力权重(学会在看到“法国”和“首都”时,激活相关的信息)。输出层的词嵌入(让“需要首都”的Query与“巴黎”的Key向量高度匹配)。K矩阵的角色是双重的在中间层:它是一个转换器,用于序列内部的计算。在输出层:它是一个答案选项库,包含了所有可能的候选词。
原创
博文更新于 前天 11:02 ·
569 阅读 ·
19 点赞 ·
0 评论 ·
10 收藏

每个大模型的头数在训练前是不是就定了?比如Chat GPT4,有多少个头?

可以把这理解为:在建造大楼(训练模型)前,你就必须决定好每层要有多少根柱子(头数)和总层高(层数),这些决定了建筑的固有结构和潜力。至于柱子要用多强的混凝土(权重参数),则是在施工(训练)中不断优化的。,它们定义了模型的“骨架”或“蓝图”。一旦训练开始,这些架构就无法改变,能改变的只有模型内部的权重和偏置(即“参数”)。每个大模型的头数在训练前是不是就定了?因为这直接决定了模型参数量的计算和硬件资源的需求。但是,我们可以根据泄露的信息和通常的设计原则进行。和它的层数、总参数量一样,这属于其核心架构机密。
原创
博文更新于 前天 10:59 ·
347 阅读 ·
3 点赞 ·
0 评论 ·
8 收藏

如何理解Transformer里的多头?

表征子空间的多样性:强制让模型在不同的子空间中学习不同类型的关系。如果一个头“分心”或失败了,还有其他头可以补上。类似于卷积神经网络的多个滤波器:CNN使用不同的滤波器来提取不同特征(边缘、纹理、形状)。多头注意力也是如此,每个头就像是捕捉不同语言关系的“滤波器”。增强模型的容量和表达能力:更多的头意味着模型可以同时关注更多种类的模式,而不会让这些模式在同一个向量空间里互相干扰。
原创
博文更新于 前天 10:59 ·
734 阅读 ·
14 点赞 ·
0 评论 ·
4 收藏

大模型每一层的神经元数目跟训练参数是什么关系?

个需要训练的“参数”。在大模型中,这种由连接产生的参数数量会以惊人的规模增长,这才造就了它们数以亿计甚至万亿计的参数量。神经元数目只是决定了网络结构的“宽度”和“深度”,而参数则是在这些结构上“铺开”的可训练变量。我们以Transformer模型中最主要的两种层为例,来看看参数具体是如何产生的。假设一个微型网络:输入层3个神经元,隐藏层2个神经元,输出层1个神经元。此外,注意力层之后通常还有一个用于输出的线性层,它还有一个权重矩阵。这是参数的主要来源,其结构最能体现“连接决定参数”的概念。
原创
博文更新于 2025.12.17 ·
786 阅读 ·
12 点赞 ·
0 评论 ·
9 收藏

大模型的层数是如何确定的,像ChatGPT4的层数是多少?

大模型的层数是如何确定的,像ChatGPT4的层数是多少?这个问题,它涉及到深度学习模型设计的核心——模型架构的超参数选择。模型的“层数”不是一个通过公式计算出来的确定值,而是工程、资源和性能之间权衡的结果。层数的选择是一个结合了经验、实验和巨大计算资源探索的过程,主要依据以下几个因素:总结来说,层数是一个通过大规模实验“摸索”出来的经验值,目的是在给定的计算预算下最大化模型性能。关于这一点,需要明确一个非常重要的概念:OpenAI 没有官方公布 GPT-4 的具体架构细节,包括其精确的层数。它们被视为核心
原创
博文更新于 2025.12.17 ·
490 阅读 ·
10 点赞 ·
0 评论 ·
16 收藏

带着位置信息的词向量被组合成一个序列,输入到模型的解码器中后,第一层的Q是如何计算出来的?

第一层的Q是通过将带有位置编码的输入词向量矩阵与第一层训练好的权重矩阵W_Q相乘而计算出来的。输入:词嵌入 + 位置编码参数:预训练的权重矩阵 W_Q操作:矩阵乘法结果:每个位置都有一个Query向量,代表该位置想要从其他位置获取什么样的信息。这个过程在每一层都会重复,但每一层都有自己独立的 W_Q, W_K, W_V 矩阵,使得网络能够在不同的抽象层次上学习不同的"提问"和"回答"模式。这正是Transformer能够如此深刻地理解语言上下文的原因。
原创
博文更新于 2025.12.17 ·
693 阅读 ·
14 点赞 ·
0 评论 ·
10 收藏

在使用大模型时,当我输入一个问题时,它又是怎么找到答案的?

当我们输入一个问题时,模型并不是在一个巨大的数据库里“查找”答案,而是在“计算”出一个答案。它利用从训练数据中学到的“世界模型”,为你动态地、合乎逻辑地编织出一个回答。的,这意味着它一次只生成一个词,并且将新生成的词作为下一步的输入。在使用大模型时,当我输入一个问题时,它又是怎么找到答案的?输入序列变为 "法国的首都是?当你输入“法国的首都是?所以,当你向大模型提问时,你实际上是在。用户输入: "法国的首都是?最终输出: "法国的首都是巴黎"下面我们来详细讲解图中的每一步。输出"Paris"的概率最高。
原创
博文更新于 2025.12.17 ·
703 阅读 ·
11 点赞 ·
0 评论 ·
18 收藏

如果我手头现在有一本书,需要训练大模型读懂这本书,那么实际的训练操作是什么?

你不是在创造一个全新的大脑,而是在用一个高度专业化的知识库去“精雕细琢”一个已经具备基本智力的模型,使其成为某个特定领域的专家。用一本书训练一个大模型,虽然在计算上可能不现实(除非你有超算中心),但从原理上,这个过程清晰地展示了现代大模型训练的完整流程。(称为“步”或“轮”),直到模型在书的内容上表现良好,损失值下降到可接受的水平。如果我手头现在有一本书,需要训练大模型读懂这本书,那么实际的训练操作是什么?这是最核心的决策点,取决于你的目标和计算资源。总而言之,用一本书训练模型,本质上是一个。
原创
博文更新于 2025.12.17 ·
750 阅读 ·
18 点赞 ·
0 评论 ·
13 收藏

实际训练或使用大模型时,Query, Key, Value怎么定义?

权重矩阵:就像三个不同的**“提问模板”“索引制作规则”** 和“内容提炼指南”。模型通过阅读全世界的文本(训练),学会了这些模板、规则和指南应该长什么样。输入词向量X:就像是原始的文本材料。计算 Q, K, V:就是研究员根据他学会的“模板”和“规则”,针对眼前的“原始材料”,提出具体的问题、制作索引卡和提炼出内容卡片。注意力计算:就是研究员拿着他的问题,去翻阅所有的索引卡,找到最相关的几张,然后把这些内容卡片上的信息融合起来,形成自己的理解。所以,您不需要手动定义 Q, K, V。
原创
博文更新于 2025.12.16 ·
446 阅读 ·
15 点赞 ·
0 评论 ·
15 收藏

大模型词的分割是怎么定的?

大模型词的分割是怎么定的?比如之前文章中的例子中,为什么把“人工智能”放一起,而不是分割为两个词“人工” 和“智能”?这个问题,它直接命中了自然语言处理中的一个关键挑战:分词。为什么是“人工智能”而不是“人工”和“智能”,这背后并没有一个唯一正确的“上帝法则”,而是不同方法和权衡下的结果。简单来说,分词策略的选择是在 “语义完整性” 和 “灵活性” 之间做权衡。让我们来拆解主流的几种分词方法,您就能明白其中的道理了。子词分词法完美地平衡了词级和字符级的优点,它成为了当今所有主流大模型(如BERT、GPT、L
原创
博文更新于 2025.12.16 ·
554 阅读 ·
8 点赞 ·
0 评论 ·
18 收藏

大模型训练时原始的文本资料是如何变成词向量的?

将原始文本变成词向量的过程,通常被称为。:当模型在完成它的主要任务(如预测下一个词、完形填空)时,它会通过。首先,我们需要将连续的文本切分成模型能够处理的基本单元(称为。这个过程经历了从简单到复杂,从“无知”到“有语义”的演进。分词后,我们会得到一个包含所有可能出现的基本单元的。大模型训练时原始的文本资料是如何变成词向量的?算法,不断地调整这个嵌入表格里的每一个数字。它是整个深度学习模型能够理解语言的基础。下面我们来详细拆解图中的每一个步骤。所以,词向量不是人为设计好的,而是。的(是一些随机的小数)。
原创
博文更新于 2025.12.16 ·
745 阅读 ·
10 点赞 ·
0 评论 ·
10 收藏

Transformer架构的原理是什么?

对于“Thinking”这个词,它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”,它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型(如 GPT、BERT、T5 等)的基石。正是因为这些原理上的优势,Transformer才取代了RNN和CNN,成为了当今AI大模型时代的统治性架构。的(打乱输入顺序,输出可能不变),它没有内置的位置概念。Q·K 然后Softmax。
原创
博文更新于 2025.12.15 ·
727 阅读 ·
5 点赞 ·
0 评论 ·
11 收藏

如果生成式模型也能理解,那为什么还需要专门的理解类模型? 反之,理解类模型能否生成?

如果生成式模型也能理解,那为什么还需要专门的理解类模型?反之,理解类模型能否生成?地完成一项专门的“理解”任务时,一个精炼的专用理解模型仍然是更优的选择。这是一个极其深刻的问题,它触及了当今AI领域一个非常核心的权衡。理解类模型的“生成”更像是。让我们来彻底拆解这个问题。,而非真正的“创作”。
原创
博文更新于 2025.12.15 ·
771 阅读 ·
21 点赞 ·
0 评论 ·
11 收藏

LLM生成式模型和理解类模型各自是什么? 有什么不同?

(尤其是GPT系列)展现出了强大的通用性和惊人的涌现能力,它已经成为当前AI发展的主赛道。人们发现,当一个生成模型足够强大时,它也能通过指令来完成很多理解类任务(比如你可以命令它“分析这段话的情感”)。正在成为一个集大成者,它既能完成复杂的生成任务,也能通过其深厚的“理解”基础,出色地完成许多判别式任务。:一个优秀的生成式模型,必须首先很好地理解你的指令(提示)和上下文,才能生成相关的内容。LLM生成式模型和理解类模型各自是什么?生成式模型和理解类模型代表了两种不同的目标和能力。:这个分类不是绝对的。
原创
博文更新于 2025.12.14 ·
503 阅读 ·
24 点赞 ·
0 评论 ·
13 收藏

什么是大模型(LLM)?

大语言模型 = Transformer架构 + 海量互联网文本 + 千亿级参数 + 巨额算力最终产出:一个能够进行对话、翻译、写作、编程、推理的通用语言系统。
原创
博文更新于 2025.12.14 ·
453 阅读 ·
13 点赞 ·
0 评论 ·
7 收藏

神经网络的层是什么?

一个层就是一组神经元的集合。处于网络中的同一深度。接收相同来源的输入。执行完全相同类型的操作。信息从输入层开始,依次经过一个又一个的层,每一层都对信息进行一番处理和提炼,直到最终从输出层产生结果。层是神经网络的基本组织单位,它将功能相似的神经元分组。网络通过多层堆叠,实现了对数据从低级特征到高级特征的层级化提取和理解。不同的层类型(输入、隐藏、输出)扮演着不同的角色,共同协作完成从原始输入到最终输出的复杂映射。简单来说,没有层,神经网络就是一盘散沙;
原创
博文更新于 2025.12.13 ·
854 阅读 ·
15 点赞 ·
0 评论 ·
11 收藏

多个神经元的不同连接方式是不是就构成了不同的神经网络架构?

设计一个神经网络架构,本质上就是在设计一套“神经元连接规则”。这些规则决定了:信息流动的路径:是前向、循环、还是任意连接?信息的聚合方式:是聚合所有上游信息、局部信息,还是只聚合邻居信息?网络的参数效率:是全连接(参数多)还是局部连接/参数共享(参数少)?网络的适用领域:这种连接规则最适合处理什么类型的数据?(图像、序列、图?因此,“连接方式”是区分不同神经网络架构最根本、最重要的特征。深度学习的创新,很大程度上就是神经元连接方式的创新。
原创
博文更新于 2025.12.13 ·
1278 阅读 ·
43 点赞 ·
0 评论 ·
7 收藏
加载更多