白话机器学习
码龄16年
求更新 关注
提问 私信
  • 博客:1,601,210
    社区:1,020
    问答:32
    动态:74,171
    视频:240
    1,676,673
    总访问量
  • 1,458
    原创
  • 1,491
    排名
  • 18,423
    粉丝
  • 420
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:吉林省
加入CSDN时间: 2010-05-19

个人简介:10年IT从业经验,人工智能高级算法工程师、CSDN博客专家、阿里云专家、《2023博客之星马龄赛道11-15年》吉林第一名、《2023博客之星,城市赛道》长春TOP1

博客简介:

白话机器学习

查看详细资料
个人成就
  • 一种异系统邻区选择方法、装置专利发明者
  • 领域专家: 算法与数据结构技术领域
  • 获得8,161次点赞
  • 内容获得826次评论
  • 获得14,106次收藏
  • 代码片获得10,624次分享
  • 原力等级
    原力等级
    9
    原力分
    9,408
    本月获得
    12
创作历程
  • 58篇
    2025年
  • 306篇
    2024年
  • 919篇
    2023年
  • 45篇
    2022年
  • 2篇
    2014年
  • 254篇
    2013年
成就勋章
TA的专栏
  • 白话机器学习
    付费
    167篇
  • 100天玩转python语言
    付费
    78篇
  • 数据结构算法
    付费
    82篇
  • 算法面试精选汇编
    111篇
  • 大模型
    43篇
  • 计算机课程毕设源码
    196篇
  • 毕业设计
    182篇
  • javascript简易教程
    142篇
  • 算法与数据结构面试宝典
    93篇
  • pyhton数据分析及可视化-从入门到实践
    12篇
  • Python Flask
    11篇
  • PythonFlask
    9篇
  • Linux源码剖析
    75篇
  • Go语言面试宝典
    28篇
  • 深度学习
    8篇
  • c++
    45篇
  • c++面试宝典
    50篇
  • MFC
    17篇
  • windows
    25篇
  • 孙鑫VC++学习笔记
    11篇
  • Win32
    12篇
  • PE结构
    11篇
  • More Effective C++
    17篇
  • Effective STL
    4篇
  • 安全
    12篇
  • Visual Studio
    3篇
  • 模板与泛型编程
    2篇
  • javascript
    78篇

TA关注的专栏 3

TA关注的收藏夹 0

TA关注的社区 13

TA参与的活动 5

TA的推广
兴趣领域 设置
  • Python
    pythonscikit-learn
  • 数据结构与算法
    算法数据结构
  • 大数据
    mysql
  • 后端
    nginxrabbitmqflaskspring boot爬虫架构
#玩转CSDN付费资源项目#
详细介绍了如何提升原力等级,如何批量自动化运营CSDN的付费资源项目,助力获取被动收益。详情参见我的文章 https://zhuyuan11.blog.csdn.net/article/details/131864213
创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

32人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

大模型微调之Soft prompts(五)Multitask prompt tuning

摘要:2023年5月提出的多任务提示调整(MPT)方法通过两阶段学习实现跨任务提示共享。第一阶段通过多任务训练提炼通用提示矩阵,第二阶段通过Hadamard积将通用提示与任务特定低秩矩阵结合来适应新任务。该方法可类比为学生先掌握通用解题技巧,再根据具体学科特点进行针对性复习。相比为每个任务单独学习提示的传统方法,MPT实现了提示参数的高效共享与适配。
原创
博文更新于 2025.11.06 ·
316 阅读 ·
4 点赞 ·
0 评论 ·
5 收藏

大模型微调之Soft prompts(四)P-Tuning

P-Tuning是一种改进NLU任务的Soft prompts方法,通过可训练的嵌入张量和提示编码器优化提示参数。包含两个版本:P-Tuning v1(2021)使用BiLSTM/MLP编码器,但复杂任务表现欠佳;P-Tuning v2(2023)在每层加入可训练提示,采用多任务学习,性能媲美全参数微调。其核心创新是通过BiLSTM/MLP赋予decoder模型encoder特性,无需改变模型结构。
原创
博文更新于 2025.11.06 ·
242 阅读 ·
4 点赞 ·
0 评论 ·
4 收藏

大模型微调之Soft prompts(三)Prefix-Tuning

2021年提出的Prefix-Tuning是一种参数高效的微调技术,通过在所有层输入前添加可训练的前缀向量来适配下游任务,而不改变模型原有参数。与仅在嵌入层添加提示的Prompt Tuning不同,Prefix-Tuning将前缀参数插入到模型的每一层,使模型能更灵活地适应特定任务。这种方法只需更新少量参数,显著减少了计算资源和存储需求,同时在文本生成等任务中表现出色,实现了多任务适配而无需保存完整模型副本。
原创
博文更新于 2025.11.06 ·
296 阅读 ·
8 点赞 ·
0 评论 ·
4 收藏

大模型微调之Soft prompts(二)Prompt Tuning

摘要:2021年,Prompt Tuning作为一种新兴的微调方法引发关注。该方法通过在输入中添加可训练的提示文本(prompt tokens)来适配下游任务,无需更新预训练模型主体参数(如GPT-3、T5等)。其核心优势在于参数高效性——仅需优化提示参数,既降低计算成本,又能保持模型性能。研究显示,随着模型规模扩大,Prompt Tuning效果更显著。这一技术标志着从全参数微调到轻量化适配的重要转变。(149字)
原创
博文更新于 2025.11.06 ·
349 阅读 ·
13 点赞 ·
0 评论 ·
1 收藏

大模型微调之Soft prompts(一)概述

本文介绍了高效训练大型预训练语言模型的方法——Prompting技术及其变体。Prompting通过文本提示调整冻结的预训练模型,避免了为每个任务单独训练模型的高成本。重点讨论了Soft prompts(可学习的连续向量)及其主流方法:Prompt Tuning(仅更新提示词嵌入)、Prefix-Tuning(在所有层插入提示)、P-Tuning(针对NLU任务优化提示编码器)以及Multitask Prompt Tuning(学习通用提示再任务适配)。这些方法在保持模型参数不变的情况下,通过优化提示参数实
原创
博文更新于 2025.10.27 ·
482 阅读 ·
5 点赞 ·
0 评论 ·
4 收藏

大模型微调框架(三)LLama-Factory

LLaMA Factory是一个强大的大模型微调工具,提供用户友好的WebUI界面,支持训练、评估、对话和导出功能。它兼容多种主流大模型,集成多种微调方法(如LoRA、全参数微调等)和训练算法(PPO、DPO等)。该工具支持多种量化技术、推理引擎,并可与TensorBoard等实验面板集成,还提供API服务、模型评测和Docker支持。无论是初学者还是高级用户,都能通过LLaMA Factory轻松实现大模型的微调和部署。
原创
博文更新于 2025.10.27 ·
488 阅读 ·
23 点赞 ·
0 评论 ·
8 收藏

大模型微调框架(二)Huggingface-PEFT

PEFT(参数高效微调)是一种在资源受限环境下微调大型预训练模型的技术,通过仅调整少量参数实现接近全模型微调的性能。PEFT库与Hugging Face生态系统集成,提供LoRA等高效微调方法。使用流程包括安装库、配置方法、加载模型、训练保存模型及推理。该方法显著降低了大型语言模型的训练和存储成本,使消费级硬件也能运行复杂模型。PEFT支持保存至本地或Hugging Face Hub,并简化了推理流程。
原创
博文更新于 2025.10.27 ·
464 阅读 ·
5 点赞 ·
0 评论 ·
7 收藏

大模型微调之Adapters(一)概述

本文综述了大模型微调中的Adapter方法,重点介绍了LoRA及其变种。Adapter通过在预训练模型中添加少量可训练参数,实现高效微调而不改变原模型参数。其中,LoRA通过低秩分解表示权重更新,QLoRA结合4位量化进一步降低内存占用,AdaLoRA则采用自适应参数分配策略。这些方法都能在保持模型性能的同时大幅减少计算资源需求,为大规模模型微调提供了实用解决方案。该系列后续将深入探讨各类Adapter技术细节。
原创
博文更新于 2025.10.27 ·
555 阅读 ·
23 点赞 ·
0 评论 ·
13 收藏

大模型微调之Adapters(四)AdaLoRA

AdaLoRA是一种改进的LoRA技术,通过动态分配参数预算提升微调效率。它利用奇异值分解评估不同权重矩阵的重要性,自适应调整参数更新量:重要部分使用更多参数,次要部分减少更新。这种方法在保持总参数量不变的前提下优化性能,类似于根据学生科目表现分配辅导时间。相比传统方法,AdaLoRA能更智能地在关键位置进行参数调整,既节省资源又提升模型效果。其核心思想是将有限的参数预算优先分配给对任务更重要的模型部分。
原创
博文更新于 2025.10.27 ·
260 阅读 ·
3 点赞 ·
0 评论 ·
4 收藏

大模型微调之Adapters(三)QLoRA

QLoRA是一种高效微调大型语言模型的技术,通过4位量化和低秩适配器结合,在保持模型性能的同时大幅降低资源消耗。它将模型权重压缩为4位NF4数据类型,并添加小型可训练适配器,仅更新这些部分而非整个模型。采用双重量化和统一内存分页优化进一步减少内存占用。类似于在百科全书中贴便利贴更新内容,QLoRA实现了低成本、高效率的模型微调,既节省资源又保持知识完整性。
原创
博文更新于 2025.10.27 ·
248 阅读 ·
3 点赞 ·
0 评论 ·
10 收藏

大模型微调之Adapters(二)LoRA

LoRA(低秩适应)是一种高效的参数微调技术,通过低秩分解将大权重矩阵拆解为两个小矩阵,仅需微调少量参数即可适配新任务。该方法显著降低计算成本,保持模型性能,适用于资源有限场景。其核心思想是在预训练模型基础上叠加特定任务的小型适配模块,如同厨师专攻寿司技巧无需重学全部厨艺。LoRA的秩参数需平衡效率与效果,并可与其他微调技术结合使用。
原创
博文更新于 2025.10.27 ·
399 阅读 ·
4 点赞 ·
0 评论 ·
5 收藏

大模型微调框架(一)综述

大模型微调综述 大模型微调(Fine-tuning)是在预训练语言模型基础上,使用特定任务数据进行二次训练的技术,主要包括两种方式:全参数微调和参数高效微调(PEFT)。PEFT通过冻结大部分参数、仅调整少量参数(如LoRA、Adapter),显著降低计算资源需求。当前主流微调框架包括HuggingFace的PEFT库、ModelScope的ms-swift、LLaMA-Factory等,支持从脚本到WebUI的多种操作方式。其中PEFT库提供完整的微调流程,包括配置、训练、保存和推理功能;LLaMA-Fa
原创
博文更新于 2025.10.27 ·
777 阅读 ·
9 点赞 ·
0 评论 ·
22 收藏

大模型的latency(延迟)和throughput(吞吐量)有什么区别?

本文探讨了大模型推理中的关键性能指标与优化技术。首先分析了KV Cache机制如何通过空间换时间提升推理效率,并区分了预填充(prefill)与解码(decoding)两个阶段的性能特征。重点比较了延迟(Latency)与吞吐量(Throughput)的概念差异及计算方法,指出销售人员在技术理解上常见的混淆点。最后详细介绍了两种批处理技术:传统批处理(Naive Batching)存在长尾请求阻塞问题,而连续批处理(Continuous Batching)通过动态调度显著提高了GPU利用率。文章还提供了相关
原创
博文更新于 2025.10.27 ·
573 阅读 ·
17 点赞 ·
0 评论 ·
26 收藏

DevOps,AIOps,MLOps,LLMOps,这些Ops都是什么?

摘要: 本文介绍了四种运维概念:DevOps、AIOps、MLOps和LLMOps。DevOps通过自动化CI/CD流程提升开发效率;AIOps利用AI优化IT运维;MLOps专注于机器学习模型的部署与维护;而新兴的LLMOps则针对大语言模型应用的全生命周期管理。文章对比了传统软件与AI应用的区别,并分析了MLOps与LLMOps在工具和重点上的差异,强调LLMOps主要关注大模型应用的在线运维而非训练过程。这些概念共同推动了技术运维的自动化与智能化发展。(149字)
原创
博文更新于 2025.10.27 ·
733 阅读 ·
9 点赞 ·
0 评论 ·
16 收藏

大模型推理框架(五)Ollama

本文介绍了如何通过Ollama和ChatBox两款软件在本地快速部署大型语言模型。Ollama作为开源工具简化了本地运行大模型的过程,用户只需下载安装后,从模型库中选择合适模型(如仅352MB的qwen2:0.5b)并运行。配合ChatBox客户端,通过简单配置即可实现与本地模型的交互。整个过程无需复杂技术,适合各类用户快速体验大语言模型功能。文章还建议拥有高性能GPU的用户可尝试更大模型以获得更好效果。
原创
博文更新于 2025.10.25 ·
824 阅读 ·
18 点赞 ·
0 评论 ·
4 收藏

大模型推理框架(四)TensorRT-LLM

TensorRT-LLM是NVIDIA推出的开源库,通过量化、动态批处理、KV缓存等技术优化大模型GPU推理性能,速度提升可达8倍。它整合了TensorRT和FastTransformer的优势,支持多精度计算和注意力机制优化(MQA/GQA),并采用图重写技术提升硬件执行效率。关键特性包括:降低显存占用的量化技术、提高吞吐量的连续批处理、复用缓存的KV Cache机制,以及平衡精度与性能的注意力优化方案。这些技术共同解决了大模型推理中的计算效率和显存瓶颈问题。
原创
博文更新于 2025.10.25 ·
585 阅读 ·
16 点赞 ·
0 评论 ·
12 收藏

大模型推理框架(三)Text generation inference (TGI)

TGI是Hugging Face开发的文本生成推理框架,支持高效部署大型语言模型。它采用张量并行、连续批处理和Flash Attention等优化技术,显著提升推理速度。TGI提供生产级特性,包括分布式追踪、多种量化支持、安全权重加载等,并支持多种硬件平台。该框架还具备灵活的生成控制、推测生成和自定义提示等功能,适用于各种文本生成任务。
原创
博文更新于 2025.10.25 ·
1058 阅读 ·
29 点赞 ·
0 评论 ·
26 收藏

大模型推理框架(二)vLLM

vLLM是一种基于PagedAttention的高效推理框架,通过分页处理注意力计算优化显存使用。它将KV缓存划分为非连续内存块,实现接近最优的内存利用率(浪费率<4%),并支持内存共享,显著提升吞吐量。此外,vLLM还具备多GPU支持、连续批处理、推测性解码等特性,兼容HuggingFace模型和OpenAI API,支持量化技术,为LLM生产部署提供高效解决方案。
原创
博文更新于 2025.10.25 ·
902 阅读 ·
32 点赞 ·
0 评论 ·
22 收藏

大模型推理框架(一)综述

大模型推理框架技术综述 大模型推理框架通过多种优化技术提高推理效率,主要包括计算效率提升(MQA/GQA)、计算复杂度降低(Flash Attention)、重复计算减少(KV Cache)和吞吐量提高(Continuous Batching)。常用框架如vLLM、TGI、TensorRT-LLM、Ollama和DeepSpeed,分别采用分页注意力、多语言支持、GPU优化、本地简化部署等方案,有效解决计算资源、实时性、部署成本等挑战。这些技术使得大模型能够在资源受限环境下高效运行,拓展了实际应用场景。
原创
博文更新于 2025.10.25 ·
935 阅读 ·
12 点赞 ·
0 评论 ·
17 收藏

神经网络的优化器(十二)RAdam

RAdam(Rectified Adam)是一种改进的Adam优化算法,通过动态调整学习率解决训练早期阶段方差过大的问题。它通过引入修正项$\rho_t$来稳定优化过程,在保持Adam优势的同时提高训练稳定性。相比标准Adam,RAdam能更好地适应不同数据集和任务,但实现稍复杂,需调整更多超参数。实验表明,RAdam在部分任务中表现优于传统优化器,但其效果仍取决于具体应用场景。该算法结合了自适应学习率和动态修正机制,为深度学习模型训练提供了新的优化选择。
原创
博文更新于 2025.10.21 ·
340 阅读 ·
4 点赞 ·
0 评论 ·
5 收藏
加载更多