LLM 微调避坑指南:从训练动态到显存账本的深度解剖
在单卡(如 Tesla P100 16GB)上对大语言模型进行微调时,往往会遇到 Loss 不降、无限复读或显存溢出(OOM)等诡异问题。这篇博客将从底层逻辑出发,拆解 LLM 微调中的核心概念与显存消耗真相。
在单卡(如 Tesla P100 16GB)上对大语言模型进行微调时,往往会遇到 Loss 不降、无限复读或显存溢出(OOM)等诡异问题。这篇博客将从底层逻辑出发,拆解 LLM 微调中的核心概念与显存消耗真相。
在深度学习的日常搬砖中,写出 criterion = nn.CrossEntropyLoss() 简直就像喝水一样自然。无论是做图像分类、验证码识别,还是训练大语言模型,交叉熵似乎永远是分类任务的标配。
在 Proxmox VE (PVE) 中,主机 OOM Killer 可能杀死 QEMU 进程(虚拟机),保护方法包括 hookscript 设置 oom_score_adj、禁用内存气球和优化主机内存。 reddit
作为现代开发者,把 Windows 系统老旧的蓝底 PowerShell 5.1 升级为跨平台、高性能的 PowerShell Core (pwsh 7.x) 是提升效率的第一步。
在进行视频录制或直播时,很多新手都会遇到一个棘手的问题:桌面音频(如游戏声、音乐)声音太大,直接盖过了麦克风的人声。这不仅会让观众感到刺耳,还会导致后期音频无法处理。
最近在折腾 Home Assistant (HASS) 的公网穿透。我使用了 Cloudflare Tunnel,但发现了一个诡异的现象:本地访问秒开,CF 访问却转圈。在排查过程中,我从应用层的 HTTP 一路杀到了传输层的 TCP,甚至重新认识了 MySQL 这种老牌协议。
你有没有遇到过这种情况: 本来桌面上整整齐齐排列着浏览器、代码编辑器和各种工具窗口。你去倒了杯咖啡,电脑进入了睡眠模式。当你回来晃动鼠标唤醒屏幕时,血压瞬间升高——所有的窗口都“缩”到了屏幕左上角,或者尺寸变得极小,甚至挤成了一堆。
你是否经历过这样的崩溃瞬间:辛辛苦苦把论文最后的几十条参考文献调整好了字体、间距,甚至好不容易把它们从莫名其妙的“居中对齐”改成了整齐的“左对齐”。结果,你在文中新插入了一条引用,手欠点了一下 Zotero 插件栏的 Refresh(或者 Zotero 自动刷新了)。
—— 揭秘 PCB 上的“微观电镀厂”
最近在使用 ESP-IDF v5.x 的新版 I2C 驱动(i2c_master_ 系列 API)驱动 OV7670 摄像头时,遇到了一个非常有意思的“灵异现象”:
在嵌入式面试或技术讨论中,我们常问一个经典问题:“为什么 I2C 协议要使用开漏输出 (Open-Drain),而不是速度更快的推挽输出 (Push-Pull)?”
你是否遇到过这样的场景: 你买了一块合宙的 ESP32-C3 开发板(或其他使用 Native USB 的板子),兴冲冲地用 PlatformIO 写了个 Hello World。 编译通过,烧录成功,绿色 LED 欢快地闪烁。 然而,当你打开串口监视器(Serial Monitor)时,屏幕却是一片死寂。
在使用 ESP-IDF 开发 ESP32 项目时,你是否遇到过这种令人抓狂的情况: 代码平时跑得好好的,但只要加上了 NVS 保存功能,或者在进行 OTA 升级时,设备就会突然莫名其妙地重启?
你有没有遇到过这种情况:明明买了一个看起来很专业的麦克风,但在游戏连麦或录视频时,队友还是抱怨你的声音“像在发电报”,全是滋滋的电流声?或者声音小得像蚊子叫?
你有没有这样的经历?
在交易的世界里,很多概念听起来高深莫测,比如 A 股里的”升水/贴水”,或者 Crypto 里的”资金费率套利”。但如果你剥开金融名词的外衣,会发现它们的数学本质是完全一样的。
最近在处理包含大量图片和公式的长文档(学位论文)时,遇到了 Word 卡顿、图片不显示、题注乱跑等一系列“崩溃”瞬间。
在折腾 HomeLab 的过程中,我们经常会遇到各种奇怪的网络现象。
如果你是一位无人机爱好者,或者你拆过直驱洗衣机、电动自行车的轮毂电机,你可能会发现一个有趣的规律:
两个看似不同的工具
前言:消失的能量去哪了?
【导读】 你是否遇到过这种情况:模型结构是最新的 SOTA,超参数调了又调,但 Loss 就是降不下去,或者准确率卡在一个瓶颈死活上不去? 这时候,别急着改代码。去看看你的训练集,说不定你会发现:标注为“猫”的图片里是一只狗,标注为“红灯”的图片其实是绿灯。 这就是传说中的 Label Noise(标签噪声)。本...
在 AI 辅助写作的时代,我们经常会把 ChatGPT、Claude 或 DeepSeek 生成的内容复制到 Word 文档中。
你有没有想过,当我们每天在 Bilibili 刷高清视频,或者在 Netflix 上看 4K 电影时,数据到底是如何传输的?
前言:为什么你需要“子网路由”?
人类总是痴迷于预测未来。
前言 在现代电子世界里,电机无处不在。从几十块钱的暴力风扇,到几万元的机器狗关节,核心动力源往往都是那颗不起眼的——无刷电机 (BLDC/PMSM)。
你有没有想过,为什么一张 5MB 的 BMP 图片,转成 JPEG 后只有 200KB,而且肉眼几乎看不出区别?
rm -rf 并不一定会释放空间
在使用 ADB 清理 Android 手机存储时,很多人都会下意识地认为:
当我们谈论天线的时候,经常会听到“增益”(Gain)这个词。很多初学者(甚至是一些老火腿)会产生一个误区:以为高增益天线像放大器一样,凭空把信号能量变大了。
很多网络问题之所以难排(端口不通、转发失败、多出口分流不生效、NAT 看起来“没做”),根本原因是把三件事混在一起了:
在配置 Linux 防火墙(iptables、firewalld 或 ufw)时,很多人都会产生这样的疑惑:
考虑平均
在日常开发中,很多人都犯过一个“致命错误”——把密码、API Key、私钥等敏感信息直接提交到了 Git 仓库里。即便你后来删除了这个文件、甚至提交了 .gitignore,这些秘密依然会留在 Git 的历史记录中,任何人只要回溯旧提交都能看到。
免费
https://github.com/marketplace/models 可以网页使用 gpt4o https://github.com/settings/personal-access-tokens 生成 api 密钥 api 请求地址: https://models.inference.ai....
当网站在根目录下面没有路由的时候,添加谷歌需要要求添加的验证条件是无效的,貌似在next.js的情况下它无法等待直接访问根目录之后的跳转页面。然后我试了postman如果直接请求网站根目录也是获得不了内容,也是显示404 not found,不知道为什么它无法自动跳,在代码中我是使用了中间件来判断请求路径如果路径...
问题
安装 miktex https://miktex.org/download 测试: xelatex –version
honeygain(paypal 支付) 注册(#aff):https://r.honeygain.me/LIUWE92F03 安装:https://hub.docker.com/r/honeygain/honeygain repocket (收益很低) 注册(#aff):link.repocket...
TigerVNC 访问全新的桌面
华为云注册链接 #aff https://activity.huaweicloud.com/cps.html?fromacct=e48f3b62-941d-4008-ae7e-aedb7551c6a7&utm_source=bGl1d2VpcWluZzE==&utm_medium=cps&...
在您的安卓设备上打开 Termux。
在路由器背后找到用户名密码登录 找到如下界面修改 password 为 text,记录下这个密码 找到如下界面将 display:none 去掉,点击本地恢复出厂设置 回到首页使用固定的管理员账号进行登录 用户名:CMCCAdmin 密码:aDm8H%MdA 访问 http://19...
我是怎么接触 Linux 的
多层感知机是什么? 多层感知机(Multilayer Perceptron,MLP)是一种前馈人工神经网络模型,它包括至少三层(输入层、隐藏层和输出层)的节点。每一层都完全连接到下一层的节点。在MLP中,信息从输入层开始,经过隐藏层,最后到达输出层。这种从输入到输出的单向流动使得MLP成为一种前馈网络。 MLP的...