0:00
11:14
11:14

8G 显存逆天了!竟能跑 35B AI 大模型!多模态 + N/A/Intel 全适配,附最新部署教程!|零度解说

Tech

【更多资源】▶https://bittly.cc/lingdu 【零度博客】▶https://www.freedidi.com 【加入会员】▶https://www.youtube.com/channel/UCvijahEyGtvMpmMHBu4FS2w/join 【高级会员】▶https://bittly.cc/JsLAn ------------------------------------- 🔔 模型及部署工具下载:https://www.freedidi.com/24267.html 🪶🥇🥈🥉 会员咨询 / 一对一(限量开放):🔗https://ask.tuio.cc 🔰 安全VPN推荐(最高优惠链接): 1.SurfsharkVPN:https://get.surfshark.net/aff_c?offer_id=390&aff_id=4890 2.ProtonVPN:https://go.getproton.me/aff_c?offer_id=26&aff_id=1905&source=youtube 3.ExpressVPN:https://go.expressvpn.com/c/2612933/1645830/16063 4.PureVPN: https://billing.purevpn.com/aff.php?aff=44074 🚀VPS 推荐: 1.https://bandwagonhost.com/aff.php?aff=58794 (搬瓦工 CN2) 🦞 AI 生成对口型视频(支持多语言):https://bittly.cc/heygen 💰比特币交易平台 1.火币官网 : https://www.htx-kol.com/invite/zh-cn/1g?invite_code=48tr7 2.欧易官网: https://bittly.cc/okx ======================= 其它更多精彩内容推荐:😍 https://youtu.be/-VrgBEz-EZ4 https://youtu.be/bowzVW93pig https://youtu.be/uFHtS_kJAUE https://youtu.be/dNsxnuAIIdw https://youtu.be/q1qCzx3sakA https://youtu.be/swafOCGzmow https://youtu.be/5eA7-gWH_2o https://youtu.be/HAXed-ZYEZQ https://youtu.be/nc-EQHtx2W8 https://youtu.be/LQwD0x1Z8ak https://youtu.be/T4eLUtIRy_M https://youtu.be/5XrayNHLWrg https://youtu.be/b_NTQEWJLxw https://youtu.be/lzb5bJS4XtI https://youtu.be/cHIyeTdKB4g https://youtu.be/p8KTaBv7nxw https://youtu.be/UWelKj2LkIU https://youtu.be/JBv-thjmVP8 https://youtu.be/QCvF8mCPwdQ https://youtu.be/NLO0nx4EN24 https://youtu.be/r351ngmDL3Q https://youtu.be/IIcAe2AlROE https://youtu.be/kCrX3Dm4_cY https://youtu.be/UhMim4G79Oo https://youtu.be/xzBiF8TJ_t4 https://youtu.be/Q-FUmOtysyg https://youtu.be/MEZnK8ZOSVw ========================= 零度电报群:https://t.me/lingdujie

ADVERTISEMENT

Comments 100

Sign in to join the conversation

Sign in
S
suzanneshadow59 2 weeks, 4 days ago

每次看 零度 的视频,第一句就是 “大家哈”。😂

S
suzannelloyd476 2 weeks, 4 days ago

我也抓了Q5_K_M下來跑,硬體配置CPU i5 / GPU 4060TI 16G / RAM 64G,Qwen自我介紹--n-cpu-moe 999 28.69 t/s --n-cpu-moe 20 vram會吃滿溢出一點點,所以甜蜜點大概在21~25之間 我個人是用 --n-cpu-moe 22,vram15.0G左右,自我介紹38.72 t/s

graham_harvey
graham_harvey 2 weeks, 4 days ago

博主牛逼

R
reynaldo_godínez 2 weeks, 5 days ago

期待零度可以很快出一期在此基础上的使用教程:带有 MTP 支持的 llama.cpp 模块,使得本地模型的运行速度足够快,完全可以作为日常使用的工具来使用 🚀 在 A10G 上进行的 Qwen3.6-27B 密集生成任务:生成 token 的数量从 25 个/秒增加到 45 个/秒,增幅为 78%!

christine_woods
christine_woods 2 weeks, 5 days ago

upup 为什么运行的时候是内存和 cpu 拉满,显卡和显存根本不动😂 用的 5070ti 和 32g 内存

A
alix_legendre 2 weeks, 5 days ago

感谢大佬分享。我的5060Ti 16G显存,CUDA13.1,48G内存,启动指令中带cache-type-k/cache-type-v q4_0/q8_0,响应的文字就都是乱码,取消这两个参数则能正常运作,但速度巨慢,自我介绍要两分多钟,解析图片三分多钟 😅

C
christopher_moon 2 weeks, 6 days ago

豆包能数出是21根筷子,说明啥呢?🤣

M
megan_miller 2 weeks, 6 days ago

刚买了4080super32g哭晕在厕所😂

G
gaelhenriquedapaz405 2 weeks, 6 days ago

我也也用5060 ti 16GB跑35B,透過llama.cpp,不過本地記憶體要夠大 因為要CPU offload Qwen3.6-35B-A3B-Q5_K_M.gguf 24.62 t/s

H
hans-heinrich.segebahn 2 weeks, 6 days ago

用mac mini m4 16GB跑得動嗎?

G
genaro.chavarría 3 weeks ago

q8還是q4

S
sherrybaker792 3 weeks ago

零度什么时候推荐点AI用的显卡

utkarsh.kalita
utkarsh.kalita 3 weeks, 1 day ago

我在怀疑零度解说在卖筷子, 这是本次视频的赞助带货😄

L
lucieadam19 3 weeks, 1 day ago

太厲害了

R
rafaél_gastélum 3 weeks, 1 day ago

跑的慢的建议升级显卡驱动

J
joão.costa 3 weeks, 1 day ago

大哥 .牛阿

G
garry.hayes 3 weeks, 1 day ago

牛啊,终于用上了

kabir_khalsa
kabir_khalsa 3 weeks, 1 day ago

嚇死 我同時用lm studio 來比較 這兩個跑大模型的速度也差太多了吧

I
irmela_bärer 3 weeks, 1 day ago

都是AMD的配置,GPU基本不工作是怎么回事,CPU快拉满了

B
brendanhollow27 3 weeks, 1 day ago

那能否和龙虾一起