嘟嘟社区| 只要文本，尽量智能些，最好能训练的语言模式，有没有开源能本地部署的了呀
现成的用起来感觉不便宜啊 |
| 本帖最后由 lewissue 于 2024-10-14 14:56 编辑
恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token 不过本地模型经过恰当的微调，其（除逻辑之外的）性能不弱于大模型 |
| 一大把啊！llama3.1+阿里的Qwen 问题是你有能跑得动的显卡吗？ |
| 一大把，但是毫无意义 |
| 好吧，那哪里有便宜点的chatGPT API 或中转 |
4070能跑么？还想要不要买个笔记本玩玩ai 呢 |
本帖最后由 lewissue 于 2024-10-14 15:35 编辑
移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑 |
| 本地跑成本不低的，除非大到一定规模 |
用0806的话，最便宜的就是买azure5000，可以用好久。 |
才8g?那算了，不浪费钱了。服务器cpu 都能跑个7b，就是卡的不行。多谢大佬 |