个人单机本地部署大模型,一步到位、两三年内不过时的话设备怎么选,最近周围朋友这方面聊得比较多。1.5B、7B、8B等小模型效果有限,目前32B费效比最高未来70...
大模型很有用基本上是共识,参数只有几b的小模型呢?因为性能不高直接当作对话工具显然不太行,但也有很多应用场景。这里整理了Hacker News上的一个讨论“有人...
这两天随着 Manus 的爆火,MCP 也被大家频繁提及,那 MCP 到底是什么?说的通俗点,它就是一种协议,就像 HTTP 或 TCP 那样的协议。这个协议是...
本文介绍四款Web搜索API:博查、微软Bing、GoogleSerpApi和Exa.ai,各自具有不同优势,适用于不同场景。开发者应根据项目需求选择合适API...
MoE模型 vs Transformer模型核心区别是什么呢,主要有四点。
部署 DeepSeek R1 本地模型,并通过 Ollama 提供 API 支持。配合全栈AI助手 接入本地部署DeepSeek-R1模型API接口,提升用户体...
我发现还有很多人没有在手机上使用AI,这很令人震惊。AI可以使生活更轻松,提高整体生产力。这里有21种可以在手机上使用AI的方式(全部是免费的):👇
除了 temperature 之外,还有哪些参数对大模型的输出有比较大的影响除了 temperature 之外,还有几个重要参数会显著影响大模型的输出,尤其是对...
在计算机领域中,token 通常是指一串字符或符号,比如微信公众平台的密钥,就被称作一个 token,其实就是一长串的字符。而在人工智能领域,尤其是自然语言处理...
Prompt工程,又称提示工程(Prompt Engineering),是指设计和优化用于与生成式人工智能模型交互的Prompt的过程。
推荐谷歌搜索插件、exa search api和firecrawl搜索API工具。exa提供精炼html搜索结果,firecrawl价格亲民,结果适合大模型。搜...
能在24GB显存显卡上运行的最佳模型是什么?reddit上一位老哥kyazoglu,花了一个半月测试了在24GB显存显卡上运行的所有模型,得出来这张表。给希望本...