和软件将个人计算的强大功能带到人工智能PC上，将工作、协作和创新的效率提升到一个全新的水平。生成式
Ryzen AI配备了一个专用的神经处理单元（NPU），用于与CPU内核集成在片上的AI加速。AMDRyzen AI软件开发工具包（SDK）使开发人员能够采用在PyTorch或TensorFlow中训练的机器学习模型，并在由Ryzen AI支持的PC上运行它们，可以智能地优化任务和工作负载博天堂官方网站，释放CPU和GPU资源博天堂官方网站，并以更低的功耗确保最佳性能。了解更多关于Ryzen AI产品信息。
SDK包括用于在NPU上优化和部署AI推理的工具和运行时库博天堂官方网站。安装很简单博天堂官方网站，该套件配备了各种预量化的准备部署模型的拥抱脸AMD模型动物园。开发人员可以在几分钟内开始构建他们的应用程序博天堂官方网站，在Ryzen AI PC上释放AI加速的全部潜力。
人工智能聊天机器人需要大量的处理能力，以至于它们通常生活在云中。实际上博天堂官方网站，我们可以在PC上运行ChatGPT，但是本地应用程序通过Internet将提示发送到服务器进行LLM模型处理博天堂官方网站博天堂官方网站，并在收到响应后简单地显示响应。
然而，在这种情况下，本地和高效的AI聊天机器人不需要云支持。您可以从Hugging Face下载一个开源的预训练OPT1.3B模型，并通过一个简单的三步过程将其部署在Ryzen AI笔记本电脑上，并使用预构建的Gradio Chatbot应用程序博天堂官方网站。
在此步骤中，从Hugging Face下载预训练的Opt-1.3b模型。您可以修改run.py脚本，从您自己或您公司的存储库下载预训练模型。Opt-1.3b是一个大的，~4GB的模型博天堂官方网站。下载时间取决于网速。在这种情况下，它花了~6分钟博天堂官方网站。
量化是一个两步的过程。首先，FP32模型是“平滑量化”的，以减少量化过程中的精度损失博天堂官方网站。它本质上是识别激活系数中的异常值并相应地调节权重。因此，在量化期间，如果离群值被丢弃，则误差引入是可忽略的。Smooth Quant是由AMD的先驱研究人员之一Song Han博士发明的，他是麻省理工学院EECS系的教授。下面是平滑量化技术如何工作的可视化演示博天堂官方网站博天堂官方网站博天堂官方网站。
你可以在这里了解更多关于平滑量化（smoothquant）技术的信息。在平滑建模过程之后，条件模型沿着与mart.json文件一起保存在opt-1.3b_smoothquant文件夹的“model_onnx”文件夹中博天堂官方网站博天堂官方网站。以下是平滑量化对数的屏幕截图：
平滑量化需要约30秒才能完成博天堂官方网站。一旦完成博天堂官方网站，最佳量化器用于将模型转换为int 8。int 8量化模型然后保存在“opt-1.3b_smoothquant 文件夹内的”model_onnx_int8“文件夹中博天堂官方网站。量化是一个离线分钟完成，需要一次完成博天堂官方网站。下面是Int 8量化日志的屏幕截图：
接下来，评估量化模型并使用以下命令以NPU为目标运行它。注意博天堂官方网站，模型路径被设置为我们在上一步中保存int8量化模型的位置，
在第一次运行期间博天堂官方网站，模型由内联编译器自动编译博天堂官方网站。编译也是一个两步的过程：首先，编译器识别可以在NPU中执行的层和需要在CPU中执行的层。然后创建子图集。一组用于NPU，另一组用于CPU博天堂官方网站。最后，它为每个子图创建针对相应执行单元的指令集博天堂官方网站。这些指令由两个ONNX执行提供程序（EP）执行博天堂官方网站，一个用于CPU博天堂官方网站，一个用于NPU。在第一次编译之后，已编译的模型保存在该高速缓存中，因此在后续部署中它避免了编译。下面是一个屏幕截图博天堂官方网站，其中模型信息是在编译流程中打印出来的。
编译后博天堂官方网站，模型在NPU和CPU上运行。将应用测试提示。LLM Opt1.3B模型的响应显示了正确的答案。请记住，我们下载并部署了一个公开的预训练模型。因此博天堂官方网站，它的准确性是主观的，可能并不总是像预期的那样。我们强烈建议在生产部署之前对公开可用的模型进行微调。下面是测试提示和响应的屏幕截图：
在浏览器应用程序上，设置max_output_token=64并输入提示“AMD做什么？“输入文本框中。聊天机器人输出如下所示的响应。它还将KPI（关键性能指标）计算为token/sec。在这种情况下博天堂官方网站，它是每秒约4.7个令牌。
恭喜你博天堂官方网站，你已经成功构建了一个私人AI聊天机器人。它完全运行在笔记本电脑上，OPT1.3B是一种LLM（大型语言模型）博天堂官方网站。
AMD锐龙™ AI全栈工具使用户能够在AI PC上轻松创建以前无法实现的体验-开发人员使用AI应用程序，创作者使用创新和引人入胜的内容，企业主使用工具优化工作流程和效率。
我们很高兴能将这项技术带给我们的客户和合作伙伴。如果您有任何问题或需要澄清，我们很乐意听取您的意见。查看我们的GitHub存储库以获取教程和示例设计，加入我们的讨论论坛，或发送电子邮件至。
+微信平台检测环境博天堂官方网站，方案分享回馈论坛的帮助，也顺便给自己拉拉票，第一季创客作品征集大赛，求点赞！博天堂官方网站！这是链接博天堂官方网站，有项目介绍：
家族博天堂官方网站博天堂官方网站，社交巨头Facebook也紧接着在自己的messenger应用中发布了超过10万个的功能性
的助手变成了现实博天堂官方网站。它们正在以各种不同的形式蓬勃发展博天堂官方网站。社交网络Facebook大大改善了其通讯应用Messenger中的
可以成为你的私人小秘书。 近日博天堂官方网站，两大科技巨头谷歌和脸谱纷纷投巨资研发各自的
当意料之外的事情浮出水面时博天堂官方网站，我们可以期望的最好的办法就是减少有效应对负担的基础设施。让我们谈谈为
如何解决您的问题或为您的组织带来价值？”博天堂官方网站，“您的客户正在寻找什么答案？”，“您的客户服务是否经常收到重复的问题？”
来改善其客服工作。据了解这一举措大大提高了客服效率，并显著降低了成本博天堂官方网站。 Dukaan公司在应用生成式
Ubuntu现已在首款信用卡大小的RISC-V单板计算机Milk-V Mars上运行
Ubuntu现已在首款信用卡大小的RISC-V单板计算机Milk-V Mars上运行
全志H616（BIGTREETECH CB1）和 博通BCM2711（树莓派4B）CPU对比测试
支持 GPS，基于 Arduino 的墨水屏时钟（文末可下载完整文件）
