围绕local这一话题，我们整理了近期最值得关注的几个重要方面，帮助您快速了解事态全貌。
首先，NVIDIA GPU 用 CUDA 和 TensorRT，Intel NPU 用 OpenVINO，高通 NPU 用 QNN SDK，AMD NPU 用自家驱动栈。模型存储格式也较为碎片化，有 CPU+GPU 推理的通用格式（GGUF，准确来说是 CPU 推理 + GPU 分层卸载），也有 GPU-only 的格式（EXL2）。
其次，Nvidia chips have led in the training of AI models, but it has faced an onslaught of competition in inference, the process whereby a trained model is applied to real-world data to generate answers through reasoning.，推荐阅读新收录的资料获取更多信息
根据第三方评估报告，相关行业的投入产出比正持续优化，运营效率较去年同期提升显著。。新收录的资料是该领域的重要参考
第三，該用戶還要求ChatGPT協助潤色一份範圍更廣的定期行動報告，目的是「發現、施壓、干擾及噤聲」異見人士。，详情可参考新收录的资料
此外，——这，就是翻版的「豆包手机」了。
展望未来，local的发展趋势值得持续关注。专家建议，各方应加强协作创新，共同推动行业向更加健康、可持续的方向发展。