亞馬遜AWS宣布於Amazon SageMaker JumpStart提供Meta Llama 3基礎模型，能進行部署與推論

亞馬遜AWS宣布於Amazon SageMaker JumpStart平台提供Meta Llama 3大型語言模型(LLM)，客戶能夠透過Amazon SageMaker JumpStart進行Llama 3的部署與推論。Amazon SageMaker JumpStart將與Meta同步提供8B與70B參數模型，兩款模型的上下文長度皆為8k，能廣泛支援推論、程式碼生成與指令跟隨，後續將隨Meta釋出的時程提供更多參數的版本。

包括美東（北維吉尼亞州）、美東（俄亥俄州）、美西（奧勒岡州）、歐洲（愛爾蘭）和亞太（東京）等區域的客戶現在可以在Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型，還可以利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能，提升模型效能並實施MLOps控制。此外，該方式部署的模型始終處在AWS的安全環境下，由客戶的VPC（Virtual Private Cloud）控制，以確保資料安全。

亞馬遜AWS表示Llama 3使用了僅含解碼器的Transformer架構，以及高達128k規模的新型分詞器，極大提升了模型的效能。此外，Meta改進的訓練後處理常式大幅降低了誤拒率，提高了模型回應的一致性和多樣性；Llama 3具備較Llama 2更強大的性能，甚至在特定測試集項目，Llama 3 8B參數的性能就超越Llama 2 70B參數的表現。

更多Cool3C文章
4萬份1500元運動抵用金 U-Sport台北樂運動點數使用方法介紹、World Gym與健身工廠都能用
小米Watch S3智慧手錶評測：替換錶圈、1.43吋AMOLED、售價3495元