新華社東京6月4日電(記者錢錚)日本理光公司日前表示,該公司利用和日本理化學研究所共同研發得到的指令數據訓練理光的日語大語言模型,提高了模型的指令遵循性能。

理光公司3日發布新聞公報說,他們用10329份指令數據對公司研發的130億參數日語大語言模型進行了指令調優。與調優前相比,大語言模型的指令遵循性能得分從1.19分大幅提高至3.02分。

指令調優是訓練大語言模型的一個過程,主要為了縮小模型的下一個標記預測目標與用戶期望的模型遵循人類指令的目標之間差距。

理光公司說,隨著老齡化和隨之而來的勞動人口減少,許多企業寄希望于利用人工智能來提高生產效率,實現高附加值的勞動方法。而要將人工智能應用于實際業務,需要讓大語言模型追加學習包括企業所處行業、所經營業務、以及企業固有用語等在內的大量數據。

相比英語國家圍繞大語言模型研發的競爭,日語大語言模型的研發相對滯后。這主要是因為日語的語法和表達與英語完全不同,以英語為基礎的模型難以充分發揮功能,而研發適合日語的模型首先必須花時間研究日語的特征。

大語言模型的研發還需要大量數據,而日語的數據遠少于英語,品質和多樣性方面也存在問題,日語數據的收集和完善需要大量時間和成本。大語言模型研發還需要很高的算力,而日本超算和云等計算資源原本就不足,能運用這些計算資源的技術和人才也不足。