GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
Fisco
発行済 2024年03月13日 13:01
更新済 2024年03月13日 13:15
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。
今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル（LLM）のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力（解答）の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
アプリを入手する
が書いた: Fisco
金融商品や仮想通貨の取引は投資金額を失う高いリスクがあります。仮想通貨の価格は非常にボラティリティーが高く、金融、規制、政治など、外的な要因に影響を受けることがあります。また信用取引はリスクが高いことを十分に理解してください。
金融商品または仮想通貨の取引をする前に、金融市場での取引に関わるリスクやコストについて十分に理解し、専門家の助言を求めたり、ご自身の投資目的や経験値、リスク選好等を注意深く検討することを推奨いたします。
Fusion Media によるこのウェブサイトのデータが、必ずしもリアルタイムおよび正確ではないということをご了承ください。またデータや価格が、必ずしも市場や取引所からではなく、マーケットメーカーにより提供されている場合があります。その為、価格は気配値であり、実際の市場価格とは異なる可能性があります。Fusion Media および当ウェブサイトへのデータの提供者は、当ウェブサイトに含まれる情報を利用したすべての損失に対して一切の責任を負わないものとします。
Fusion Media およびデータ提供者による事前の書面の許可なしに、当ウェブサイト上のデータを使用、保存、複製、表示、変更、送信、配信することを禁じます。すべての知的財産権は当ウェブサイト上のデータの提供者、または取引所が有します。
Fusion Media は当ウェブサイトに表示される広告により報酬を得ることがあります。
上記内容は英語版を翻訳したものであり、英語版と日本語版の間に不一致がある場合は英語版が優先されます。