620

CFA協会ブログ

No.620

2023年5月5日               

ChatGPT:今日は副操縦士、明日は自動操縦士?

ChatGPT: Copilot Today, Autopilot Tomorrow?

ダン・フィルプス(Dan Philps, PhD, CFA

ティルマン・ワイデ(Tillman Weyde, PhD

 

投資運用における人工知能(AI)アプリケーションの詳細については、CFA協会リサーチ・ファウンデーションのラリー・カオ(Larry Cao, CFA)による「投資における人工知能およびビッグデータの応用ためのハンドブック」をお読みください。

 

 ChatGPTやその他の大規模言語モデル(LLMs)は、いつの日か、多くの投資運用および金融業界の業務を自動化する可能性があります。その日はまだ来ていませんが、LLMsはアナリストのツールとしてこれから有用なものです。

では、プロンプト・エンジニアリングの新たなダークアートについて学んだことに基づいて、クオンツ・アナリストとファンダメンタル・アナリストはChatGPTのようなLLMsをどのように活用できるのでしょうか。これらの技術はどれほど効果的な副操縦士になるのでしょうか。

ファンダメンタル・アナリストの副操縦士

株式アナリストは一般的に自分が担当する企業を隅々まで知っているので、ChatGPTはそうした企業について全く新しいことを何も明らかにしないかもしれません。しかし、LLMsは、あまり知られていない企業の概要を迅速かつ大規模に生成できます。

架空のX 社を分析するために配置する ChatGPT プロンプトを次に示します。

企業の概要

1.      X社のビジネスモデルを説明してください」

2.      X社のSWOT分析(強み、弱み、機会、脅威)を実施してください」

3.      X社の競合10社を挙げてください」

4.      X社への投資に対する10個の主なリスクを挙げてください」

環境・社会・ガバナンス(ESG)の概要

1.      X社の10個の主な環境に関する不祥事を挙げて説明してください」

2.      X社の10個の主要なガバナンスに関する不祥事を挙げて説明してください」

3.      X社の10個の主要な社会に関する不祥事を挙げて説明してください」

4.      必要に応じて掘り下げて調査をしてください

また、正確に回答される可能性を高めるために、各項目に標準的な締め括りの言葉を追加します。『答えがわからない場合は、「わからない」と書いてください。』

ケーススタディ

 これで、これらのプロンプトのいくつかを2つの簡単なケーススタディでテストできます。

1.      「要約してください〔テキストドキュメントのWebアドレス、またはテキストに貼り付け〕」

2.      「主なマイナス点を10個挙げてください」(ソーステキストを提供しない限りリスクがあります)

3.      必要に応じて掘り下げて調査をしてください

上記のChatGPTの分析を、2つの実際の企業(少しカバーされているインドの中堅企業であるエムファシス(Mphasis)社と、非常によくカバーされているブラジルの鉱山会社であるヴァーレ(Vale)社)で実施し、各タスクの結果を15の等級(5が最高)で点数化しました。回答はChatGPT4に指示するだけで作成されましたが、実際には、高度な技術者が、このプロセスの多くを自動化しています。複数のLLMsを使用すると、回答をより細かく制御でき、検証とクロスチェックが強化され、規模が大幅に向上します。もちろん、ChatGPTが作成したすべての結果と同様に、特にモデルのトレーニング・データのみに依存している場合は、下記の結果を慎重に扱い、額面通りに受け取らないようにする必要があります。

1. エムファシス社の概要

結果はわかりやすいものではとてもありませんが、ChatGPTは、エムファシス社の有益でおおまかな概要を提供します。また、我々は出所を要求し、物事をでっち上げないように明示的に指示しています。このような対策は精度を向上させますが、絶対に確実なものではありません。

我々が継続するにつれて、LLMはより興味深い洞察を提供するようになります。

 

エムファシス社のビジネスモデルを説明してください

情報源を挙げてください。

答えがわからない場合は、「わからない」と書いてください。

エムファシス社は、情報技術(IT)サービス企業で、インドのバンガロールに本社があります。同社は、ビジネス・プロセス・アウトソース(BPO)、インフラ技術サービス、アプリケーション・サービスなどの統合的なソリューションを提供することを専門としています。ビジネスモデルとして、こうしたサービスを、銀行、金融サービス業、保険、ヘルスケア、製造業、テレコミュニケーションのような様々な業種に提供しています。

エムファシス社は、顧客本位のアプローチで、カスタマイズ化したものを提供することで顧客と連携・・・

出所:

1.      エムファシス社公式ウェブサイト:https://www.mphasis.com/

2.      エムファシス社年次報告書:https:// /www.mphasis.com/investors.html

 

 これで、少しSWOT分析で掘り下げることができます。

 

エムファシス社のSWOT分析を実施してください。

情報源を挙げてください。

答えがわからない場合は、「わからない」と書いてください。

エムファシス社のSWOT分析には、現在のビジネス環境における、同社の強み、弱み、機会、脅威の調査が含まれます。以下は、20219月までに利用可能なデータに基づく概要です。

強み:

1.      強固な顧客関係:エムファシス社は顧客と長年の関係を築いてきており、その多くはフォーチュン500企業です。これは、同社が質の良いソリューションを提供し、顧客の期待を満たす能力を示しています。

2.      グローバル・デリバリー・モデル:エムファシス社は、広範なデリバリー・センターによるプレゼンスがあり・・・

 

 我々のSWOT分析では、「特定の業界への依存」が同社の潜在的な弱みとして特定されています。そのため、根底にある状況を理解するための追加の質問を提起します。

 

銀行業に関して「特定の業種への依存」という弱みについてもっと説明してください。

情報源を挙げてください。

答えがわからない場合は、「わからない」と書いてください。

「特定の業種への依存」という弱みとは、エムファシス社が銀行業、金融サービス業、保険業(BFSI)のセクターに過度に集中していることです。エムファシス社の売上の相当な部分は・・・

 

エムファシス社の概要スコア:4

2.ヴァーレ社のESGの概要

 ヴァーレ社のESGの課題に関する記録は記事にもなっていてChatGPTは主要なテーマを取り上げています。「社会」という特定の側面に対する単純なプロンプトは、情報源に起因することができないことを警告し、回答を相互参照することをシステムが推奨しているにもかかわらず、正確な結果をもたらします。より詳細に説明するには、ChatGPTが認めるよりも深く掘り下げる必要があります。

 

ヴァーレ社の社会に関する不祥事を10挙げて説明してください。

情報源を挙げてください。

答えがわからない場合は、「わからない」と書いてください。

ごめんなさい、情報源を挙げることも情報があるウェブサイトを直接閲覧することもできません。しかし、金属・鉱業のブラジルの多国籍企業であるヴァーレ社の有名な社会に関する不祥事のリストを、20219月までのトレーニング・データに基づいて、提供することができます。

1.     マリアナ・ダムの災害(2015年):ヴァーレ社と破綻したBHPビリトン社が共同所有していた、ブラジルのマリアナにあるダムは、有毒な廃棄物を排出させました。この災害により、19人が死亡、数百人が家屋を失い、深刻な環境被害をもたらしました。

2.     ブルマディンホ・ダムの災害(2019年):ブラジルのブルマディンホにあるヴァーレ社所有の鉱滓ダムが、決壊して、少なくとも270人の死者を伴う深刻な環境被害を引き起こしました。この事故は、ブラジルの歴史上で最も死者の多い産業事故のひとつでした。

3.     職場での安全の問題:ヴァーレ社は、事故や災害死につながる、業務上の不十分な安全措置で批判を受けてきました。

4.     先住民の権利:ヴァーレ社は、先住民の権利を無視したことで非難を受けており・・・

 

ヴァーレ社のESG概要スコア:3

グラウンドトゥルース(地上検証、Ground Truthing):ChatGPTによる最新のエムファシス社のデータ概要の調査と要約

ChatGPTは、企業の最新の決算発表、ニュース、サードパーティ分析、我々が提供するデータを、要約して調査することができます。この情報は「グラウンドトゥルース」と呼ばれ、教師あり機械学習とは異なる表現の使用法です。しかし、上記のように、ChatGPTが分析するテキストを指定して提供しないと、トレーニング・データのみに依存するため、誤解を招く「幻覚」のリスクが高まります。さらに、LLMのトレーニング・データの最終日は、可能な洞察を制限します。

留意しておくべきもうひとつのポイント:企業の公式のコミュニケーションは、明るく前向きな傾向があります。したがって、ChatGPTに決算説明会を「要約」するように依頼するのではなく、「10の難点(negatives)を挙げる」ように要求すると、より明確な回答が得られるはずです。チャットGPTは、迅速に効果的な結果を提供します。それらはしばしば明白ですが、我々がさらに調査できる重要な弱みを明らかにするかもしれません。

 

10の難点を挙げてください。

「リシ、ありがとう。まず、はじめに、本会にご参加の皆様とご家族が、コロナ禍が続く中でご無事であることを願います。それから、・・・」

1.      コロナの状況は引き続き困難です

2.      異例で前例のない時期

3.      あらゆる形での混乱

4.      在宅勤務の技術的な課題

5.      在宅勤務の規制上の制約

6.      在宅勤務のセキュリティー・プロトコル

7.      在宅勤務の課題の常態化

8.      業務のバーチャル化の課題

9.      取引成約に影響する断絶

10.    パンデミックによる顧客の支出パターンの変化

 

最新のエムファシス社のデータ概要スコア:5

クオンツ・アナリストの副操縦士

 ChatGPTは、単純な関数を書き、特定の種類のコードを生成する方法を書くことができます。実際、コンピュータ・プログラミング・コードでトレーニングされたGPT-3の構成要素である「GPTコーデックス」は、GitHub Copilotの便利なコード補完自動ツールであり、GPT-4は今後のより包括的なGitHub Copilot Xの基礎となるでしょう。それにもかかわらず、関数が相当に標準的でない限り、ChatGPTで生成されたコードは、ほとんどの場合、正確で最適化された結果を得るためには微調整と変更が必要なため、最適に機能するのはテンプレートととしてです。したがって、現時点では、LLMの自動操縦士がクオンツ・プログラマーにすぐに取って代わる可能性は低いようです。

クオンツは、以下で説明する3つのタスクにChatGPTを使用する場合があります。ここでは、単にChatGPTに指示しています。実際には、特定のコーデックスLLMsにアクセスし、他のツールと統合して、はるかに信頼性の高いコードを自動的に作成します。

1.   投資パイプライン全体の開発

ChatGPTは、「クオンツ・エクイティ投資戦略を行うためのPythonの関数を書いてください」などの複雑な指示に対して一部を実行できるにすぎません。しかし、繰り返しになりますが、結果的なコードにはかなりの編集と調整が必要となる場合があります。課題は、ChatGPTが完成品にできるだけ近いコードを提供できるようにすることです。そのためには、重要な詳細を含む各リスト項目に指示の番号付きリストを使用すると便利です。

以下の例では、ChatGPTにファクターベースの株式投資戦略の一環として、5つの関数を作成し、各関数を5段階評価でスコアリングするよう指示しています。若干精度を高めるために、システムに「パッケージが存在することを確認し、すべてのコードが解析されるようにする」というプロンプトも作成します。

1.      時系列ファクター・データのダウンロード

ChatGPTは、ケネスR. フレンチ・データ・ライブラリからファクター・データのzipファイルをダウンロードし、CSVファイルを抽出する適切な関数を作成します。しかし、ChatGPTが上手く機能するためには、「zipファイルをダウンロードし、解凍し、csvPandas DataFrameに読み込んでください」という微妙なプロンプトを追加する必要がありました。

スコア: 4

2.      株式リターン・データのダウンロード

繰り返しますが、ChatGPTが書き込む関数は機能します。しかし、繰り返しになりますが、関数を正しく機能させるために、「get_data_yahooを使用してcsvPandas DataFrameに読み込んでください」などの詳細を追加する必要がありました。

スコア: 4

3.      ダウンロードしたデータの日付を揃える

ケネスR. フレンチ・データ・ライブラリと Yahoo からダウンロードしたデータは、日付形式と頻度が異なります。ChatGPTは、この問題を整理しなかったため、日付を再フォーマットしてから、2つのデータセットを整列させるコードを記述する必要がありました。このデータ整理は、ほとんどのデータプロセスの中で最も時間がかかりリスクが高い側面があり、ここでChatGPTはほとんど役に立ちませんでした。

スコア: 0

4.      単純なファクター・モデルを使用してリターンを予測する

ChatGPTを使用すると、株式レベルのファクター影響度を計算できますが、期待リターンは、モデルに合うように使用したファクター・リターンに基づいています。これでは役に立ちません。したがって、ChatGPTがどこで失敗したかを調査し理解し、手動で修正する必要があります。

スコア: 2

5.      ポートフォリオの構築とシミュレーションの実行

最後のシミュレーション関数で失敗します。データの全ての期間にわたって全ての株式の期待リターンを作成できず、ポートフォリオ構築の意思決定のための効果的なガイドにはなりません。株式ごとに1つの期待リターンを計算するだけです。

我々が介入して、各期間を繋ぎ、求めることを実行するように関数を設計する必要があります。指示がより適切であれば、より良い結果が得られます。

スコア: 1

 

クオンツ・エクイティ投資戦略を行うためのPythonの関数を書いてください

#1)ケン・フレンチからデータをダウンロードしてください:zipファイルをダウンロードし、解凍し、csvPandas DataFrameに読み込んでください

#2get_data_yahooを使用して株式ユニバースの株式リターン・データをダウンロードし、csvPandas DataFrameに読み込んでください

#3DataFrame#1#2からのデータの日付の行を揃えてください

#4)線形ファクター・モデル、36の時間ステップ、#3DataFrameを使って期待リターンを予測し、将来の推定ファクター・リターンを入力してください

#5#4を実行することで、全期間の全株式の期待リターンを計算してください

以下は、関数のコードの例です。

 

投資パイプライン全体の開発スコア:1

2.機械学習、アルファ予測関数の作成

フォローアップのリクエストにより、株式リターンを予測するための簡単な機械学習の関数またはテンプレートを得ることができます。ここではChatGPTは合理的な仕事をします。調整できる関数を提供し、それを適用する方法についてのアドバイスを提供し、ランダムフォレストの相互検証をすることを推奨します。

 

以下は、ランダムフォレスト学習を用いて期待リターンを予測するためのコードの例です。

投資戦略に利用する前に、ランダムフォレスト・リグレッサーの性能を評価するよう相互検証しなければならないことに注意してください。

 

機械学習、アルファ予測関数の作成スコア:4

3.便利な関数の作成:ターゲット・シャッフリング

次に、ターゲット・シャッフリングを実行するために有用で適度に複雑な関数を作成するようにChatGPTに依頼します。ターゲット・シャッフリングは、投資モデルの結果を検証するのに役立つ方法です。「ターゲット・シャッフリング機能のためのPythonコードを書いてください」という単純なリクエストでは、多くを得られません。繰り返しになりますが、合理的なテンプレートを作成するためにChatGPTに何を望んでいるかを概説した詳細なリストを入力する必要がありました。

 

株価指数にターゲット・シャッフリングを実行するためのPython関数を書いてください

#1120ヵ月の株式ごとのウエイトを含む「ユニバース」と呼ばれる株式のユニバースを使用してください

#2)「exp_return」と呼ばれる期待リターン機能をテストしてください

#3)「exp_return」の値による上位20パーセントの株式から成るポートフォリオ

#4)各期間の「ユニバース」をターゲット・シャッフリングしてください

#5)各期間の「ユニバース」のリターンを計算してください

#6)この機能を1,000回実行し、リターンの結果をリターンの母集団を示す頻度の棒グラフで表示してください

以下は、Pythonで関数を実行する例です。

 

便利な関数の作成:ターゲット・シャッフリングのスコア:5

副操縦士のパフォーマンス

ファンダメンタル・アナリストの補佐役として、ChatGPTはかなり上手く機能します。アナリストにあまりカバーされていない企業の場合は詳細に欠ける場合がありますが、クエリー(検索要求)で理由付け・主観・計算を要求しない場合には、株式に関する要約は、情報収集者としてのChatGPTの速度と精度を実証しています。ESGへの応用については、ChatGPTは大きな可能性を秘めていますが、議論がなされている状態を我々が特定した後、システム上のデータに限りがあるため、我々は過去の情報を掘り下げることしかできません。

ChatGPTは、決算発表記録や、企業、セクター、商品に関するその他の長い形式のテキストを迅速かつ正確に要約することに優れているので、人間のアナリストは他の業務に専念する時間を確保できます。

ChatGPTはクオンツの副操縦士としては残念に見えますが、ある程度の付加価値はあります。複雑なパイプラインを作成するために、ChatGPTには構築にかなりの時間と介入を必要とする正確なプロンプトが必要です。しかし、より具体的な機能を使用すると、ChatGPTはより信頼性が高くなり、時間を節約できます。したがって、全体として、副操縦士としてのChatGPTの有用性は、主にプロンプトをどれだけうまく設計するかの機能で決まります。

しかしながら、ステップアップしてGPT-4上にアプリケーションを構築し、洗練されたプロンプト、相互検証された結果、構造化されたアウトプットを使用すると、全体的な結果を大幅に改善できます。

専門的な基準、規制、LLMs

LLMsは専門的な基準や規制にどのような影響を及ぼすのでしょうか。「人工知能とそのCFA協会の倫理規定と職業行為基準への潜在的な影響」で、CFA協会は、LLMsの投資運用への応用について重要な問題を提起しており、LLMsに関する適切なリスク管理、解釈余地、監査能力、説明責任については、明らかな懸念があります。

これが、投資の意思決定に対するChatGPTの応答の直接的かつ制御されていない適用が、現在ではお話にならない理由です。しかし、テクノロジーは急速に進歩しています。例えば、アルファベット(Alphabet)社は、LLM応答のソースを提供するために取り組んでいます。いわゆる機械推論と因果的機械学習のさらなる発展は、LLMsの適用をさらに拡げる可能性があります。それにもかかわらず、現在の生のLLM技術では、投資運用に固有の注意義務を果たすことができません。そのため、相互検証され照合されたLLMの応答を実装できる最も高度なリソースにアクセスできない場合には、LLMsを最も限定的に使用すること以外はお勧めしません。

LLMs:投資運用における将来の応用

分析と投資が、特に異なるものの組み合わせである場合、LLMsは、技術を理解している運用者に強力な要素を提供します。これまでの例は単純なChatGPTのプロンプトですが、先進的な技術を備えた開発者と運用者は、投資運用のワークフローにLLMsを適用するために既に取り組んでいます。

投資運用では、LLMsは既に以下の業務に取り組んでいるかもしれません。

センス・チェック(Sense Checking

ポートフォリオ・マネージャーは、ESGの不祥事や投資リスクなどの基準に基づいて、ポートフォリオ・レベルまたは資産配分レベルでLLMsを使用した投資のセンス・チェックができます。これは、最終的に機関投資やロボアドバイザーにも拡大される可能性があります。

アナリスト 副操縦士

LLMsは、ファンダメンタル・アナリストが一度に多くの企業に関する基本的な知識をすばやく習得するのに役立ちます。また、クオンツ・アナリストは、それらを使用してコードを開発およびデバッグできます。もちろん、慎重に管理する必要があるリスクと欠陥があります。上記で使用するChatGPTのプロンプトは、これを手動で行う1つの方法を示していますが、プロンプトを自動的に作成するアプリはまもなく利用可能になる可能性が高く、より詳細で具体的な目的の達成に役立つはずです。実際、新しい技術の軍拡競争が発展することが予想されています。

アナリストの自動化

最終的には、ハイテクでシステマティックな運用者は、LLMsを利用して、ファンダメンタル・アナリストが行う調査を自動化します。しかし、彼らはこれによるアウトプットを彼らの銘柄選択と投資モデルへの別のインプットとして使用します。これが機能するためには、LLMsの欠陥、特に適時性と論理的または因果的推論に関連する欠陥に対処する必要があります。

しかし、現在の形態であっても、適切に統合されたLLMsは、適切な方法で適用すれば、大幅な効率化を生み出すことができます。そして、テクノロジーの大きな可能性を示唆しています。

次世代では、LLM技術は、不可欠な投資運用のツールになるでしょう。情報収集やその他の業務を自動化することにより、人間のアナリストは、投資プロセスの推論と判断に集中するためにより多くの時間と処理能力を割くことができます。これはほんの始まりに過ぎないのです。

このトピックの詳細については、CFA協会リサーチ・ファウンデーションのラリー・カオ(Larry Cao, CFA)による投資における人工知能とビッグデータの応用のためのハンドブックをご覧ください。

 

執筆者

ダン・フィルプス(Dan Philps, PhD, CFA

ティルマン・ワイデ(Tillman Weyde, PhD

(翻訳者:今井 義行、CFA

 

英文オリジナル記事はこちら

https://blogs.cfainstitute.org/investor/2023/04/27/chatgpt-copilot-today-autopilot-tomorrow/

 

) 当記事はCFA協会(CFA Institute)のブログ記事を日本CFA協会が翻訳したものです。日本語版および英語版で内容に相違が生じている場合には、英語版の内容が優先します。記事内容は執筆者の個人的見解であり、投資助言を意図するものではありません。

また、必ずしもCFA協会または執筆者の雇用者の見方を反映しているわけではありません。