2023年2月28日
請負業における機械学習を活用したデータ分析

請負業における機械学習を活用したデータ分析

執筆者
EY 新日本有限責任監査法人

グローバルな経済社会の円滑な発展に貢献する監査法人

Ernst & Young ShinNihon LLC.

成行 浩史

EY新日本有限責任監査法人 アシュアランスイノベーション本部 パートナー

未来を見据え仲間と共に日々挑戦する。

2023年2月28日
関連トピック EY Digital Audit

請負業に対する監査における、請負業の会計不正の手口に対応したAI/機械学習を用いた異常点の検知および説明可能AI(貢献度および例示による説明)の技術を用いた異常点の深度ある分析について、その分析手法を紹介します。

本稿の執筆者

EY新日本有限責任監査法人 アシュアランスイノベーション本部 AIラボ 

公認会計士 成行 浩史

ITコンサルティング会社を経て、当法人入社後は主に不動産業、製造業等の監査業務、またIFRS導入支援等アドバイザリー業務に従事。2020年より異常検知システム等の開発・運用に従事し、Digital Auditの推進に取り組んでいる。


公認会計士 山本 誠一

ゼネコンの現場管理部門を経て、当法人入社後は主に製造業、サービス業、建設業の会計監査に従事。2018年より機械学習を用いた異常検知システム等の開発・運用に従事し、Digital Auditの推進に取り組んでいる。


大藪 雄一郎

主に製造業の会計監査および機械学習を用いた異常検知システムの開発・運用に従事し、Digital Auditの推進に取り組んでいる。情報学修士。日本公認会計士協会準会員。

要点
  • 請負業の特徴と会計不正の手口
  • 機械学習を利用した請負業におけるデータ分析手法
  • 説明可能AIの活用による踏み込んだ分析

Ⅰ はじめに

EYでは監査法人と被監査会社のファイナンス部門が共創しながらデジタルトランスフォーメーション(DX)を進めることで、双方にとって新たな価値が生まれると考えています。これまでの連載で、監査のDXがどのように被監査会社への価値提供(リスクの適時把握やインサイト提供など)につながるかをお伝えしてきました。本稿では、請負業における分析手法について次の点を紹介します。

  • 請負業の会計不正の手口に対応したAI/機械学習を用いた異常点の検知
  • 説明可能AI(貢献度および例示による説明)の技術を用いた異常点の深度ある分析

Ⅱ 請負業の特徴と会計不正の手口

1. 請負業の特徴

建設業をはじめとした請負業は、一般に発注者からの依頼を受け請負契約を結び業務を行っており、幾つかの特徴があります。まず発注者から元請負人へ依頼された仕事について、一次下請け・二次下請けといった多数の下請け会社が関わることがあります。次に、1つの契約(プロジェクト)の規模が大きく工期が長期にわたり、進捗度に基づき一定の期間にわたって収益を認識するといった特徴があります。

2. 会計不正の手口

通常、請負業での業績管理はプロジェクト単位となります。プロジェクト管理責任者は利益管理の責任を任され、利益達成のプレッシャーにより不正の動機を持つことになります。また、当責任者は下請け会社への発注権限等を付与されていることが多くあります。その結果、当責任者に権限が集中し、不正の機会が存在する状況となります。進捗度に応じた収益を認識するに当たり、原価の付け替えや時期の操作による発生原価の改ざんや見積工事原価総額の恣(し)意的な操作といった不正のリスクがあります。そこで、進捗度や原価を中心に財務分析をすることが不正発見の観点から有用であると考えます。

次の章にて、請負業の進捗度や原価について異常を検知するための分析手法を紹介します。

Ⅲ 請負業におけるデータ分析手法

請負業の特徴を考慮したデータ分析による異常検知の手法はさまざまなものが考えられますが、本稿では、機械学習を利用したデータ分析手法を紹介します。請負業を営む企業において進捗度に基づき収益を認識している場合、機械学習の技術を用いて次の分析が可能であると考えます。

  1. 進捗度の異常検知
  2. 将来赤字となる可能性の高いプロジェクト
  3. 費用発生時期の異常検知

1. 進捗度の異常検知

各プロジェクトの進捗度の推移は、その取引種類や規模等によって傾向が現れると考えられます。プロジェクトの種類、担当支店、担当部署、取引価格、費用の総見積額といったプロジェクトの情報、また開始日から終了予定日までの経過期間の割合を説明変数として、経過期間に応じて進捗度がどのように推移するか説明するモデルを構築することで、これまでのプロジェクトのデータから進捗度について推移の傾向を抽出することができます。

モデルに基づく進捗度の推定値と実績値の差分をとり、全体の傾向から乖(かい)離するプロジェクトの検知を行う例を紹介します。

図1 サンプル会社における進捗度の推定値と実績値の比較(推定値と実績値の乖離が一定の乖離幅を、黒丸:超えていない点、赤三角:超えている点)

<図1>は、横軸にモデルの推定する進捗度、縦軸に実績進捗度として各プロジェクトの分布を可視化したものです。推定値と実績値が近似している点は斜め45度線上にプロットされ(A点)、差が大きい点は45度線から乖離した点となります(B点)。この場合、推定値との乖離が大きいB点を示すプロジェクトは全体の傾向から外れており、通常と異なる状況が発生している可能性が高いと判断されます。モデルの精度が一定程度保たれている状態であれば、45度線から一定の乖離幅を設けそこから外れている点(プロジェクト)は進捗度の異常性が高いとし、より詳細な分析を行うといったアプローチが考えられます。

2. 将来に赤字となる可能性の高いプロジェクト

前述の通り、見積工事原価総額には恣意性が介在する余地があります。赤字が想定されるプロジェクトについては引当金の計上が求められますが、それを避けるために見積工事原価総額を恣意的に低く見積もるリスクが考えられます。そこで、機械学習を利用し、将来に赤字となるリスクの高いプロジェクトを識別する方法を紹介します。

過去のプロジェクトの最終的な損益を基に、プロジェクトに関するさまざまな要素が収益性にどう影響を及ぼしているのかを説明するモデルを構築し、各プロジェクトについて赤字となる可能性を測定することができます。その結果から赤字の可能性が一定の基準を超えたプロジェクトについて、引当金の計上要否を慎重に検討するといったアプローチが考えられます。

例えばある特定の得意先のプロジェクトにおいて、開始直後は黒字であっても最終的に赤字になるケースが過去多く存在する場合、モデルでは過去のデータを統計的に考慮するため、その得意先のプロジェクトがたとえ現時点では黒字の見積りであったとしても、最終的に赤字になる可能性が高いと示唆することができます。人による経験的な推定においても過去の状況を考慮に入れることはできますが、機械学習により過去の膨大なデータを統計的に活用することで、今まで認識していなかった赤字プロジェクトの傾向を発見する等、プロジェクトに対する新たな気付きを得ることも可能と考えます。

3. 費用発生時期の異常検知

次に、請負業における原価付替の不正リスクに対応する分析として、費用発生時期の異常を把握する方法を紹介します。費用の明細とプロジェクトを関連付けることで、費用が計上された時点の進捗度やその他の情報を把握することが可能です。例えば、費用区分ごとに進捗度と発生額や発生件数の関係性を<図2>のようなグラフで可視化し分析することが可能です。

図2 費用Xにおける進捗度と費用発生額の比較

<図2>における費用Xは、主に進捗度20%以下のタイミングで発生していることが分かります(C)。この場合、進捗度80%付近で発生した取引は発生時期の異常性が高いといえるものになります(D)。例えば、杭工事や内装工事に関連する費用などにおいて、費用発生のタイミングに一定の傾向が現れることがあります。

さらに、費用の明細および関連するプロジェクトの各種情報を用いて、機械学習により費用発生時期の推定を行い、推定値と実績値の差分から異常な取引を特定することが可能です。

棒グラフの赤い部分が機械学習により異常を示した取引であり、進捗度が70%以上のところで多く識別されていることが分かります。このようにして、費用計上タイミングが異常な取引を特定し、取引の妥当性などを深く確認する手続が考えられます。

Ⅳ 説明可能AI(eXplainable AI, XAI)の活用による踏み込んだ分析

前章では最新の機械学習手法を用いて、モデルに会社固有の客観的なデータ形状を学習させることで、特にリスクの高い異常点を提示させることができることを解説してきました。

本章では、説明可能AI(eXplainable AI, XAI)と呼ばれる機械学習モデルの分析技術を活用して、このようなモデルによる異常検知の情報を基に、さらに踏み込んだ分析を行う方法を紹介します。

1. 貢献度による異常性の説明

機械学習モデルにより異常性が高いと判定されたプロジェクトに対して、そのプロジェクトのどの要素を重点的に検証するべきか判断する必要があります。このような特定の推定点自体を分析するアプローチは、モデル全体の振る舞いを分析するアプローチと対比して、モデルのローカルな分析と呼ばれることがあります。BIツール等を活用しながら、さまざまな観点から多面的に分析することもできますが、説明可能AIと呼ばれる技術を用いることで、モデルがどのような視点に基づいて当該プロジェクトを異常性が高いと判断したのかを理解し、より的を射た異常性の分析を行うことができます。

そのような分析手法として、まずは、各特徴量の具体的な推定値への貢献度を踏まえた分析が考えられます。

推定値に対する各特徴量の貢献度は、本誌2023年2月号でも示した通り、<図3>のようなウォーターフォールグラフによって示すことができます。本節で用いる請負業のプロジェクトに対してグラフを作成すると、経過期間の割合(E)および前測定時の進捗度(F)が、推定値の形成に大きな貢献を果たしていることが分かります。

図3 推定値に対する各特徴量の貢献度

そこで、大きな貢献を果たしていると説明された特徴量である「経過期間の割合」(横軸)と「前測定時の進捗度」(縦軸)の観点からの分析へ移行することができます。<図4>の赤の破線の推定進捗度と、黄色の実線の実績進捗度を比べてみると、まだプロジェクト終了予定日まで一定の期間が残っているのにも関わらず、黄色の実線では進捗度は100%に近い水準まで進捗していることが分かります。一方で、赤い破線はプロジェクト終了予定日に向けてほぼ直線的な推移をしていることが分かります。

また、横軸の経過期間の割合を具体的な日付に対応させますと(図中縦の実線)、進捗度の著しい増加が年度末にかけて起きていることが分かります。

図4 貢献度による説明を踏まえた深堀分析①

このように貢献度による説明を踏まえることで、分析対象プロジェクトの異常性について、重要となる要素に焦点を当てて解釈や検討ができるようになります。例えば、今回のケースではプロジェクトの進捗度は主に経過期間の割合により説明ができるため、経過期間の割合との関係を見ながら進捗度の異常性について検討することになります。年度末付近に著しく進捗度が増加しているものの、過去のデータに基づけば一定の期間が残っている状況ではそういったことはまれであり、モデルでは直線的な推移を想定した進捗度を算出したことで、推定値と実績値の乖離が生じたと解釈が可能です。

モデルの構築の際に過去のさまざまなプロジェクトのデータが考慮されているため、今回のような一定の工期が残っているといった状況も進捗度の推定に当たり考慮されます。しかし、当然ながら機械学習モデルは完璧ではなく、モデルが考慮していない個別的な要因により推定値と実績値に乖離が生じることになります。この個別的な要因の中には不正な操作のほか合理的なものも多く含まれると考えられるため、乖離の要因が合理的なものなのかどうかという検討が必要になってきます。その際、例えば同じような一定の期間が残っている状況で異常ではなかったケースなどとの比較が、プロジェクトごとの状況やさまざまな要素や違いがモデルに勘案されているか否か、また乖離が合理的なものかといった検討に有用なことがあります。

2. 例示による異常性の説明

そこで、類似度指標を定義して同様のプロジェクトを検出する下記の分析アプローチを考案することができます。本誌2023年2月号でも紹介したように、識別した異常点と他のデータ点との類似度として、異常点の具体的な推定値への貢献度の大きさに応じて特徴量の類似度を算定した類似度指標を定義することができます。そして、次のようなプロジェクトをそれぞれ類似度指標が高い順に提示することができます。

① 推定値と実績値の乖離が小さく異常と判断されなかったプロジェクト(ベンチマーク)

② 分析対象プロジェクトと同様に推定値と実績値の乖離が大きく異常と判断されたプロジェクト(レコメンデーション)

ベンチマークは、類似する正常な比較対象プロジェクトとして、分析対象プロジェクトの推移が対象企業の他のプロジェクトでも一般的なことであるのか、それとも、やはり対象企業の他のプロジェクトと客観的に比較しても珍しいものなのかを分析することができます。<図5>からは、終了予定日に向けた直線的な進捗推移をたどる類似プロジェクトが多数あることを読み取れるため、終了予定日まで一定の期間を残しているにもかかわらず著しく進捗度が増加することは、他のデータと比較した上でも、やはり珍しいものであると、客観的に根拠付けることができます。

図5 類似度を用いた例示による説明(ベンチマーク)

このようなベンチマークの分析により、他の類似する正常データ点と比較した上でもやはり分析対象が特異なデータ点であることに一定の客観的な心証を得た上で、<図6>のレコメンデーションを用いれば、同様に異常を検知した類似プロジェクトを芋づる式に抽出することができます。このことにより、例えば、ある特定の担当支店や担当部署にのみ、このような異常な案件が集中していることに気付くことができるかもしれません。

図6 類似度を用いた例示による説明(レコメンデーション)*

3. 説明可能AIを活用した異常性分析を踏まえた次なるアクション

前述のような説明可能AIを活用することで、深度ある異常点分析を行えます。これまでの全体の傾向から見て、非常にまれな形で進捗度が変化しているプロジェクトを特定し、担当支店や担当部署ごとの類似プロジェクトの有無などを分析します。その上で、個々の状況を確認するといった全体の傾向を理解した上でのリスクにフォーカスしたアプローチが考えられます。

Ⅴ おわりに

当法人ではこのような分析手法をシステム化した「進捗度異常検知ツール」を開発しており、監査チームに提供するオペレーション体制が整備されています。高度な分析によるリスクに応じたソリューションについて、今後もさまざまな分析ツールを展開予定です。

関連資料を表示

  • 「情報センサー2023年3月号 デジタル&イノベーション」をダウンロード

サマリー

請負業に対する監査における、請負業の会計不正の手口に対応したAI/機械学習を用いた異常点の検知および説明可能AI(貢献度および例示による説明)の技術を用いた異常点の深度ある分析について、その分析手法を紹介します。

情報センサー2023年3月号

情報センサー
2023年3月号

※ 情報センサーはEY新日本有限責任監査法人が毎月発行している社外報です。

 

詳細ページへ

関連コンテンツのご紹介

EY Digital Audit

EY Digital Auditは、さまざまなデータと先端のテクノロジーを活⽤することで、より効率的で深度ある監査を提供します。

詳細ページへ

デジタル

EYでは、デジタルトランスフォーメーションは人間の可能性を解き放ち、より良い新たな働き方を推進するためにある、と考えています。 

詳細ページへ

アシュアランスサービス

全国に拠点を持ち、日本最大規模の人員を擁する監査法人が、監査および保証業務をはじめ、各種財務関連アドバイザリーサービスなどを提供しています。

詳細ページへ

この記事について

執筆者
EY 新日本有限責任監査法人

グローバルな経済社会の円滑な発展に貢献する監査法人

Ernst & Young ShinNihon LLC.

成行 浩史

EY新日本有限責任監査法人 アシュアランスイノベーション本部 パートナー

未来を見据え仲間と共に日々挑戦する。

関連トピック EY Digital Audit
  • Facebook
  • LinkedIn
  • X (formerly Twitter)