「全部テストします」の見積りは、なぜ膨らむのか。アップグレードの費用を、リスクから組み直す
脆弱性への対応でミドルウェアを更新するとき、見積りが想定の何倍にもなることがあります。値引きを求めるのではなく、テストの範囲を根拠から決め直して費用を下げた進め方をご紹介します。
稼働中のシステムで使っているミドルウェアに、脆弱性が見つかる。Node.js や PHP のような、システムの土台にあたるソフトウェアです。放置はできないので、保守を委託している開発会社に、新しい版への更新(アップグレード)を依頼します。
届いた見積りは、想定の何倍もの金額でした。機能は、何も増えません。
弊社は、このような場面で発注者の側に立ち、見積りを組み直すご支援をしています。実際に行った進め方をご紹介します。
見積りが膨らむのは、開発会社が不誠実だからではない
見積りの内訳は、大半がテストでした。すべての画面の、すべての操作を、人の手で確かめ直す計画になっていました。
これは、開発会社の立場からは合理的な判断です。土台を入れ替えれば、どこに影響が出るかは、動かしてみなければ分かりません。更新のあとで不具合が出れば、責任を問われるのは開発会社です。どこまで確かめれば十分なのかを誰も示していない以上、すべてを確かめるという前提で費用を積むほかありません。
つまり、見積りが膨らむ原因は、作業の量ではなく、「どこまでのリスクなら受け入れられるのか」が決まっていないことにあります。そしてこれは、開発会社には決められません。決められるのは、業務を知っている発注者だけです。
そこで弊社は、金額の交渉に入る前に、3つのことを調べました。
1. 許容できるリスクの範囲を、業務の側から決める
最初に、システムの機能を、不具合が出たときの影響の大きさで仕分けました。
- 止まってはならない機能: お客様が直接使う機能、売上や契約にかかわる機能、データを書き換える機能
- 不具合が出てから直しても間に合う機能: 管理画面での集計や分析のような、データを参照するだけの機能
参照するだけの機能は、仮に表示が崩れても、データそのものは壊れません。使うのは社内の担当者に限られ、直るまでの数日を別の方法でしのぐこともできます。クライアント様との結論は、「問題が出たら、その都度直す」で差し支えない、というものでした。
この仕分けだけで、人の手で念入りに確かめる対象は、全体の一部に絞られます。
2. アップグレードそのもののリスクを査定する
次に、「土台を入れ替えると、実際にどの程度壊れるのか」を調べました。
版が上がるときに何が変わるのかは、公開されています。廃止される機能、動作が変わる機能の一覧と、システムのソースコードを照らし合わせれば、影響を受ける箇所を具体的に挙げられます。あわせて、システムが利用しているライブラリの一つひとつについて、新しい版に対応しているか、あわせて更新が必要かを確認しました。
査定の結果は、「リスクは低い」でした。動作が変わる機能を使っている箇所は限られ、更新が必要なライブラリも一部にとどまっていたためです。
「どこが壊れるか分からない」という状態が、「壊れうるのは、この箇所とこの箇所」に変わりました。
3. 自動テストがどこまで整っているかを調べる
最後に、システムの動作を機械的に確かめる自動テストが、どの範囲に用意されているかを調べました。
結果は、ほとんど整備されていない、というものでした。
これが、見積りが膨らんだもう一つの原因です。自動テストがあれば、土台を入れ替えたあとに実行するだけで、主な動作を短時間で確かめられます。それがないために、すべてを人の手で確かめる計画になっていたのです。
テストの範囲を計画にして、開発会社と話す
3つの調査の結果をもとに、テストの範囲を次のように整理し、計画としてまとめました。
| 区分 | 対象 | 確かめ方 |
|---|---|---|
| 重点 | 止まってはならない機能と、査定で影響がありうると分かった箇所 | 人の手で、手順を決めて確かめる |
| 基本 | そのほかの主な機能 | 主な操作が通ることを確かめる |
| 事後対応 | 参照するだけの管理機能 | 事前には確かめず、公開のあとに問題が出たら直す |
あわせて、公開のあとに問題が出た場合に元の版へ戻す手順と、公開後に重点的に見守る期間も決めました。
この計画をもって、開発会社と協議しました。ここで重要なのは、事後対応とした範囲のリスクは、発注者が引き受けると明示したことです。開発会社は、すべての責任を負う前提で費用を積む必要がなくなります。根拠のある範囲が示されれば、開発会社にとっても、見積りを見直す理由ができます。
最終的な費用は、当初に想定していた予算を下回りました。
次のアップグレードに備える
ミドルウェアの更新は、一度では終わりません。サポートの期限は数年ごとに訪れ、脆弱性は今後も見つかります。そのたびに同じ議論と、同じ規模の手作業を繰り返すことになります。
そこで弊社は、止まってはならない機能に絞って、自動テストを整備することをご提案しました。すべての機能を対象にする必要はありません。今回「重点」に区分した範囲を機械で確かめられるようにしておけば、次の更新では、その部分の手作業をほぼ省けます。更新のたびにかかる費用が下がり、脆弱性が見つかってから対応するまでの期間も短くなります。
見積りが高いと感じたら
高いと感じた見積りに対して値引きを求めても、多くの場合、解決には至りません。開発会社が費用を積む理由、すなわち範囲が定まっていないという課題が、そのまま残るためです。
必要なのは、範囲を定めるための材料です。どの機能を守り、どの機能は事後の対応でよいのか。更新によって、実際にどこが影響を受けるのか。機械で確かめられる範囲は、どこまであるのか。
脆弱性への対応は、今後も継続して発生します。弊社は、セキュリティ対策支援の一環として、発注者の立場からのリスクの査定、テスト範囲の計画、開発会社との協議、自動テストの整備までをお引き受けしています。現在の開発会社を変更する必要はありません。