箱ひげ図の外れ値はなぜ1.5倍?計算式と除外すべきかの判断基準
箱ひげ図の外れ値はなぜ1.5倍?計算式と除外すべきかの判断基準に関する基本知識をわかりやすくまとめました。詳細を読もうことができます。
ネット上の簡易的な解説記事やQ&Aサイトにおいて、頻繁に見受けられる危険な誤解があります。それが「箱ひげ図で外れ値が出たら、平均値が歪むので分析対象から除外して再集計するのが正しい」という言説です。現場のデータサイエンティストや品質管理部門のプロフェッショナルから見れば、これは極めて危険な行為と言わざるを得ません。
外れ値には、本質的に異なる「2つの種類」が存在します。外れ値の除外基準と扱い方を判断する際、まず見極めるべきは以下の分類です。
- 測定誤差・誤入力による「エラー外れ値」:入力ミス(100と打つべきところを誤って10000と入力した等)や、計測センサーの一時的な通信エラー、アンケートにおける明らかな悪意のいたずら回答など。これらは母集団の実態を反映していない純粋なノイズであるため、即座に除外(または修正)すべき対象です。
- 現実世界の真の偏りを示す「ナチュラル外れ値」:ECサイトにおけるごく一部の超高額購買層(VIP顧客)、工場の製造ラインで稀に発生する重大欠陥、新薬の臨床試験で発生した重篤な副反応など。これらは母集団のリアルな実態であり、絶対に削除してはならない貴重なシグナルです。
ビジネスの現場で「売上分析で数名の超富裕層顧客を外れ値だからと除外してキャンペーンを打った結果、売上の大半を支えていた購買層へのアプローチを完全に失念した」といった失敗事例は枚挙に暇がありません。外れ値とは「消し去るべき邪魔者」ではなく、「なぜその値が発生したのかという因果関係を深掘りするための発見の種」であると認識を改める必要があります。