「統計の芸術。データから答えを見つける方法 "

目次:

ビデオ: 「統計の芸術。データから答えを見つける方法 "
ビデオ: OECD iLibrary 統計データの見つけ方 (2016) 2023, 2月
「統計の芸術。データから答えを見つける方法 "
「統計の芸術。データから答えを見つける方法 "
Anonim

人間は、本質的に、確率と多数を処理するのが苦手です。私たちは、私たちにとって最も興味深いと思われる情報に注意を払い、他のすべてを無視することを好みます。そして、人々は常にデータを収集して体系化してきましたが、17世紀半ばに発見され、現代の統計の基礎を築いた確率論のおかげで、膨大な量の情報から本当に恩恵を受けることができました。現代の初めから、統計は世界の科学的知識のための重要なツールであり、天文学、生物学、医学において重要な発見をしました。ビッグデータの世界では、統計の基本的な理解が不可欠のようです。本「統計の芸術。データから答えを見つける方法」(Mann、Ivanov、Ferber)、Evgeny Ponikarovによってロシア語に翻訳された、英国の統計学者David Spiegelhalterが、データから世界に関する知識を抽出し、それに関する質問に答えるのに役立つ主要な原則と指標について語っています。 N + 1は、多くのデータから正しい結論を引き出す方法についての文章を読むように読者を招待します。

Image
Image

データからの推論-「帰納的推論」のプロセス

前の章では、何らかの問題があると想定されていました。データを取得し、それを調べて、その要約特性を見つけます。時々、答えはすでに数えたり、測定したり、説明したりしています。たとえば、昨年救急医療に行った人の数を知りたい場合は、データから答えが得られます。

ただし、多くの場合、質問は通常のデータの説明を超えています。たとえば、予測(来年の指標はどうなるか)やレポートを作成したいなど、一連の観測値だけでなく、知りたいこともあります。理由(なぜ数が増えているのですか?)

データから一般化を始める前に、直接観察を超えて世界について何かを学ぶために、あなたは自分自身に質問をする必要があります:「何について学びますか?」これには、複雑なアイデアに取り組む必要があります。 帰納的推論.

シャーロックホームズが犯罪者を見つけるためにそれを使用しているおかげで、多くの人々は演繹について漠然とした理解を持っています。*実生活では、控除は論理のルールを適用して一般的なものから特定のものに移行するプロセスです。国の法律に従って、右側通行が確立されている場合、どのような状況でも右側通行の方が良いという演繹的な結論に達することができます。誘導は逆に機能します。特定のケースに基づいて、一般的な結論を引き出す試みが行われます。たとえば、一部のコミュニティでは、友達の頬にキスをするのが習慣であるかどうかはわかりません。女性がお互いに1回、2回、3回キスするのか、まったくキスしないのかを観察して調べます。帰納と演繹の根本的な違いは、演繹は真の結論を与えるが、一般的な場合、帰納は**ではないということです。

*アーサーコナンドイルは間違っていました:ホームズの方法は控除とは何の関係もありませんでした。彼の推論は誘拐です。控除は、一般的な前提から特定の結果への移行です。古典的な例:1)すべての人が死ぬ。 2)ソクラテスは男です。 3)したがって、ソクラテスは致命的です。前提が真実である場合、演繹は結論の真実を保証します。誘拐では、結論が出て、いくつかの前提を取り戻します。たとえば、サッカーボールが私たちに向かって飛んだ場合、誰かがボールを打ったという誘拐的な結論を出します。または、「すべての人は死ぬ」という最初の前提と「ソクラテスは死ぬ」という結論を持ってみましょう。次に、2番目の前提は「ソクラテスは男だ」であると仮定します。誘拐は私たちの結論の真実をまったく保証するものではありません(たとえば、ボールが特別な大砲から発射された可能性があり、刑事の最初のページで人がピストルで死体に捕まったとしても、それはほとんどの場合彼は殺人者ではなかったことが判明する可能性があります)。ただし、アブダクション推論は明確なガイドラインを提供し、合理的な仮説を立てることができます。著名な論理学者チャールズ・パースは、演繹、帰納、誘拐が基本的な推論の3つの主要なタイプであると信じていました。約あたり。

**帰納は完全または不完全である可能性があります。完全な誘導は結論の真実を保証しますが、不完全な誘導はそうではありません。これが完全な誘導の例です。クラスに30人がいて、全員が試験に合格したとします。 「アレクサンダーが試験に合格した」、「マリアが試験に合格した」など、他のすべての生徒に30個の小包がある場合、「クラス全体が試験に合格した」と結論付けることができます。これは本当の結論になります。ただし、ほとんどの場合、誘導は不完全です。セットの要素の一部だけが何らかの特徴を持っていることを知っており、そのすべての要素がそれを持っていると結論付けます。この場合、結論の真実は保証されません。たとえば、試験に合格した学生が25人だけの情報がある場合、30人の学生全員が合格したと見なすことができますが、この結論はすでに確率的です。約あたり。

図では。 3.1帰納的推論は、データから私たちの研究の最終目標に移行するための手順を示す図として示されています。これまで見てきたように、調査から収集されたデータは、サンプル内の人々の行動について教えてくれます。この情報を使用して、調査参加者になる可能性のある人々の行動を調査し、これから、全国規模での性行動に関するいくつかの予備的な結論を導き出します。

もちろん、生データを見るだけでなく、対象となる母集団について一般的な発言をすることができれば理想的です。統計の標準コースは、観測が完全に偶然に、関心のある母集団から直接行われることを前提としています。

Image
Image

米。 3.1帰納的推論のプロセス:各矢印は「…について何かを教えてくれる」と解釈できます。

ただし、実際にはこれが発生することはめったにないため、プライマリデータから最終目標に移行するための手順全体を検討する必要があります。ただし、Natsalの調査で見たように、問題はすべての段階で発生する可能性があります。

測定の問題です。私たちがデータに取り込むものは、私たちが興味を持っているものを正確に反映していますか?データは次のようになります。

-信頼性-ケースごとのばらつきが少なく、再現性があり正確であると見なすことができるという意味で。

-信頼できる-バイアスなしで必要なものを正確に測定しているという意味で。

たとえば、性別に関する調査の妥当性は、人々が質問されるたびに同じ質問に答え、ほぼ同じように答え、インタビュアーに関係なく、回答者の気分や記憶に基づいているという事実に基づいています。これは、最初と最後に特別な質問をすることである程度確認できます。研究の質はまた、参加者が彼らの経験を体系的に誇張したり軽視したりするのではなく、彼らの性的活動を正直に説明することを要求します。これらはかなり厳しい要件です。

質問自体が特定の回答を支持するバイアスを示している場合、調査は信頼できなくなります。たとえば、2017年、ライアンエアーは、乗客の92%がフライト中に提供したサービスに満足していると発表しました。しかし、結局のところ、満足度調査では、優れた、非常に良い、良い、満足のいく、大丈夫な回答しか提供されませんでした***。

***王立統計学会の誰かがそのような調査方法を批判した後、ライアンエアーの幹部マイケル・オライリーは次のように述べています。メンバーは安価なライアンエアーの休暇を予約する必要があるようだと言った。」別の最近の調査では、ライアンエアーはヨーロッパの20の航空会社の中で最悪の航空会社としてランク付けされました(ただし、ライアンエアーが多数のフライトをキャンセルしたときに実施されたため、この調査には独自の信頼性の問題があります)。

数字を(正または負の方法で)提示する形式が知覚にどのように影響するかはすでに見てきました。同様に、質問の文言が回答に影響を与える可能性があります。たとえば、2015年の英国の世論調査では、16歳と17歳の人々に、欧州連合を去る国民投票に投票する権利を与えることを支持するかどうかを尋ねられました。 52%が賛成、41%が反対であることが判明しました。このように、若者を認識し、力を与えるという観点から策定されたため、ほとんどの人がこの提案を支持しました。

しかし、同じ回答者が国民投票の投票年齢を18歳から16歳に引き下げることを支持するかどうか(前の回答と論理的に同じ)質問されたとき、この考えの支持者の割合は37%に低下し、56%はに対して。したがって、同じ提案がよりリスクの高い自由化の観点から策定されたとき、大多数は反対しました。質問の単純な再定式化により意見が変わりました。

応答は、以前に尋ねられたもの、つまり心理学でプライミング(またはセットの固定、または優先順位の効果)として知られているメカニズムによっても影響を受ける可能性があります。公式の福祉調査によると、若い英国人の10%は自分たちが孤独だと考えていますが、BBCによるオンライン調査では、この回答はより多くの参加者によって選ばれました-42%。おそらく、この指標の増加は、2つの要因によるものです:1)自発的な「研究」における自尊心と2)孤独の問題の前に、回答者が一般的に交際の欠如を経験したかどうかについての長い一連の質問があったという事実、見捨てられた、離れた感じなど。おそらく、これらすべての質問が彼に孤独についての重要な質問に肯定的な答えを与えるように促しました。

と呼ばれる研究の基本的な質に依存します 内部妥当性:観察されたサンプルは、私たちが研究しているグループの特性を反映していますか?ここで、バイアスを回避するための重要な方法、つまりランダムサンプリングにたどり着きます。子供でさえ、ランダムに何かを選ぶことの意味を理解しています-目を閉じて、お菓子の袋に手を入れて、引き出したもののキャンディーラッパーの色を確認するか、帽子からランダムに番号を取ります誰がそれを受け取る(または受け取らない)かを決定します。この方法は、報酬の決定、宝くじの実行、陪審員の任命など、公平性を確保するために何千年もの間使用されており、抽選と呼ばれていました。また、戦争に行く人や海で失われた救命ボートで誰を食べるかを選択するときなど、より深刻な場合にも使用されました。

****占いと混同しないでください[オリジナルでは同様の英語の単語sortitionとsortilegeが使用されています。約あたり。]、これは明らかにランダムな現象が神の意志または未来を決定するために使用される占いの形式であり、クレロマンシーとしても知られています。例は、茶葉、鶏の内臓による占い、神の意志を決定するための聖書のくじ引き、または変化の書(易経)からの占いを含む多くの文化に存在します。

1930年代に世論研究の科学的方法を実際に開発したジョージギャラップは、ランダムサンプリングの価値を理解するためのエレガントなアナロジーを提供し、大きな鍋のスープを沸騰させれば、すべてを食べる必要はないと述べました。十分な調味料が含まれているかどうかを確認してください。スプーン1杯で十分ですが、すべてをよく混ぜるという条件で。この声明の文字通りの証拠は、ベトナム戦争への徴兵の手続きを決定した宝くじの間に1969年に受け取られました。最初に、宝くじが誕生日の順序付きリストを作成し、次に誕生日がリストの一番上にあるものがベトナムに送られました。この手順を公平にするために、366個のカプセルが用意され、それぞれに固有の生年月日があります。カプセルはランダムに箱から取り出されると想定されていました。しかし、彼らはそれらを生年月日に応じて箱に入れ、それらを適切に混合することを気にしませんでした。カプセルを取り出すときに、箱の奥深くに手を入れても問題はありませんが、ビデオが示すように、通常は上からカプセルを取り出します。その結果、年末に生まれた人は最も幸運ではありませんでした。12月31日の26日が選ばれましたが、1月からはわずか14日でした。

適切な混合の考え方は重要です:サンプルから母集団全体に移動する場合は、サンプルが代表的なものであることを確認する必要があります。大量のデータが存在するからといって、良いサンプルが保証されるわけではなく、誤った信頼を植え付けることさえあります。たとえば、2015年の英国総選挙では、サンプルに数千人の有権者候補が含まれていたにもかかわらず、世論調査会社は惨めに失敗しました。その後の調査では、特に電話インタビューの場合、ほとんどの場合固定電話番号のみが呼び出され、実際、これらの呼び出しに応答したのは加入者の10%未満であったため、代表的でないサンプルのせいになりました。そのようなサンプルが代表的なものと見なされる可能性は低いです。

..。最後に、優れた測定値と優れたランダムサンプリングを使用しても、特に関心のある人々にインタビューできなかった場合、結果は調査したい内容を反映していない可能性があります。私たちの研究に 外部妥当性*****.

*****これは、特定の調査の結果をより幅広いクラスのオブジェクトまたは状況に拡張できる可能性を意味します。実際には、得られた結果を任意の母集団、任意の条件、および任意の時間に一般化することは現実的ではありません。したがって、それらは外部の妥当性のある程度の遵守についてのみ語っています。約あたり。

極端な症状とは、対象集団が人で構成されている状況ですが、たとえば、化学物質がマウスに及ぼす影響を分析する場合、動物を研究することしかできません。新薬の臨床試験が成人男性のみを対象に実施され、その後女性と子供に使用された場合、その違いはそれほど劇的ではありません。すべての人への影響を知りたいのですが、統計分析だけでは不十分であり、必然的に仮定を立てて注意する必要があります。

トピックによって人気があります