先だってイギリスの化学系サイトCompound Interestで「ニセ科学を見抜くための指針」がまとめられ、この翻訳版が医科学系ブログ「うさうさメモ」にて発表されました。
これ、すごく良い内容なのでみんなも見て見てー! (*´艸`*)
「ダメな科学」を見分けるための大まかな指針
- 扇情的な見出し
- 記事の見出しは往々にして、読者に「クリックしたい」「読みたい」と思わせるように作られています。研究結果が単純化されすぎているのはまだマシな方で、ひどい場合には、内容が誇張されていたり、歪められていたりします。
- 結果の曲解
- 意図的かどうかはともかく、ニュース記事では、「よくできた話」にするために、研究結果をねじ曲げたり、曲解したりしていることがあります。記事を鵜呑みにせず、できれば、研究内容の原典を読んでみましょう。
- 総益相反
- 多くの企業が、研究や論文発表のために科学者を雇っています。そういった研究が必ずしも無効であるとはいえませんが、そのことを念頭において解釈する必要があります。また、個人的または金銭的な利益のために、研究内容が偽って伝えられることもあります。
- 相関関係と因果関係の混同
- 相関関係と因果関係を混同しないように注意しましょう。「二つの変数が相関関係ある」ことは、必ずしも「一方が他方の原因である」ことを示しません。地球温暖化は1800年代から進行しており、同時に海賊の数も減少していますが、海賊不足は地球温暖化の原因ではありません。
- 推測表現
- 研究結果からの推測は、まさに、単なる推測でしかありません。「~だろう」「~かもしれない」「~の可能性がある」等の言葉には警戒しましょう。このような表現が用いられている場合、その結論の確かな証拠が研究によって得られているとは考えにくいからです。
- 小さすぎるサンプルサイズ
- 試験では、サンプルサイズが小さくなるほど、得られる結果の信頼性が低くなります。サンプルサイズが小さくなるのを避けられない場合もありますが、そこから導き出された結論については、上記のことを念頭に置いて検討するべきです。サンプルサイズを大きくすることが可能なのにそれを避けている場合には、疑念を抱く理由になるかもしれません。
- 代表的でないサンプル
- ヒトを対象とした試験において、研究者は、母集団を代表するような個人を抽出するように努めています。もしサンプルが母集団全体と異なるものであれば、試験の結論もたぶん異なってしまうでしょう。
- 対照群がない
- 臨床試験においては、試験の対象となる物質を投与した「実験群」と、投与しない「対照群」の結果を比較しなければなりません。また、実験群と対照群は、無作為に割り付けなければなりません。一般的な実験では、変数をすべて統制したものを対照実験とします。
- 盲検試験が行われていない
- バイアスを排除するために、自分が実験群なのか対照群なのかを被験者に知らせてはいけません。二重盲検試験では、研究者でさえも、試験終了までは、どの被験者がどちらの群かを知りません。(注意)盲検試験が必ずしも実現可能、あるいは倫理的でないことがあります。
- 結果のいいとこ取り
- データの中から、結論を支持するようなものを採用し、そうでないものを無視するやりかたです。すべての結果ではなく、選択した結果から結論を導いている研究論文は、「いいとこ取り」をしているかもしれません。
- 結果に再現性がない
- 結果は独立した研究によって再現されなければなりません。また、一般性を保証するためには、(可能な範囲で)様々な条件で確認されなければなりません。途方もない主張には、それ相応の証拠が求められます-つまり、1つの研究だけでは、まったく不十分です!
- ジャーナルと引用数
- 主要なジャーナル(専門誌)に発表された研究は、査読の過程を経たものですが、それでもまだ不備がある可能性はありますから、このガイドラインに書かれている注意点を念頭に置いて評価しなければなりません。同様に、その研究の引用数が多いからといって、必ずしも高く評価されているとは言えないこともあります。
(´・ω・`){ゴメン…おちさん12個も覚えられない
厳密な文章は読み手を選ぶ
…とは言え書かれてる事は理解出来ます。間違いなく有益な情報です。翻訳の経緯も大体追ってますので、どうしてこの形になったかも判ります。ただ、科学的に誠実で厳密な文章はどうしても読み手を選んでしまう。
それに、この表に書かれてる心構えをそれなりに理解出来ていても理論武装されたあらゆるデマを即座に見破る事はなかなか難しいでしょう。私も異分野の商品を言葉巧みに迫られたら論破できる自信ありません。
…という大卒理系が世の中にはゴロゴロいるだろうという前提で、このポスターが読みこなせない場合の心構えを考えてみました。
「それらしい嘘」に騙されないための三箇条
何事も自分の頭で判断するのがベストでしょうが、世界はとても複雑です。ちょっと考えたり調べても判らない事は詳しい人に聞かないと判りません。ただし相談する相手は選ぶべき。
専門家に聞く
いくら名門大学出身で頭が良くても文学部の人に健康食品のこと聞いてもほとんど意味ありません。疑問は知り合いの中で一番詳しそうな人に聞いて下さい。餅は餅屋に。
そのものズバリの専門家はなかなか見当たらないものですが少しでも専門に近そうな人を探して下さい。できたら複数の人に聞きましょう。
「友達に聞いたんだけど」は眉唾で、なるべく当事者の意見を。病気に関する話題なら医療関係者と患者では違うこと言うかも知れませんがどちらもある種の真実でしょう。ただし各意見の信頼性はそれぞれ違います。(後述)
メディアに出てる専門家の意見を参考にするときは、必ずその人の専門を確認します。本来の守備範囲とは違う主旨の番組に出てる専門家は既に専門家ではありません。誰がどういう立場でその問題に関わってるかを意識するの大事です。
素人集団による多数決は禁止
身の回りに専門家らしき人が見つからないからと言って素人ばかりが集まって多数決を取るのは避けましょう。詐欺師は素人が陥りやすい思考パターンを知り尽くしてます。
食虫植物の世界 ―420種 魅力の全てと栽培完全ガイド [ 田辺直樹 ]【楽天】 / 【Amazon】 素人意見 is to be 思うツボ |
決めかねたらひとまず判断を保留するのも手です。冷静で誠実な人が即断を迫ることはまずありません。
「わからない」と言う人の意見を優先する
もし、誰の意見を信じて良いか分からなくなったら条件付きで「わからない」と言う人の意見を尊重して下さい。
ものを聞かれて「わからない」と答えるのはズブの素人と一定以上詳しい人だけです。特に「Aは○○だけどBの事はよく知らない」のような意見は不実に見えがちですが、知ってる事と知らない事の境界を発言者が区別できてる点で信頼性が高いと言えます。
そうして優先順位をつけた意見の束を「現時点の部分最適解」として、引き続き優れた意見を補完していくのが良いんじゃないかと思います。
「ダメな科学を見分けられる人」を見極めるところから
信頼性の判断基準は糸井重里さんの話が秀逸だと思ってます。
ぼくは、じぶんが参考にする意見としては、「よりスキャンダラスでないほう」を選びます。「より脅かしてないほう」を選びます。「より正義を語らないほう」を選びます。「より失礼でないほう」を選びます。そして「よりユーモアのあるほう」を選びます。
https://twitter.com/itoi_shigesato/statuses/62361426609704960
冒頭のポスターは、この基準を満たす人に見せたら良いです。おそらく大きくうなずいて、その理由を丁寧に説明してくれることでしょう。
Compound Interest – A Rough Guide to Spotting Bad Science
「ダメな科学」を見分けるための大まかな指針」のポスター – うさうさメモ
元記事・関連記事はもちろん、他のお話も是非。
基準値のからくり 村上 道夫, 永井 孝志, 小野 恭子, 岸本 充生【楽天】 / 【Amazon】
自分向け備忘録その1 |
「ニセ医学」に騙されないために [ NATROM ]【楽天】 / 【Amazon】
自分向け備忘録その2 |
「公平な専門家」など実はどこにも存在しない
【本章追記:2015/11/02】「わかんないことがあったら専門家に聞くのが一番」とか書いておいてアレですが、実は専門家なんてどこにもいません。だって世界は複雑だもの。
専門家とは一体誰の事なのか
「餅は餅屋」で思い出した、震災直後の話。
「科学者に言いたいこと、ないですか?」 – tetzlgraph てつるぐらふ
果たして「餅屋」とは何なのだろうな、と。
地震はプレートテクトニクス、津波は流体力学、建物は建築、核反応は原子力工学、(中略)植物が取り込めば植物生理学、それを食べるためには食品加工学と食品衛生学(ようやく自分のフィールドが出てきた)。食べたらこんどは医学生理学の話になる。
当然それぞれ法や政治や経済の話が絡む訳で、さてこの中で餅屋とは誰なんだろうなあ、と途方にくれるのです。もちろん時期に応じて変わってくるのでしょうが、「餅は餅屋」のマインドセットは細分化と複雑系の時代に合わないのかなあとぼんやり思いました。
社会が細分化されて全体像が見えにくくなってるの、実感として良く判ります。
だとしてもやっぱり「専門家」は存在するし、いて欲しいという立場です。どんなエキスパートでも特定ジャンルに発生する疑問を隅から隅まで即答することなんて出来やしないのだし。
「専門家」を名乗れる条件
ただし「専門家」を名乗るには1つだけ条件があって、「当事者意識を持って体系的に学んだ人」であること。幾ばくかの権利と引き替えに発言への責任と立ち位置が明確になるからです。
一人の人間から発せられる情報は多かれ少なかれ偏っている。だから「周辺専門家」の話を何人も取って力のつり合いを見る必要がある。そこが「正しく疑う」ためのスタート地点です。
そこで最後に引きたい発言が放射線医PKA先生のこれ。
複数の専門家が全く別々に同じことを言っている、というのが重要なのです。偏った人が言ってるのでも、偏った人が書いた物に載ってるのでも、偏った人同士が誤情報を共鳴させてるのでもなく、ちゃんとした共通認識なんだってことが分かる。
https://twitter.com/PKAnzug/status/350689681056342016
テレビに出てくる「専門家」が胡散臭い理由
「専門家」って本来凄く相対的な存在なのに、テレビや雑誌やイベントで同じ人ばかり連れてきて「専門家にズバリ聞いちゃいました」とかやるから変なことになるわけです。
「ズバリ一言で」はダメ、ゼッタイ。
【 更新履歴等 】
2014/06/26 初稿発表
2014/06/29 『餅は餅屋に聞け!?「公平な専門家」など実はどこにも存在しない』公開
2015/11/02 追稿をまとめました
316 /2014/06/29/who_is_an_expert/
旧はてブ:「それらしい嘘」に騙されないため全人類が気をつけるべき三箇条16Users
2957 /2014/06/26/anti_bad_science/
コメントをどうぞ(´ω`*)