Оригінал: Business Advice Plagued by Survivor Bias
Автор Jason Cohen, засновник WP Engine і Smart Bear Software
Ви читаєте бізнес-блоги, написані авторами, що зфейлили тричі, без жодного успіху?
Ні, тому що ви хочете вчитись на успіхові і про вивчені уроки не хочете чути від чувака, котрий сам ті уроки ще не вивчив.
Між тим, факт, що ви вчитесь лише на успіхові, несе проблеми глибші, ніж можна собі уявити.
Деякі історії покажуть вам весь жах цієї помилки.
Дірки від куль. Головоломка.
Під час Другої Світової Війни англійці щоденно посилали бомбардувальники на Германію. Багато літаків ніколи не повертались. А ті, котрим це вдавалось, часто були пошкоджені німецькими винищувачами чи зенітками.
Бажаючи покращити шанси екіпажу повернутись додому живим, англійські інженери вивчали місцезнаходження кульових отворів. Вони міркували так: де літаки ушкоджені найбільше, там потрібно зробити додатковий захист бронею. Зазвичай, кулі були зосереджені на крилах, хвості, позаду – на місці стрілка. Зовсім мало куль знаходили в основному кокпіті чи на паливних баках.
Логічним був би такий висновок: потрібно укріпити ті місця, де було найбільше куль. Однак це не так.
Літаки з кулями в кокпіті чи паливних баках не повернулись додому; кульові отвори в літаках, що повернулись були знайдені в місцях, які були менш критичні. Важливі дані були на літаках, котрі були збиті, а не на тих, що повернулись!
Це – буквальний приклад “помилки виживших” (“survivor bias”) — висновків на підставі доступних чи зручних даних, що призводить до систематичного впливу на результати.
Ви не думаєте, що більшість бізнес порад страждають від такої помилки? Ви читаєте про успіх, але як щодо бізнесів, котрі “ніколи не повернулись додому?” Як і падаючі літаки, вони можуть містити більше уроків, ніж успішні.
Приховування інших доказів
Наукові видання люблять публікувати екстраординарні результати таким чином, що результати, котрі не показують статистичної значимості приховуються, загублені, або частіше тихенько лежать в кабінетних шафах.
Така практика називається “ефектом ящика для документів”(“file-drawer effect”) і є особливо підступною формою помилки виживших тому що є невидимою. Пітер Норвіг красиво підсумовує:
Коли в опублікованій роботі пишуть “статистично це могло статись випадково один раз з двадцяти”, то цілком можливо, що подібні експерименти і були проведені двадцять разів, але не були опубліковані
Фармацевтичні компанії використовували цей ефект щоби навмисне спотворювати результати. Все стало настільки погано, що тепер видання закликають публікувати повні бази даних аби запобігти шахрайству:
Більше двох третин досліджень антидепресантів, призначених дітям, наприклад, виявили, що препарати були нічим не кращі від таблеток цукру, проте компанії публікували лише позитивні спроби.
Якщо би всі дослідження були зареєстровані з самого початку, лікарі змогли би побачити, що позитивні дані складали лише невелику частину від загальної кількості.
Ви не думаєте, що більшість ділових порад страждають від цієї помилки? Знамениті тематичні дослідження Гарвардської Бізнес школи містять лише історії успіху. Перефразовуючи Пітера: що, якщо двадцять інших кав’ярень мали ту ж ідею, той самий продукт і працювали з такою ж самою самовіддачею, як і Starbucks, але прогоріли? Який тоді урок ми можемо отримати з успіху Starbucks?
Експериментальний доказ ЕСЗ
Професор Джозеф Рін привніс строгість експериментальної психології у вивчення паранормальності та ЕСЗ (екстрасенсорних здібностей) зокрема. Він наробив галасу в 1930 році зі своїми контрольними тестами стосовно того що людина здатна передбачити розміщення перетасованих карт Зенера (з символами типу круга, квадрата, зірки і хвилястих ліній).
В типовому експерименті 500 людей тестувались на наявність “сильних телепатичних здібностей”, що означало значно вищий рівень вгадувань у порівнянні з середньостатистичними даними при роботі з колодою у 25 карт. Вибрані були перевірені ще раз після чого ще більше людей відсіялось. Після третього тесту залишилась одна людина і було зроблено висновок, що така повторюваність є статистичним доказом існування ЕСЗ.
Щоб зрозуміти чому це є лише черговою “помилкою виживших” розглянемо наступний експеримент. Я припускаю, що деякі люди є “крутіші” від інших, коли мова йде про кидання монети і отримують “орла” частіше, ніж можна було би очікувати. Тож я саджаю 1000 людей в кімнату і кажу їм кидати монету 10 разів. Очевидно, певна жінка Маргарет викидує “орла” десять разів підряд! Ймовірність такого результату складає лише 1 на 1024, тож я вирішую, що Маргарет має суперздібності.
Взагалі-то останнє твердження істинне, проте вводить в оману. Імовірність, що саме Маргарет викине монету “орлом” 10 разів підряд – 1 до 1024, але це не той експеримент, котрий я проводив? 1000 людей кидає монети і мені потрібно “знайти” Маргарет у натовпі.
Імовірність того, що хтось у натовпі з тисячі людей викине монету 10 разів підряд “орлом”, складає колосальні 62%! Через те, що багато людей намагаються повторити подвиг, трапляються речі, які зазвичай трапляються рідко. І це взагалі не є тестом здібностей Маргарет!
Ви не думаєте, що більшість бізнес порад страждають від цієї помилки? Візьмемо мене, наприклад. Я запустив три підряд успішних стартапи. І це доводить, що я знаю що я роблю і вам слідувало би робити те саме, правильно? За винятком, можливо того, що я є одним з цілого натовпу, хто вгадав три карти Зенера підряд і немає жодних причин вірити і те, що я зроблю це четвертий раз.
Конкретні приклади помилки виживших у бізнес-порадах
Дотепер я задавав риторичне запитання стосовно помилки виживших: чи може вона серйозно спотворювати бізнес пораду. Стівен Левітт (у відомій Фрікономіці) безпосередньо досліджує цю проблему.
Він читав Good to Great Джима Колінза, де проаналізовані 11 компаній, котрі спершу були дуже посередні — просто на грані виживання — однак з часом перетворились на сенсації фондового ринку. В книзі робиться висновок, що спільною їх рисою була “культура дисципліни” Ця книга продавалась мільйонними тиражами, тож була хорошим прикладом популярної бізнес-літератури.
Однією з одинадцяти “великих” компаній була Fannie Mae, і Стівен Левітт читав цю книгу якраз тоді, коли Fannie Mae агонізувала у фінансовій катастрофі. Хм, подумав він, цікаво, як почувають себе інші “великі” компанії.
Виявляється, якби у 2001 році (коли вийшла книга) ви інвестували в ці 11 компаній, ваш портфель на S&P зменшився би у 500 разів! (Fannie Mae не була єдиним прикладом тотальної катастрофи — не менш захопливо збанкрутувала описана там же Circuit City.)
Як сталось, що ці компанії не залишились успішними? Виявляється Джим перебрав 1435 компаній, шукаючи хороших кандидатів для книги і вибрав одинадцять. Експеримент з ЕСЗ повторився знову!
Крім того Джим не поцікавився відносно “культури дисципліни” у інших 1424 компаній. Можливо це – щось, що інші компанії теж мають – незалежно від ефективності.
Чи є ця книга винятковою? Нє-а, Стівен дослідив іншу бізнес книгу 1980 року — In Search of Excellence — і виявив у ній той самий ефект.
І тоді Стівен прийшов до того самого висновку, що і я:
Бізнес книги в основному мають ретроспективне бачення: що компанії зробили для того щоби стати успішними? Майбутнє завжди важко передбачити і розуміння минулого є важливим; з іншого боку – автори цих книг натякають на те, що принципи компанії, які зробили її успішною у минулому, робитимуть її успішною і надалі.
І наскільки це не є правдою, настільки воно ставить під сумнів цілу книгу, правда?
Упс, а я перевірив свій блог?
Пізніше я задавався питанням – чи дійсно більшість бізнес порад – як моїх, так і чужих – є випадками помилки виживших. Я маю на увазі, що не починав у Smart Bear з вантажем філософії на нав’язливих ідей стосовно того ким є споживачі і навіть того що вони би хотіли.
Як я можу знати, що ця апостеріорна філософія і мої поради теж не є помилкою виживших? І чи не є я подібним до того адепта ЕСЗ, успішного не через силу природи, а лише шанс вижившого?
Чи, можливо, я – як професор Рін зі своїм експериментом з ЕСЗ – переконаний, що знайшов щось важливе з “об’єктивними мірами успіху” — хочча живу при цьому у вигаданому світі.
Більше того, звідки ви, дорогий читач, знаєте, що мої поради уникають цієї помилки?
Зрештою, звичайно ви не знаєте. Але ось що: сам факт того, що ви знаєте про помилку виживших означає те, що ви не дасте їй себе ошукати так просто. Тож, читаючи цей пост, ви напевно собі дещо допомогли.
Крім того, віддавайте перевагу порадам, котрі примушують вас думати і відповідати на складні запитання самому собі, а не поради, котрі просто кажуть куди вам рухатись. Використовуйте поради як щит, а не як євангеліє.
