Science, what are you doing, stop it!
"What is to be done? For a start, it’s high time that we abandoned the well-worn term ‘statistically significant’. The cut-off of P < 0.05 that’s almost universal in biomedical sciences is entirely arbitrary – and, as we’ve seen, it’s quite inadequate as evidence for a real effect. Although it’s common to blame Fisher for the magic value of 0.05, in fact Fisher said, in 1926, that P = 0.05 was a ‘low standard of significance’ and that a scientific fact should be regarded as experimentally established only if repeating the experiment ‘rarely fails to give this level of significance’.
The ‘rarely fails’ bit, emphasised by Fisher 90 years ago, has been forgotten. A single experiment that gives P = 0.045 will get a ‘discovery’ published in the most glamorous journals. So it’s not fair to blame Fisher, but nonetheless there’s an uncomfortable amount of truth in what the physicist Robert Matthews at Aston University in Birmingham had to say in 1998: ‘The plain fact is that 70 years ago Ronald Fisher gave scientists a mathematical machine for turning baloney into breakthroughs, and flukes into funding. It is time to pull the plug.’
The underlying problem is that universities around the world press their staff to write whether or not they have anything to say. This amounts to pressure to cut corners, to value quantity rather than quality, to exaggerate the consequences of their work and, occasionally, to cheat. People are under such pressure to produce papers that they have neither the time nor the motivation to learn about statistics, or to replicate experiments. Until something is done about these perverse incentives, biomedical science will be distrusted by the public, and rightly so. Senior scientists, vice-chancellors and politicians have set a very bad example to young researchers. As the zoologist Peter Lawrence at the University of Cambridge put it in 2007: `hype your work, slice the findings up as much as possible (four papers good, two papers bad), compress the results (most top journals have little space, a typical Nature letter now has the density of a black hole), simplify your conclusions but complexify the material (more difficult for reviewers to fault it!)`
But there is good news too. Most of the problems occur only in certain areas of medicine and psychology. And despite the statistical mishaps, there have been enormous advances in biomedicine. The reproducibility crisis is being tackled. All we need to do now is to stop vice-chancellors and grant-giving agencies imposing incentives for researchers to behave badly."
"What is to be done? For a start, it’s high time that we abandoned the well-worn term ‘statistically significant’. The cut-off of P < 0.05 that’s almost universal in biomedical sciences is entirely arbitrary – and, as we’ve seen, it’s quite inadequate as evidence for a real effect. Although it’s common to blame Fisher for the magic value of 0.05, in fact Fisher said, in 1926, that P = 0.05 was a ‘low standard of significance’ and that a scientific fact should be regarded as experimentally established only if repeating the experiment ‘rarely fails to give this level of significance’.
The ‘rarely fails’ bit, emphasised by Fisher 90 years ago, has been forgotten. A single experiment that gives P = 0.045 will get a ‘discovery’ published in the most glamorous journals. So it’s not fair to blame Fisher, but nonetheless there’s an uncomfortable amount of truth in what the physicist Robert Matthews at Aston University in Birmingham had to say in 1998: ‘The plain fact is that 70 years ago Ronald Fisher gave scientists a mathematical machine for turning baloney into breakthroughs, and flukes into funding. It is time to pull the plug.’
The underlying problem is that universities around the world press their staff to write whether or not they have anything to say. This amounts to pressure to cut corners, to value quantity rather than quality, to exaggerate the consequences of their work and, occasionally, to cheat. People are under such pressure to produce papers that they have neither the time nor the motivation to learn about statistics, or to replicate experiments. Until something is done about these perverse incentives, biomedical science will be distrusted by the public, and rightly so. Senior scientists, vice-chancellors and politicians have set a very bad example to young researchers. As the zoologist Peter Lawrence at the University of Cambridge put it in 2007: `hype your work, slice the findings up as much as possible (four papers good, two papers bad), compress the results (most top journals have little space, a typical Nature letter now has the density of a black hole), simplify your conclusions but complexify the material (more difficult for reviewers to fault it!)`
But there is good news too. Most of the problems occur only in certain areas of medicine and psychology. And despite the statistical mishaps, there have been enormous advances in biomedicine. The reproducibility crisis is being tackled. All we need to do now is to stop vice-chancellors and grant-giving agencies imposing incentives for researchers to behave badly."
Наука, что ты делаешь, прекрати!
«Что должно быть сделано? Для начала самое время отказаться от надетого термина« статистически значимый ». Сокращение P <0,05, которое почти универсально в биомедицинских науках, совершенно произвольно - и, как мы мы видели, что это совершенно неадекватно в качестве доказательства реального эффекта. Хотя обычно Фишер обвиняет в магическом значении 0,05, фактически Фишер сказал в 1926 году, что P = 0,05 является «низким стандартом значимости», и что Факт следует рассматривать как экспериментально установленный, только если повторение эксперимента «редко не дает такого уровня значимости».
«Редко терпит неудачу», как подчеркнул Фишер 90 лет назад, был забыт. Один эксперимент, который дает P = 0,045, даст «открытие», опубликованное в самых гламурных журналах. Так что нечестно обвинять Фишера, но, тем не менее, в том, что физик Роберт Мэтьюз из Университета Астона в Бирмингеме сказал в 1998 году, есть неудобная доля правды: «Простой факт заключается в том, что 70 лет назад Рональд Фишер дал ученым математическую машину для превращение вздора в прорывы, а в счастливое русло Пришло время выдернуть вилку.
Основная проблема заключается в том, что университеты всего мира заставляют своих сотрудников писать, есть ли у них что-то сказать. Это равносильно давлению на углы среза, оценке количества, а не качества, преувеличиванию последствий их работы и, иногда, мошенничеству. Люди находятся под таким давлением, что они создают документы, что у них нет ни времени, ни мотивации для изучения статистики или проведения экспериментов. Пока что-то не будет сделано с этими порочными стимулами, общественность будет доверять биомедицинской науке, и это справедливо. Старшие ученые, вице-канцлеры и политики подали очень плохой пример молодым исследователям. Как сказал в 2007 году зоолог Питер Лоуренс из Кембриджского университета: «афишируйте свою работу, нарежьте результаты как можно больше (четыре статьи хорошо, две бумаги плохо), сожмите результаты (у большинства лучших журналов мало места, типичная буква природы теперь имеет плотность черной дыры), упростит ваши выводы, но усложнит материал (рецензентам будет труднее его винить!) `
Но есть и хорошие новости. Большинство проблем возникают только в определенных областях медицины и психологии. И, несмотря на статистические ошибки, в биомедицине произошли огромные успехи. Кризис воспроизводимости решается. Все, что нам нужно сейчас сделать, - это остановить вице-канцлеров и грант-агентства, которые будут стимулировать исследователей вести себя плохо ».
«Что должно быть сделано? Для начала самое время отказаться от надетого термина« статистически значимый ». Сокращение P <0,05, которое почти универсально в биомедицинских науках, совершенно произвольно - и, как мы мы видели, что это совершенно неадекватно в качестве доказательства реального эффекта. Хотя обычно Фишер обвиняет в магическом значении 0,05, фактически Фишер сказал в 1926 году, что P = 0,05 является «низким стандартом значимости», и что Факт следует рассматривать как экспериментально установленный, только если повторение эксперимента «редко не дает такого уровня значимости».
«Редко терпит неудачу», как подчеркнул Фишер 90 лет назад, был забыт. Один эксперимент, который дает P = 0,045, даст «открытие», опубликованное в самых гламурных журналах. Так что нечестно обвинять Фишера, но, тем не менее, в том, что физик Роберт Мэтьюз из Университета Астона в Бирмингеме сказал в 1998 году, есть неудобная доля правды: «Простой факт заключается в том, что 70 лет назад Рональд Фишер дал ученым математическую машину для превращение вздора в прорывы, а в счастливое русло Пришло время выдернуть вилку.
Основная проблема заключается в том, что университеты всего мира заставляют своих сотрудников писать, есть ли у них что-то сказать. Это равносильно давлению на углы среза, оценке количества, а не качества, преувеличиванию последствий их работы и, иногда, мошенничеству. Люди находятся под таким давлением, что они создают документы, что у них нет ни времени, ни мотивации для изучения статистики или проведения экспериментов. Пока что-то не будет сделано с этими порочными стимулами, общественность будет доверять биомедицинской науке, и это справедливо. Старшие ученые, вице-канцлеры и политики подали очень плохой пример молодым исследователям. Как сказал в 2007 году зоолог Питер Лоуренс из Кембриджского университета: «афишируйте свою работу, нарежьте результаты как можно больше (четыре статьи хорошо, две бумаги плохо), сожмите результаты (у большинства лучших журналов мало места, типичная буква природы теперь имеет плотность черной дыры), упростит ваши выводы, но усложнит материал (рецензентам будет труднее его винить!) `
Но есть и хорошие новости. Большинство проблем возникают только в определенных областях медицины и психологии. И, несмотря на статистические ошибки, в биомедицине произошли огромные успехи. Кризис воспроизводимости решается. Все, что нам нужно сейчас сделать, - это остановить вице-канцлеров и грант-агентства, которые будут стимулировать исследователей вести себя плохо ».
У записи 1 лайков,
0 репостов.
0 репостов.
Эту запись оставил(а) на своей стене Key-G B-Tee
