頂尖學(xué)術(shù)期刊的同行評(píng)審存在問題？一篇《自然》論文引發(fā)爭議
來源：http://www.jamesyang.com/
編譯 | 施佳鑫（《知識(shí)分子》特約撰稿人、香港科技大學(xué)碩士研究生）
責(zé)編 | 陳曉雪
● ● ●
同行評(píng)議是主流國際學(xué)術(shù)期刊決定一篇文章是否錄用的重要制度，除了期刊編輯外，同一領(lǐng)域的匿名評(píng)審人對(duì)來稿扮演著“把關(guān)人”的角色。正是這項(xiàng)制度的存在，才保證了期刊論文的質(zhì)量，然而，這項(xiàng)制度也并不是完美無缺。
最近，《自然》(Nature)雜志發(fā)表的一篇關(guān)于人類壽命極限的論文迅速吸引到媒體和學(xué)界的關(guān)注，BBC和《紐約時(shí)報(bào)》均對(duì)該論文做了報(bào)道。論文的研究方法也隨之遭到多方質(zhì)疑，甚至有同行認(rèn)為《自然》這樣的頂級(jí)刊物不應(yīng)該發(fā)表這一研究。荷蘭《新鹿特丹商報(bào)》(Nieuwe Rotterdamsche Courant)首先揭開了該文審稿過程的曲折，并引發(fā)學(xué)界關(guān)于期刊同行評(píng)議的討論。
假設(shè)與數(shù)據(jù)相符可能只是巧合？
去年10月，美國阿爾伯特愛因斯坦醫(yī)學(xué)院(Albert Einstein College of Medicine)的遺傳學(xué)家Jan Vijg和其團(tuán)隊(duì)的博士后董瀟、博士生Brandon Milholland在《自然》發(fā)表了題為“人類壽命極限的證據(jù)”(Evidence for a Limit to Human Lifespan)的研究，宣稱世界上最長壽命自1995年起就不再增長了，“人類的壽命的極限大約是114.9歲”。 實(shí)際上，最長壽命紀(jì)錄的保持者是1997年去世的法國女子Jeanne Calment，她活了122歲。文章指出，從統(tǒng)計(jì)學(xué)上來說，人類活到122歲的概率幾乎可以忽略不計(jì)。
這一研究主要基于兩個(gè)全球長壽老人數(shù)據(jù)庫，運(yùn)用統(tǒng)計(jì)分析來說明世界最長壽命在1995年出現(xiàn)轉(zhuǎn)折點(diǎn)。研究人員發(fā)現(xiàn)，自20世紀(jì)中至1995年，世界最長壽命持續(xù)上升，而1995年后出現(xiàn)了下降趨勢(shì)。
下面的兩張圖是文章的核心部分，展現(xiàn)了這一趨勢(shì)。圖1出現(xiàn)在正文，圖2用了另一數(shù)據(jù)庫，作為材料補(bǔ)充出現(xiàn)在附錄。
?圖1
?圖2
值得注意的是，Vijg先假定有以上趨勢(shì)，再用統(tǒng)計(jì)方法擬合出以1995年為分界點(diǎn)的兩條潛在的“趨勢(shì)線”。
荷蘭烏得勒支大學(xué)(Universiteit Utrecht)的方法學(xué)與統(tǒng)計(jì)學(xué)教授Peter van der Heijden就文章數(shù)據(jù)提出質(zhì)疑：“分析數(shù)據(jù)前，先要有非常可靠的理論背景。當(dāng)只是用你的數(shù)據(jù)來推測(cè)存在這樣一個(gè)轉(zhuǎn)折點(diǎn)，你所發(fā)現(xiàn)的很有可能只是巧合?！彼赋?，文章研究中1995年后的下降趨勢(shì)僅僅是基于122歲的Calment和另外11個(gè)長壽老人的壽命得到的，樣本量非常有限。
統(tǒng)計(jì)學(xué)上用顯著性水平來判斷根據(jù)樣本模擬出的趨勢(shì)在多大程度上接近真實(shí)情況，一般認(rèn)為95%的顯著性水平是可以接受的，實(shí)際上，根據(jù)Vijg等人的論文，第二段趨勢(shì)線并沒有達(dá)到95%的顯著水平（P=0.27，P值越小，表明結(jié)果越顯著），意味著真實(shí)的最長壽命隨著年份的變化不一定是下降，它也可能是上升或者不變。
在《新鹿特丹商報(bào)》的采訪中，Vijg回應(yīng)說，“你不需要用統(tǒng)計(jì)學(xué)來說明你用眼睛就能看出的東西”，他認(rèn)為，人類最長壽命以1995年為轉(zhuǎn)折點(diǎn)、先升后降的趨勢(shì)很明顯。
而《新鹿特丹商報(bào)》的制圖員利用GRG數(shù)據(jù)重新制作了圖表，不同的是，他去掉了論文中的兩條斜線，把所有點(diǎn)換成同一個(gè)顏色，并且未將數(shù)值近似，這樣得到的圖就很難看出先升后降的趨勢(shì)了。
除了一些非正式的批評(píng)，荷蘭跨學(xué)科人口研究所(Netherlands Interdisciplinary Demographic Institute)的博士候選人Ilya Kashnitsky在經(jīng)同行審查的在線論文發(fā)表平臺(tái)Publons上發(fā)表文章批評(píng)Vijg等人的研究。
他就數(shù)據(jù)選取、異常值處理和對(duì)不同國家、不同世代的壽命差異的忽視等方面提出了質(zhì)疑。例如，Vijg等人只使用數(shù)據(jù)庫中法、日、英、美等國的數(shù)據(jù)，他們的理由是“這幾個(gè)國家是長壽老人最多的國家”，而Kashnitsky認(rèn)為這么選取數(shù)據(jù)缺乏足夠的理由。另外，Kashnitsky認(rèn)為分析數(shù)據(jù)時(shí)應(yīng)去除異常值，因?yàn)槭欠癖Ａ舢惓Ｖ祵?duì)結(jié)果的影響很大，而Vijg等人認(rèn)為丟掉異常值意味著丟掉40%的數(shù)據(jù)，因此保留了異常值。
關(guān)于統(tǒng)計(jì)結(jié)果的批評(píng)，在《新鹿特丹商報(bào)》的報(bào)道中，Vijg反駁說：“我們的統(tǒng)計(jì)系認(rèn)為這么做沒問題，而且兩個(gè)評(píng)審人本身也是人口學(xué)家，他們應(yīng)該知道對(duì)不對(duì)，是吧？”Vijg的這番話也反映了許多人對(duì)“同行評(píng)審”的觀點(diǎn)，那就是，能夠通過同行審查的學(xué)術(shù)文章想必是沒有什么問題。
最初被拒
“這么頂尖的雜志發(fā)表這一研究，令人沮喪。”在《新鹿特丹商報(bào)》的報(bào)道中，聯(lián)合國人口部門主任John Wilmoth說。
有同行評(píng)審人參與的“把關(guān)機(jī)制”是主流國際學(xué)術(shù)期刊決定一篇文章是否錄用的重要制度。把關(guān)人由期刊編輯和同行評(píng)審人構(gòu)成，同行評(píng)審人是同一領(lǐng)域的專家，他們被邀請(qǐng)來評(píng)估來稿是否有資格發(fā)表。像《自然》這樣的頂尖期刊往往要拒絕許多文章，而最后通過同行評(píng)議的文章一經(jīng)發(fā)表，常常成為學(xué)術(shù)界和社會(huì)的熱門話題。
在《新鹿特丹商報(bào)》接下來的調(diào)查中，關(guān)于這一論文評(píng)審的過程被重構(gòu)出來，而學(xué)術(shù)期刊“把關(guān)機(jī)制”中的一些問題也浮出水面：同行評(píng)審應(yīng)該審哪些內(nèi)容？把關(guān)人是否做到了認(rèn)真、嚴(yán)格、獨(dú)立的評(píng)審？
Vijg等人的文章起初是遭到《自然》拒絕的。
在收到Vijg等人的文章后，在《自然》雜志有著21年工作經(jīng)歷的編輯Marie-Therese Heemels做了一個(gè)重要決定：送審文章。
根據(jù)《新鹿特丹商報(bào)》的調(diào)查，有三位匿名評(píng)審人獨(dú)立評(píng)審這篇文章，其中兩位是法國國家健康與醫(yī)學(xué)研究院(Institut national de la santé et de la recherche médicale，INSERM)的人口學(xué)家Jean-Marie Robine和伊利諾伊大學(xué)芝加哥分校(University of Illinois at Chicago)的流行病學(xué)家Jay Olshansky，還有一位審稿人的信息未能得到。
2016年4月14日，Jean-Marie Robine第一次收到這篇文章的審稿邀請(qǐng)時(shí)，他看到了方法部分的缺陷：當(dāng)時(shí)初稿只用了美國的數(shù)據(jù)，卻把結(jié)論推廣到全人類。他建議Vijg等人用全球的人類死亡數(shù)據(jù)庫(Human Mortality Database)。
而初稿的第二部分使用了年齡超過110歲的長壽老人的數(shù)據(jù)，這是Robine的專長。自2002年起，Robine與合作者建立了包含每個(gè)國家壽命超過110歲的老人的“國際長壽老人數(shù)據(jù)”(International Database on Longevity，IDL)。Vijg等人初稿使用的是“老年學(xué)研究小組”(Gerontological Reserch Group，GRG)的數(shù)據(jù)，而GRG記錄的是打破長壽記錄的的案例，與吉尼斯世界長壽記錄相同。
“建議《自然》拒稿”，Robine審稿的意見很負(fù)面。
Jay Olshansky的評(píng)審意見涉及較多方面，最主要的建議是關(guān)于生物學(xué)原理的，“我強(qiáng)調(diào)他們應(yīng)該在文中加入這樣的話：人體內(nèi)并沒有控制衰老或者死亡的‘基因程序’，人體不存在這樣的‘生物鐘’。” 除了這些，他沒有其他重要的意見了?！拔铱赡芴岬竭^一些技術(shù)性的問題，但作為一個(gè)審稿人，我不會(huì)過多談及技術(shù)問題?！彼f。
“審稿人關(guān)注的重點(diǎn)并不是統(tǒng)計(jì)分析，而是一篇文章的整體觀點(diǎn)，那就是人類的壽命的增長不會(huì)永無止境。那才是重點(diǎn)！”在《新鹿特丹商報(bào)》的報(bào)道中，Olshansky解釋說。
在《自然》的審稿要求中，審稿人的最主要的職責(zé)并不是為研究方法部分把關(guān)?！蹲匀弧窞閷徃迦肆谐隽?1條符合“理想的評(píng)審”的標(biāo)準(zhǔn)，其中無一條涉及統(tǒng)計(jì)或者研究方法，在11條以外的次要標(biāo)準(zhǔn)中，有一條關(guān)于方法部分，但僅在“時(shí)間允許的情況下”。在這11條中，有5條都關(guān)于新穎性和重要性，例如“這篇文章是否有可能成為本年度本學(xué)科最重要的五篇文章之一”。
Olshansky不記得他對(duì)第一稿的最后意見了，可能是拒稿，也可能是重新修改。
而Vijg告訴《新鹿特丹商報(bào)》，所有的審稿人對(duì)第一稿都給了“大量的批評(píng)意見”，其中有一位匿名評(píng)審人對(duì)分析方法的每一個(gè)部分都有批評(píng)，他認(rèn)為那個(gè)評(píng)審人“非常不開心”。
《自然》編輯決定不予錄用這篇文章，投稿三周內(nèi)Vijg就收到了拒稿信。
“最初編輯說，我們不感興趣。但我們說，為什么不再看看呢？”文章的第二作者M(jìn)ilholland回憶道。
得到第二次機(jī)會(huì)
沒想到的是，去年五、六月份的時(shí)候，《自然》的編輯們又改變了想法，Vijg他們得到了第二次機(jī)會(huì)。
這一次他們熱切地向?qū)徃迦恕皩W(xué)習(xí)”如何進(jìn)行人口學(xué)分析?！八麄兪职咽值馗嬖V我們?nèi)丝趯W(xué)分析錯(cuò)在哪里，我們應(yīng)該如何做?！盫ijg說。
Olshansky說，“編輯們給我多次來信，幾個(gè)作者也堅(jiān)持不懈，他們努力去完善這篇文章?！?nbsp;
Robine向作者建議用IDL的數(shù)據(jù)，后來被采納，GRG的數(shù)據(jù)分析結(jié)果在最終論文中只是作為補(bǔ)充?！癐DL是一個(gè)基于總?cè)丝诘臄?shù)據(jù)庫，也就是說，它包含了一定時(shí)期某一特定人口中的所有長壽老人的案例。因此，我們可以無偏誤地得到在一定人口中，長壽老人的數(shù)量或該人口中所能達(dá)到的最長壽命隨著不同時(shí)期的變化”，Robine向《知識(shí)分子》解釋道。
“你可以說我們是非常好的學(xué)生”，Vijg說。Vijg雖然是文章的通訊作者，對(duì)文章負(fù)有最終的責(zé)任，但在他看來，幾個(gè)審稿人幾乎成了他的合作者。在《自然》雜志，文章的最后有這樣一行字：“《自然》感謝Robine和其他幾位匿名審稿人對(duì)此文的同行審查工作。”
在第一次收到審稿邀請(qǐng)后的三個(gè)月里，三位審稿人再次收到了Vijg等人修改后的文章，第二版文章使用了新的數(shù)據(jù)，在文后的附錄中，還有200張基于人類死亡數(shù)據(jù)庫的圖表，分析了41個(gè)國家的死亡人口數(shù)據(jù)。
審稿人會(huì)看這些圖嗎？
“我不記得我是否看過那些圖了”，Robine說，“有其他的專家對(duì)這個(gè)更在行”。他第二次審稿時(shí)僅僅研究了新用的數(shù)據(jù)庫（IDL）。論文附錄中的每張圖如同兩歐元的硬幣大小，Robine覺得這些圖表“無聊、混亂和令人費(fèi)解”。
Robine并不是唯一一個(gè)疏忽了圖表的，據(jù)《新鹿特丹商報(bào)》報(bào)道，Milholland記得第二次審稿時(shí)沒有一個(gè)審稿人提及41個(gè)國家死亡人口數(shù)據(jù)分析的細(xì)節(jié)。當(dāng)被問及這是否讓他感到失望時(shí)，他表示不會(huì)，“當(dāng)你的審稿人說這篇論文不錯(cuò)，沒有人會(huì)因?yàn)閷徃迦藳]過多談及細(xì)節(jié)而失望。文章發(fā)表，你知道，就夠好了。”總體來說，審稿的過程會(huì)讓人有一點(diǎn)點(diǎn)失望，Milholland表示，“有的時(shí)候你覺得審稿人談?wù)摰煤苣w淺，你真的會(huì)想，你們讀論文了嗎？”
Robine的第二次審稿意見很簡短。他寫道，“……很難強(qiáng)烈地反對(duì)這篇文章”，因?yàn)椤白髡咄耆鶕?jù)我之前的建議修改了”。
只有第三個(gè)審稿人堅(jiān)持一審的意見，認(rèn)為“這不是真的”，Vijg在接受《新鹿特丹商報(bào)》的采訪中說。
在Robine給編輯寫信給出積極的評(píng)價(jià)后6天，他從《自然》得到信息：Vijg的文章已經(jīng)被錄用，發(fā)表日期為2016年10月5日。在《自然》面向媒體的推薦中，這篇文章也出現(xiàn)了，還配有一整頁的正面評(píng)論，作者署名 Jay Olshansky。
評(píng)論中，Olshansky并沒有說明自己是該文的審稿人。審稿人發(fā)表評(píng)論性文章卻不說明自己的審稿人身份是否合適？《自然》出版經(jīng)理Rebecca Walton向《知識(shí)分子》表示，出于保密需要，他們無法對(duì)發(fā)表的學(xué)術(shù)或評(píng)論文章的審稿過程作出回應(yīng)。
妥協(xié)的結(jié)果？
今年1月，《自然》向《知識(shí)分子》表示，他們所發(fā)表的文章都經(jīng)過了嚴(yán)苛的同行評(píng)議。
但回顧《新鹿特丹商報(bào)》調(diào)查所展示的審稿過程，荷蘭蒂爾堡大學(xué)(University of Tilburg)的研究方法學(xué)與同行評(píng)審專家Jelte Wicherts與原《英國醫(yī)學(xué)期刊》(British Medical Jpurnal)總編輯Richard Smith表示，審稿人的獨(dú)立性出現(xiàn)了“妥協(xié)”，審稿人對(duì)數(shù)據(jù)的批判性不夠。
比如，Jean-Marie Robine認(rèn)為文章的數(shù)據(jù)分析并不足以支撐這個(gè)結(jié)論。不過，他又認(rèn)為，審稿人不能因?yàn)椴徽J(rèn)同對(duì)結(jié)果的解讀就建議拒掉一篇文章。在《自然》的11條審稿標(biāo)準(zhǔn)中，還有一條 “文章的分析令人信服嗎？”顯然，Robine并沒有考慮到這一點(diǎn)。
去年11月在荷蘭的一個(gè)報(bào)告上，Robine提到了這篇論文，他表示很難預(yù)測(cè)人類壽命的極限，也不認(rèn)為Jan Vijg論文中使用的是正確的方法。
而Olshansky在第二次審稿時(shí)認(rèn)為圖表中新西蘭1960-1980年的曲線波動(dòng)是數(shù)據(jù)有限的結(jié)果，但他并不認(rèn)為這是什么問題。
只是，為什么《自然》會(huì)突然改變主意，給Vijg等人的文章第二次機(jī)會(huì)呢？
Smith猜測(cè)，可能是因?yàn)檎撐慕Y(jié)論的“性感”。Wicherts認(rèn)為，可能是因?yàn)榫庉媯円庾R(shí)到這一論文有“新聞價(jià)值和影響力”，“這也是他們的商業(yè)模式”。
與《自然》雜志一樣，世界上很多頂尖雜志都通過第三方的同行評(píng)審來決定錄用哪篇文章。《自然》的官網(wǎng)感謝了2015年的32319位審稿人。據(jù)統(tǒng)計(jì)，92%的來稿被編輯或匿名審稿人拒絕了。就Vijg等人的文章，《自然》的編輯以及三位審稿人是否完成了嚴(yán)格、獨(dú)立的把關(guān)人的角色？據(jù)《新鹿特丹商報(bào)》，出版?zhèn)惱砦瘑T會(huì)（Committee on Publication Ethics，COPE，一個(gè)由約2萬名科學(xué)雜志編輯組成的機(jī)構(gòu)）的副主席Chris Graf持否定觀點(diǎn)，他說，“我不認(rèn)為《自然》會(huì)為發(fā)表這篇文章而開心，這件事反映了《自然》并沒有起到把關(guān)人的作用?！?/p>
今年1月，Vijg告訴《知識(shí)分子》，文章發(fā)表后收到的大部分反饋是“非常正面的”，他說，“（不僅僅是研究方法）也有許多批評(píng)是針對(duì)結(jié)論的，我們都盡可能答復(fù)那些批評(píng)。因?yàn)槲覀冇玫氖枪_的數(shù)據(jù)，任何人都可以復(fù)制我們的研究?！?/p>
在Vijg看來，人類壽命是否有極限這樣一個(gè)具有爭議的話題，受到批評(píng)是難免的。他說：“如果我們沒有受到任何批評(píng)或者反對(duì)，我們反倒會(huì)不開心，因?yàn)槟且馕吨覀兊难芯繘]人關(guān)心?！?/p>
參考資料
1. Dong, X., Milholland, B., & Vijg, J. (2016). Evidence for a limit to human lifespan. Nature, 538(7624), 257-259.
2. Kashnitsky, I. (2016). A cohort is not representative of humanity. Publons.com.
3. Olshansky, S. J. (2016). Ageing: Measuring our narrow strip of life. Nature, 538(7624), 175-176.
4. Van Santen, H. (2016). Nature article is wrong about 115 year limit on human lifespan. Nrc.nl. https://www.nrc.nl/nieuws/2016/10/07/human-lifespan-limited-to-115-years-a1525476
5. Van Santen, H. (2016). Peer review post-mortem: how a flawed aging study was published in Nature. Nrc.nl. https://www.nrc.nl/nieuws/2016/12/09/how-weak-science-slipped-past-through-review-and-landed-in-a-top-journal-a1535637#photo=MjAwNDc
6. Van Santen, H. (2016). Statistical problems, but not enough to warrant a rejection. Nrc.nl.
