운동과학의 재현성 위기: 한 편의 연구가 전부가 아니다, 코치와 선수는 문헌을 어떻게 읽어야 하나

그날, 한 수강생이 스마트폰을 들고 뛰어와 물었다

수년간 훈련을 지도하면서 가장 자주 받는 질문은 "코치님, 어떻게 하면 더 강해질 수 있나요?"가 아니라 이런 질문입니다. “코치님, 어제 어떤 연구를 봤는데 경기 전에 비트 주스를 마시면 파워 출력이 3% 늘어난대요. 매일 한 잔씩 마셔야 할까요?” 또는 “어떤 논문에서 저탄수화물 식이가 지방 활용률을 크게 높일 수 있다고 하던데, 밥을 끊어야 할까요?”

한 번은 트랙 독주 종목을 훈련하는 수강생 A가 흥분해서 공유 게시물 하나를 가져왔습니다. 제목은 "최신 연구로 입증: OO 훈련법이 지구력을 20% 급증시킨다"였죠. 그는 이미 훈련 주기 전체를 갈아엎을 생각이었습니다. 저는 그에게 먼저 심호흡을 하라고 하고 세 가지 질문을 던졌습니다. 이 연구는 몇 명을 대상으로 했나? 그 대상들이 너와 비슷한가? 다른 연구실에서도 같은 결과를 얻었나? 그는 멈칫했습니다. 제목과 그 "20%"만 봤기 때문입니다.

이 글에서 저는 학술적으로 들리지만, 진지하게 훈련하는 모든 사람과 직접적으로 관련된 주제를 다루고자 합니다——운동과학의 재현성 위기(reproducibility crisis). 이것은 과학을 불신하고 감각에 의존해 훈련하라는 뜻이 절대 아닙니다. 오히려 정반대입니다. 증거를 존중하기 때문에, 단일 연구 하나가 얼마나 많은 무게를 담을 수 있는지, 그리고 연구를 훈련의 도움이 되도록 읽는 방법을 알아야 합니다. 매주 새로운 제목에 이리저리 끌려다니는 족쇄가 아니라요.

'재현성 위기’란 무엇인가

먼저 과학계 전체에 충격을 준 사건 하나를 이야기하겠습니다. 2015년, 대규모 심리학 재현 연구 프로젝트(Reproducibility Project: Psychology)가 높은 통계적 검정력을 갖춘 설계로 이미 발표된 100개의 심리학 실험을 재현하려 했습니다. 결과는 어땠을까요? 원래 연구 중 무려 97%가 “통계적으로 유의미한” 결과를 보고했지만, 재현 이후 약 36%의 반복 실험만이 동일하게 통계적 유의성을 달성했습니다. 게다가 재현 실험에서 계산된 효과 크기(effect size)는 평균적으로 원래 연구의 절반 수준에 불과했습니다.

이것이 "위기"라고 불리는 이유는 과학의 기초 중 하나가 재현성이기 때문입니다. 어떤 발견이 진짜라면, 다른 사람들이 같은 방법으로 따라 했을 때 비슷한 결과를 다시 볼 수 있어야 합니다. “발표되었고 확실해 보이는” 수많은 결론이 다른 사람들의 손에서 재현되지 않을 때, 우리는 이렇게 물어야 합니다. 이 결론들 중 실제 신호는 얼마나 되고, 얼마나 많은 부분이 단지 노이즈, 운, 또는 연구 과정 자체의 편향일 뿐인가?

여기서 자주 혼동되는 두 용어를 정리하겠습니다. **‘재현(reproducibility)’**은 일반적으로 같은 원본 데이터를 사용해 같은 분석을 실행했을 때 같은 숫자를 얻을 수 있는지를 의미합니다——이것은 분석과 보고의 투명성을 시험합니다. **‘재현 가능성/복제 가능성(replicability)’**은 새로운 피험자 집단으로 데이터를 다시 수집했을 때 같은 방향의 결과를 다시 볼 수 있는지를 의미합니다——이것은 발견 자체의 견고함을 시험합니다. 둘 다 중요하며, 운동과학은 이 두 측면 모두에서 도전에 직면했습니다. 어떤 연구는 원본 데이터조차 얻을 수 없고(재현성 부족), 어떤 연구는 대상을 바꿔 다시 하면 결과가 사라집니다(재현 가능성 부족). 이 두 용어를 외울 필요는 없습니다. 핵심 정신 하나만 기억하세요: 진짜라면, 다른 방식으로 다시 검증해도 견딜 수 있습니다.

그럼 운동과학은? 우리는 면역이라고 생각하지 마세요

많은 사람들이 이렇게 생각할 것입니다. 그건 심리학의 문제겠지. 운동과학은 파워, 심박수, 젖산 같은 딱딱한 생리적 수치를 측정하니까 그런 문제가 없겠지? 유감스럽게도, 운동 및 운동과학도 예외는 아닙니다.

최근 운동 및 운동과학 연구자들을 대상으로 한 태도 조사(연구자 511명 대상)에 따르면, 약 42%가 이 분야에 ‘상당한’ 재현성 위기가 존재한다고 생각했고, 약 36%는 ‘경미한’ 위기가 존재한다고 생각했습니다. 즉, 이 분야 연구자의 약 80%가 문제가 실제로 존재한다고 느끼는 것입니다.

더 중요한 것은 실제로 '재현’을 시도한 결과입니다. 운동 및 운동과학은 심리학이나 암 생물학처럼 대규모 협력 재현 프로젝트가 오랫동안 없었고, 최근에야 시도가 시작되었습니다. 한 대규모 재현 연구에서 원래 연구들을 재현한 결과, 약 56%의 재현 결과가 '귀무가설 유의성 검정’에서 원래 연구와 일치했지만, 진정한 ‘성공적 재현’(통계적 유의성 달성과 효과 크기 양립 모두 충족)으로 판정된 것은 약 28%에 불과했습니다.

이 28%는 운동과학에 대해 절망하라는 뜻이 아닙니다. 건강한 기대치를 가지라는 뜻입니다: 단일 연구 하나, 특히 피험자 수가 적고 결과가 특히 ‘예쁜’ 연구는 본질적으로 상당히 높은 불확실성을 지닙니다. 그것은 하나의 단서이지, 판결문이 아닙니다.

흥미로운 점은, 이러한 재현 프로젝트를 수행한 사람들이 매우 현실적인 장애물에 부딪혔다는 것입니다. 많은 원래 연구들이 보고된 통계 정보가 불완전하고 원본 데이터도 얻을 수 없었으며, 심지어 원저자에게 도움을 요청했을 때 거절당하거나 재현에 협조하지 않는 경우도 있었습니다. 이것 자체가 이 분야에서 '재현’이 오랫동안 중요시되지 않았던 문화적 문제를 반영합니다——모두가 '새로운 발견’을 하려고만 하고, '기존 발견’이 실제로 타당한지 확인하는 데 시간을 쓰려는 사람은 거의 없습니다.

이 위기가 ‘말하고 있지 않은 것’

오해를 피하기 위해 분명히 말씀드리겠습니다. 재현성 위기는 "운동과학이 모두 사기다"라는 뜻이 아니며, 감각에 의존해 옛날 방식으로 훈련하라는 뜻도 아닙니다. 정반대입니다:

• 모든 연구가 틀렸다는 뜻이 아니라, 단일 연구 하나의 확실성이 과대평가되었다는 뜻입니다.
• 과학을 믿지 말라는 뜻이 아니라, "고립된 연구 하나"보다 "일관된 연구 집단"을 믿으라는 뜻입니다.
• 나쁜 소식이 아니라, 과학이 스스로를 점검하고 수정하는 건강한 모습입니다——자신의 문제점을 찾아내는 시스템이야말로 장기적으로 신뢰할 가치가 있습니다.

이 세 가지를 마음에 새기면, "위기"라는 단어를 읽고 허무주의적 냉소주의로 빠지지 않을 것입니다.

왜 이런 일이 발생할까? 약한 증거는 어떻게 만들어지는가

연구를 제대로 보려면 먼저 연구가 왜 ‘재현되지 않는지’ 이해해야 합니다. 여기서는 가장 쉬운 말로 운동과학이 특히 빠지기 쉬운 함정 몇 가지를 풀어보겠습니다.

첫째, 표본이 너무 작아서 운이 좌우한다

운동과학 실험은 비싸고 힘듭니다. 사람들을 실험실로 모아 혈액을 채취하고, 산소 섭취량을 측정하고, 탈진할 때까지 운동시키는 데는 수 주가 걸리기 일쑤입니다. 그래서 많은 연구가 8~15명의 피험자만 모집합니다. 인원이 적으면, ‘반응이 특히 좋은’ 한두 명이 전체 평균을 예쁜 숫자로 끌어올릴 수 있습니다. 마치 중재가 효과가 있는 것처럼 보이지만, 실제로는 표본 추출의 운일 수 있습니다.

저는 자주 수강생들에게 이런 비유를 듭니다. 동전을 10번 던져 앞면이 7번 나왔다고 해서 이 동전에 문제가 있다고 주장하지 않을 것입니다. 하지만 많은 소규모 연구는 바로 이 "10번 중 7번 앞면"이라는 증거를 가지고 "이 동전은 유의미하게 앞면에 치우쳐 있다"고 논문을 씁니다.

둘째, '좋은 결과’만 게재된다(출판 편향)

저널, 미디어, 소셜 미디어 모두 ‘효과 있음’, ‘유의미함’, ‘돌파구’ 같은 이야기를 선호합니다. '차이가 없음’을 보여준 실험은 종종 서랍 속에 묻혀 발표되지 않습니다(이를 서랍 효과라고 합니다). 결과적으로 여러분이 온라인에서 보는 연구는 선별된, 좋은 소식만 알리는 연구들이며, '실제로 효과가 없음’을 조용히 증명한 연구들은 전혀 볼 수 없습니다.

셋째, 분석의 자유도가 너무 높다(p-hacking)

같은 데이터라도 여러 가지 방식으로 분석할 수 있습니다. 특정 이상치를 제외할까? 평균 파워를 볼까, 최고 파워를 볼까? 남녀를 구분할까? 여러 가지 방법을 시도하다 보면 그중 하나는 ‘우연히’ p < 0.05가 나오기 마련입니다. 데이터에서 유의미한 결과를 찾아내면 바로 멈추는 이러한 관행은 겉보기에는 성립하는 것처럼 보이지만 실제로는 취약한 결론을 대량으로 만들어냅니다.

넷째, 피험자가 나와 다르다

많은 연구가 '젊고, 건강하며, 훈련 경험이 있는 남자 대학생’을 대상으로 합니다. 하지만 여러분이 50세이고, 자전거를 막 시작했으며, 약간의 고혈압이 있는 통근자라면, 체육학과 학생들을 대상으로 한 비트 주스 연구를 자신에게 적용했을 때의 신뢰도는 크게 떨어집니다. 외적 타당성(여러분에게 일반화할 수 있는지)은 가장 자주 무시되면서도 가장 치명적인 요소입니다. 덧붙이자면, 과거 운동과학 연구의 피험자는 남성이 대부분이었고, 여성, 노인, 만성 질환자는 오랫동안 충분히 포함되지 않았습니다. 따라서 많은 결론을 이러한 집단에 적용할 때는 원래부터 더 보수적으로 접근해야 합니다.

다섯째, 측정 자체에 오차가 있다

연구 설계가 완벽하더라도 운동과학이 측정하는 많은 것들은 그 자체로 ‘흔들립니다’. 같은 사람의 오늘 산소 섭취량, 젖산, 파워 출력은 수면, 식이, 카페인, 실내 온도, 감정 상태에 따라 매일 다릅니다. 감지하려는 효과가 1~2%인데 측정 도구 자체의 일일 변이가 3~5%일 수 있다면, 여러분이 본 차이는 실제 중재 효과가 아니라 측정 노이즈일 가능성이 높습니다. 이것이 소규모 단기 연구가 특히 신뢰할 수 없는 이유이기도 합니다.

여섯째, '신기 효과’와 ‘호손 효과’

사람은 자신이 관찰되고 있다는 사실을 알거나 '새로운 방법’을 시도하고 있다는 사실을 알게 되면 무의식적으로 더 몰입하고 더 열심히 하게 되어 단기 성적이 자연스럽게 좋아집니다. 이러한 향상은 종종 ‘새로운 방법’ 덕분으로 오인되지만, 실제로는 단지 더 열심히 했기 때문입니다. 이것이 대조군이 없는 연구(또는 대조를 설정하지 않은 자신의 시도)가 효과를 과대평가하기 특히 쉬운 이유입니다.

아래 표는 수강생들에게 증거의 강도를 빠르게 식별하는 방법을 가르칠 때 사용하는 간단한 표입니다. 과학자가 아니어도 연구 하나를 볼 때 대조해 보면 됩니다.

지표	약한 증거(보수적으로 봐야 함)	강한 증거(더 신뢰할 수 있음)
피험자 수	한 자릿수에서 십여 명	수십 명 이상, 또는 다기관 연구
연구 설계	단일 집단 전후 비교, 대조군 없음	무작위 배정, 위약 대조
재현 상황	이 연구 하나만 그렇게 말함	여러 독립 팀이 일관된 방향으로 결과 도출
효과 크기	비현실적으로 큼(예: ‘20% 급증’)	온건하고 합리적임(예: 1~3%)
피험자 특성	나와 많이 다름(연령/수준/성별)	나와 유사한 집단
데이터 투명성	원본 데이터 비공개, 방법 모호	사전 등록, 데이터 및 방법 공개
발표 형태	보도자료, 상품 홍보성 글뿐	동료 심사 저널, 체계적 고찰

그렇다면 '단일 연구 하나’를 어떻게 봐야 할까

이것이 가장 실용적인 부분입니다. 수년간 수강생들을 지도하며 정리한 판단 프로세스를 하나의 핵심 방법으로 압축했습니다. 핵심은 한 문장입니다: 단일 연구는 '가설 제시’이고, 여러 연구의 일관된 결과가 '결론 확인’입니다.

방법 1: 먼저 '다른 사람들도 그렇게 말하는가’를 묻는다

놀라운 결론을 보면 서둘러 훈련 계획을 바꾸지 마세요. 먼저 물어보세요. 이것은 단일 사례인가, 아니면 이미 많은 독립 팀이 같은 방향의 결과를 얻었는가? 이 주제에 대한 **체계적 고찰(systematic review)이나 메타분석(meta-analysis)**을 찾을 수 있다면, 수십 편의 연구를 통합한 그 문헌은 단일 새 논문보다 훨씬 더 비중이 있습니다. 실용적으로, 메타분석을 '숲 전체’로 보고 단일 연구를 '나무 한 그루’로 보십시오. 나무 한 그루가 휘었다고 해서 숲 전체가 쓰러졌다고 말하지 않을 것입니다.

방법 2: 효과가 과장될수록 더 의심한다

진짜 탄탄한 운동과학 중재의 효과는 대개 온건합니다. 지구력 수행을 기준으로, 훈련이나 영양 전략이 안정적으로 1~3%의 향상을 가져온다면 경쟁 수준에서 이미 매우 대단한 것입니다. 따라서 ‘20% 급증’, ‘효율 2배’ 같은 제목을 보면 첫 반응은 흥분이 아니라 경계심이어야 합니다. 이렇게 큰 효과가 왜 지난 수십 년간 발견되지 않았을까? 아마도 소규모 표본의 운이거나, 클릭베이트의 과장일 가능성이 높습니다.

방법 3: '통계적 유의성’과 '나에게 의미 있는지’를 구분한다

'통계적으로 유의미함(p < 0.05)'은 단지 '이 결과가 순전한 우연일 가능성은 낮다’는 뜻일 뿐입니다. 그것이 효과가 충분히 큰지, 여러분의 생활을 바꿀 가치가 있는지는 알려주지 않습니다. 연구가 ‘유의미한’ 결과를 보여줄 수는 있지만, 실제 훈련에서는 전혀 느낄 수 없을 정도로 작은 효과일 수 있습니다. 이렇게 물어보는 법을 배우세요. 설령 그것이 사실이라 해도, 이 0.5%의 차이가 매일 30분을 더 투자하고 보충제에 돈을 더 쓰는 가치가 있는가?

방법 4: '기전 연구’와 '수행 연구’를 구분한다

많은 연구가 세포 수준, 근육 조직 절편, 급성 생리 반응 수준에서 수행됩니다(기전). 이것은 가치가 있지만, '어떤 물질이 근육에서 어떤 신호 경로를 활성화시킨다’는 '경기 성적이 좋아진다’와 같지 않습니다. 기전에서 실제 수행까지는 험난한 길이 가로놓여 있습니다. '어떤 성분이 미토콘드리아 생성을 촉진한다’는 내용을 보면, '그래서 나는 빨라질 거야’라고 상상하지 마세요.

아래 표는 수강생들과 '증거 수준에 따라 어떻게 행동해야 하는지’를 소통할 때 자주 사용하는 대조표입니다.

증거 수준	전형적인 모습	권장 행동 태도
단일 소규모 연구/보도자료	십여 명, 단일 팀, 놀라운 효과	흥미로운 단서로 보고, 지켜보며, 훈련 계획은 바꾸지 않기
방향이 일관된 여러 연구	여러 팀, 같은 방향의 결과	소규모, 저위험으로 시도해 볼 수 있음
메타분석/체계적 고찰	수십 편 통합, 신뢰 구간 포함	훈련 원칙에 포함할 수 있으나, 여전히 개별화 필요
전문 기관의 근거 기반 가이드라인	학회 합의, 정기 업데이트	기본 접근법의 골격으로 사용
자신의 장기 기록	나의 데이터, 나의 반응	최종 중재자, 모든 평균값보다 우선

마지막 행에 주목하세요. 이것이 제가 특히 강조하고 싶은 부분입니다: 아무리 좋은 연구라도 주는 것은 '집단 평균’이며, 여러분은 구체적인 개인입니다. 연구가 어떤 전략이 평균적으로 효과가 있다고 말한다고 해서 그것이 여러분에게 효과가 있다는 뜻은 아닙니다. 연구가 평균적으로 차이가 없다고 말한다고 해서 '반응이 특히 좋은 사람’인 여러분에게 차이가 없다는 뜻도 아닙니다. 여러분이 직접 꼼꼼히 기록한 훈련 데이터, 심박수, 느낌, 경기 성적은 어떤 논문으로도 대체할 수 없는 일차적 증거입니다.

3분 만에 연구 초록 읽는 법

많은 사람들이 "나는 연구자가 아니니까 논문을 어떻게 읽겠어"라고 생각합니다. 사실 통계적 세부사항을 이해할 필요는 없습니다. 초록(abstract)의 몇 가지 핵심 항목만 볼 수 있으면 그 연구의 비중을 가늠할 수 있습니다. 가장 실용적인 몇 가지 포인트를 빠른 참조 표로 정리했습니다. 다음에 연구를 열어볼 때 이 질문들을 따라 해 보세요.

찾아야 할 정보	보통 어디에 나오는가	스스로에게 물어야 할 질문
피험자 수(n)	방법(Methods) 섹션	한 자릿수면 먼저 할인, 많을수록 안정적
피험자가 누구인지	방법 섹션 시작 부분	연령, 성별, 훈련 수준이 나와 비슷한가
대조군 유무	방법 섹션의 설계 설명	위약/대조가 있어야 심리적 효과를 배제할 수 있음
효과 크기	결과(Results) 섹션	1~3% 같은 합리적인 값인가, 아니면 과장된 큰 숫자인가
저자 자신의 유보	고찰(Discussion) 마지막 부분	좋은 연구는 '제한점(limitations)'을 솔직하게 씀
이해상충 여부	논문 말미 공개(disclosure)	보충제 회사가 후원한 연구는 더 보수적으로 봐야 함

특히 마지막 두 행을 주의하세요. 정직한 연구라면 저자는 고찰 섹션에서 자신의 연구 제한점(표본이 작음, 급성 효과만 봄, 일반화 불가 등)을 능동적으로 씁니다. 논문이 자신을 전혀 흠잡을 데 없이 묘사하면서 효과도 엄청나게 크다면 오히려 경계심을 높여야 합니다. 이해상충 공개와 관련해서는, 제조사 후원이라고 해서 반드시 조작이라는 뜻은 아닙니다. 다만 그것을 '신뢰도 저울’에 함께 올려놓고 저울질하라는 의미입니다.

흔한 실수와 수정 제안

수강생들을 지도하면서 '한 편의 연구’에 휩쓸려 방향을 잃은 다양한 사례를 보았습니다. 가장 흔한 몇 가지를 골라 어떻게 수정을 도왔는지 이야기하겠습니다.

실수 1: 뉴스 제목을 쫓아 매주 훈련 계획을 바꾼다

사례 상황: 수강생 B는 정보 불안형 사이클리스트였습니다. 새 연구를 볼 때마다 훈련을 바꾸고 싶어 했습니다. 결과적으로 한 시즌 내내 어떤 훈련 주기도 끝까지 완주하지 못했고, 체력은 조각조각 나고 성적은 제자리걸음이었습니다.

수정 방법: 저는 그에게 한 가지 규칙을 정하라고 했습니다——어떤 새로운 방법이든, 현재 훈련 계획을 최소한 한 주기(보통 4~8주)는 완주한 후에 바꿀지 말지를 논하자. 훈련에서 가장 두려운 것은 방법을 잘못 고르는 것이 아니라, 어떤 방법도 효과를 볼 수 있을 때까지 제대로 실행하지 않는 것입니다. 일관성이 새로움을 이깁니다.

실수 2: 개인적 일화를 연구로 착각한다

사례 상황: “내 친구가 OO 보충제를 먹고 개인 기록을 갱신했어!” 이런 말은 그림과 감정이 있기 때문에 위력이 엄청납니다. 하지만 한 사람의 한 번의 향상은 훈련, 수면, 날씨, 코스, 기분에서 비롯되었을 수 있습니다. 보충제는 수많은 변인 중 하나일 뿐입니다.

수정 방법: 수강생들에게 '일화(anecdote)'와 '데이터(data)'를 구분하도록 가르칩니다. 일화는 영감의 원천이 될 수 있지만, 의사 결정의 근거가 될 수는 없습니다. 정말 시도해 보고 싶다면 통제된 방식으로 시도하세요(아래 ‘단일 실험’ 참조).

실수 3: 기전을 결과로, 동물을 인간으로 착각한다

사례 상황: 한 수강생이 어떤 성분이 쥐의 지구력을 향상시킨다는 연구를 읽고, 바로 자신에게 적용해 복용량을 두 배로 늘렸습니다. 문제는 쥐의 용량 환산, 대사, 생리가 인간과 매우 다르고, '급성 생리적 변화’는 '경기 기록 단축’과는 거리가 멀다는 것입니다.

수정 방법: ‘쥐’, ‘세포’, '급성 반응’이라는 단어를 볼 때마다 자동으로 마음속에 "이것은 실제 인간의 수행과는 거리가 멀다"는 문장을 덧붙이는 습관을 기르도록 합니다.

실수 4: 위험과 비용은 무시하고 이점만 본다

새로운 전략을 평가할 때 많은 사람들이 '가능한 이점’만 계산하고 '대가와 위험’은 계산하지 않습니다. 극단적인 저탄수화물, 과다한 보충제, 공격적인 체중 감량——이 모든 것은 생리적, 건강상의 대가가 따릅니다. 특히 당뇨병, 고혈압, 심장 질환 같은 만성 질환이 있는 사람에게는 더욱 그렇습니다. 어떤 중재든 위험을 저울에 올려야 하며, 질병이 관련된 경우 반드시 주치의와 전문 팀에게 돌아가 개별적으로 평가받아야 합니다. 온라인의 평균값을 처방전으로 삼지 마세요.

수준별 독자를 위한 행동 제안

많은 원칙을 이야기했지만, 독자들이 가장 원하는 것은 "그래서 구체적으로 어떻게 해야 하나요"일 것입니다. 아래는 수준별 제안이니 자신에게 맞는 것을 찾아보세요.

이제 막 시작한 운동 초보자에게

1. 최신 연구를 서둘러 읽지 마세요. 지금 단계의 향상 99%는 ‘규칙적인 훈련, 충분한 수면, 충분한 영양, 부상 방지’ 같은 기본기에서 나옵니다. 첨단 전략이 아닙니다. 기본을 탄탄히 하는 것이 새로운 지식을 쫓는 것보다 훨씬 효과적입니다.
2. 반사 행동 하나를 익히세요: 놀라운 제목을 보면 먼저 원문에서 피험자 수와 대상이 누구인지 확인하세요. 이 습관 하나만으로도 잡음의 80%는 걸러낼 수 있습니다.
3. 연구를 읽는 것보다 기록이 더 중요합니다. 간단한 훈련 일지(오늘 무엇을 했는지, 느낌은 어떤지, 몇 시간 잤는지)를 쓰기 시작하세요. 3개월 후 여러분 자신의 데이터는 어떤 논문보다 여러분을 더 잘 이해할 것입니다.

어느 정도 기본이 갖춰진 중급 애호가에게

1. ‘증거 피라미드’ 의식을 확립하세요. 새로운 방법을 접하면 단일 뉴스보다 메타분석과 전문 학회 가이드라인을 먼저 찾으세요. 단일 연구는 '주목할 만한 단서’로 격하하세요.
2. 새로운 것을 시도하고 싶다면 ‘단일 실험(N=1)’ 방식으로 하세요. 구체적인 방법: 측정 가능한 지표(예: 특정 고정 코스의 파워 또는 시간)를 선택하고, 다른 변인(수면, 날씨, 피로도)을 최대한 통제한 상태에서 A(사용 안 함)/B(사용)를 여러 번 번갈아 하여 차이가 일상적인 자연 변동을 안정적으로 초과하는지 확인하세요. 한 번 효과가 있다고 해서 되는 것이 아니라, 반복적으로 나타나야 합니다.
3. '확증 편향’을 경계하세요. 우리는 모두 ‘효과가 있었던’ 때는 기억하고 ‘효과가 없었던’ 때는 잊는 경향이 있습니다. 따라서 판단 기준을 미리 적어 두고, 데이터에 따라 정직하게 평가하세요.

실제 단일 실험은 어떤 모습인가

추상적인 원칙만 이야기하면 허무합니다. 수강생들과 함께 수행한 단일 실험 절차를 예시 표로 정리했습니다. 수강생 C가 '경기 전 특정 전략 보충이 고정 코스 오르막 수행에 미치는 영향’을 테스트하고 싶다고 가정해 보겠습니다. 이렇게 설계합니다:

단계	구체적인 방법	왜 이렇게 하는가
지표 선택	약 5km, 경사가 일정한 구간을 정해 시간 측정	지표는 객관적이고, 반복 가능하며, 외부 간섭이 적어야 함
기준 설정	먼저 아무 중재 없이 3~4회 측정, 시간 범위 기록	‘평소’ 자연 변동이 얼마나 큰지 먼저 파악
교차 측정	A(사용 안 함), B(사용)를 번갈아 각각 여러 번, 연속으로 하지 않기	피로, 날씨 추세로 인한 착각 방지
변인 통제	매번 비슷한 시간대, 수면, 식사, 날씨 조건에서 진행	차이가 오직 테스트하려는 것에서만 나오도록
눈가림	가능하면 다른 사람이 무작위로 배정하고, 사후에만 알기	심리적 기대(위약)가 결과를 오염시키는 것 방지
판독	B가 A보다 ‘안정적으로’ 빠르고, 그 차이가 기준 변동보다 명확히 커야 함	한 번의 우위는 운일 수 있음, 반복되어야 함

여기서 핵심 통찰은 다음과 같습니다: 평소 같은 구간의 기록이 30초 정도 오르내린다면, 어떤 전략이 '15초 빨라졌다’는 것은 전혀 의미가 없습니다. 그것은 여전히 자연 노이즈 범위 안에 있기 때문입니다. 이것이 바로 소규모 연구가 가장 쉽게 사람을 속이는 지점입니다——노이즈 속의 변동을 실제 효과로 포장하는 것입니다. 먼저 자신의 노이즈를 측정하는 법을 배우면, '한 편의 연구’에 대한 면역력을 갖게 됩니다.

중급 독자의 자주 묻는 질문(FAQ)

Q: 그럼 차라리 연구를 아예 안 보는 게 낫지 않나요? 어차피 한 편은 믿을 수 없으니까?
A: 정반대입니다. 연구를 보는 것은 좋은 습관입니다. 다만 똑똑하게 봐야 합니다. 핵심은 '믿거나 말거나’가 아니라 '증거의 강도에 비례한 신뢰를 주는 것’입니다. 단일 소규모 연구는 단서로, 여러 연구가 일관된 메타분석은 골격으로 삼으세요.

Q: 사전 등록(pre-registration)이 무엇이고, 왜 자주 언급되나요?
A: 연구자가 데이터를 수집하기 전에 무엇을 측정하고 어떻게 분석할 것인지 공개적으로 먼저 등록하는 것을 말합니다. 이것은 ‘사후에 유의미한 결과를 찾아내 보고하는’ p-hacking을 크게 줄일 수 있습니다. 사전 등록이 된 연구를 보면 신뢰도가 대개 올라갑니다.

Q: 프로 선수들이 다 쓰는 거라면 효과가 있지 않나요?
A: 꼭 그렇지는 않습니다. 엘리트 선수들은 증거가 약하더라도 ‘조금이라도 도움이 될 수 있는’ 주변적 수단을 기꺼이 시도합니다. 그들에게 0.5%는 메달의 유무를 가르기 때문입니다. 하지만 일반 애호가에게는 이러한 주변적 수단의 비용 대비 효과가 불리한 경우가 많습니다. 기본기를 잘 갖추는 편이 낫습니다.

Q: 코치의 경험과 연구가 충돌하면 누구 말을 들어야 하나요?
A: 둘은 대립 관계가 아닙니다. 좋은 실무 결정은 '최상의 연구 증거 × 코치의 전문적 경험 × 선수의 개별 상황’의 교집합입니다. 연구는 평균적 추세를 제공하고, 경험은 연구가 다루지 못하는 개별적 세부사항을 보완합니다. 둘 다 필수입니다.

코치와 팀 지도자에게

1. 선수들에게 '증거 게이트키퍼’가 되세요. 선수들은 소셜 미디어와 상품 마케팅에 휩쓸리기 쉽습니다. 여러분의 역할은 그들을 위해 걸러내고, '나뭇잎 하나하나’가 아니라 '숲’을 보여주는 것입니다.
2. 보수적인 표현, 개별화된 결정. 특히 건강상 우려가 있는 수강생의 경우, 영양, 보충제, 부상, 질병과 관련된 조언은 반드시 전문 의료 및 영양 팀으로 안내하고, 스스로 처방전 같은 지시를 내리지 마세요.
3. 팀 자체의 데이터베이스를 구축하세요. 여러분이 장기간 축적한 선수 데이터는 이 팀에 가장 밀접한 '지역 증거’이며, 저널에 못지않은 가치가 있습니다.

대만 현지에서의 한 가지 당부

마지막으로 매우 현실적이고 현지적인 상황 몇 가지를 이야기하겠습니다.

대만의 여름은 덥고 습합니다. 서늘한 유럽이나 미국 환경에서 이루어진 많은 지구력 또는 보급 연구를 대만의 덥고 습한 야외에 그대로 적용하면, 체열 발산과 전해질 손실 조건이 크게 다릅니다. 수분과 나트륨 보충 전략은 더 적극적이어야 하는 경우가 많습니다. 이것이 바로 '외적 타당성’의 살아있는 예입니다.

식이 측면에서 대만인은 외식이 대부분입니다. 해외의 정밀 영양 프로그램(그램수를 재고 비율을 계산하는)은 도시락, 국숫집, 뷔페식당의 현실에서는 그대로 따라 하기 어렵습니다. 어떤 논문의 완벽한 비율에 집착하기보다는 큰 원칙을 먼저 파악하세요: 훈련 전후 탄수화물 충분히 섭취, 단백질 부족 없게, 수분과 전해질 보충. 이러한 견고한 원칙의 효과는 소수점 이하의 최적화를 쫓는 것보다 훨씬 큽니다.

의료 측면에서 대만은 건강보험이 편리합니다. 이것이 우리의 강점입니다. 온라인에서 연구 하나를 가지고 자가 진단하기보다는, 운동의학 클리닉을 방문하고 자격증 있는 물리치료사나 영양사를 찾는 자원을 활용하세요. 만성 질환이 있거나, 약을 복용 중이거나, 격렬한 훈련 조정을 준비 중이라면, ‘평균적으로 효과가 있는’ 연구 하나를 자신에게 적용되는 보증으로 여기기보다 먼저 전문가가 개별 상황을 평가하도록 하세요.

또 하나 전형적인 현지 사례를 들겠습니다. 수강생 D는 온라인 커뮤니티에서 '고강도 인터벌이 짧은 시간에 산소 섭취량을 크게 향상시킬 수 있다’는 공유 글을 보았습니다. 마침 그는 근무 시간이 길고 시간이 적었기 때문에, 기존의 규칙적인 유산소 훈련을 모두 매일 고강도 스프린트로 바꾸려고 했습니다. 문제는 그에게 경미한 고혈압이 있었고, 대만 여름 한낮에 야외에서 훈련한다는 점이었습니다. 여기에는 두 가지 위험 지점이 있습니다. 첫째, 그 연구의 피험자는 대부분 건강한 젊은이들이라 그의 신체 상태와 다릅니다(외적 타당성 문제). 둘째, 덥고 습한 환경에서 훈련을 전부 고강도로 바꾸면 심혈관 및 열사병 위험이 높아집니다.

제가 처리한 방식은 이렇습니다. 먼저 그에게 병원에 다시 가서 의사가 혈압 조절 상태와 운동 강도 상한을 평가하도록 했습니다. 그런 다음 '새로운 방법’을 소량, 점진적으로 기존 훈련에 통합했습니다. 일주일에 한 번 추가하고, 시원한 아침 시간대를 선택하고, 수분과 전해질을 준비하고, 심박수와 몸의 반응을 면밀히 관찰했습니다. 같은 연구 하나가 건강한 대학생에게는 좋은 조언일 수 있지만, 만성 질환이 있고 덥고 습한 환경에서 훈련하는 중년에게 적용하려면 먼저 세 가지 관문을 통과해야 합니다: 의료 평가, 환경 조정, 점진적 도입. 이것이 '개별화’의 구체적인 모습이지, 구호가 아닙니다.

또한 대만에서 흔한 정보 출처 문제 하나를 언급하겠습니다. 많은 인기 있는 '연구 요약본’은 실제로 상품 판매나 트래픽 유도를 위해 작성되며, 특정 상품에 유리한 단일 연구를 의도적으로 선택하고, 효과를 부풀리고, 제한점을 생략합니다. 글末尾에서 특정 보충제나 장비를 판매하고 있다면, 자동으로 그 신뢰도를 한 단계 낮추고 중립적인 메타분석이나 전문 학회의 입장을 찾아보세요.

결론: 과학을 존중한다는 것은 어떤 연구 하나도 신격화하지 않는 것

서두에 스마트폰을 들고 뛰어들어온 수강생으로 돌아가겠습니다. 저는 그가 호기심을 갖는 것을 막지 않았습니다. 오히려 계속 연구를 읽도록 격려했습니다. 다만 더 천천히, 더 의심하며, '재현’과 '일관성’을 중시하도록 가르쳤습니다. 한 시즌이 지난 후, 그는 더 이상 매주 새로운 제목에 끌려다니지 않았습니다. 오히려 한 가지 방법을 끝까지 성실히 실행하고 자신의 데이터로 미세 조정한 덕분에 2년간 막혀 있던 기록을 갱신했습니다.

재현성 위기는 무섭게 들리지만, 사실 좋은 소식입니다. 그것은 과학이 끊임없이 스스로를 수정하는 과정이지, 돌에 새겨진 일련의 정론이 아니라는 것을 상기시켜 줍니다. 진정한 실증 정신은 어떤 논문이든 맹신하는 것도, 냉소적으로 모든 연구를 불신하는 것도 아닙니다. 증거의 강도에 비례한 신뢰를 주는 법을 배우는 것입니다——약한 증거는 조심스럽게 시도하고, 강한 증거는 골격으로 삼으며, 자신의 장기 데이터는 언제나 최종 중재자입니다.

다음에 '최신 연구로 입증⋯⋯'이라는 글을 보게 되면, 먼저 심호흡하고 세 가지 질문을 던지시길 바랍니다. 몇 명을 대상으로 했는가? 대상이 나와 비슷한가? 다른 사람들도 같은 결과를 얻었는가? 이렇게만 해도 여러분은 이미 대부분의 사람들보다 과학과 더 잘 지내는 법을 아는 것입니다.

마무리: 휴대용 체크리스트

이 글의 핵심을 머릿속에 붙여둘 수 있는 체크리스트 하나로 압축했습니다. 놀라운 결론을 볼 때마다 순서대로 확인하세요:

1. 인원 수: 몇 명을 대상으로 했나? 한 자릿수면 크게 할인.
2. 대상: 피험자의 연령, 성별, 수준, 건강 상태가 나와 비슷한가?
3. 대조: 위약이나 대조군이 있는가? 없다면 효과가 과대평가되었을 수 있음.
4. 재현: 단일 사례인가, 아니면 여러 독립 팀이 같은 방향의 결과를 얻었는가?
5. 크기: 효과가 합리적인 1~3%인가, 아니면 비현실적으로 과장되었는가?
6. 투명성: 사전 등록, 데이터 공개, 제한점을 정직하게 기술했는가?
7. 동기: 이 글을 게재한 사람이 마침 무엇인가를 팔고 있지 않은가?
8. 자신: 모든 검토를 통과하더라도, 마지막에는 자신에게 단일 실험으로 한 번 검증해야 함.

이 여덟 가지 질문은 통계적 배경이 전혀 필요 없지만, 시중의 대부분의 과장된 주장을 걸러내는 데 도움이 됩니다. 이것을 반사 행동으로 만들면, 매번 새로운 제목에 끌려다니는 대신 연구 읽기의 즐거움을 안심하고 누릴 수 있습니다. 훈련의 길은 깁니다. 안정, 인내, 그리고 증거에 대한 정직함이야말로 끝까지 여러분과 함께할 수 있는 것입니다.

---

본문은 교육용 콘텐츠로, 의사, 물리치료사 또는 영양사의 개별 진단 및 치료 권고를 대체할 수 없습니다. 당뇨병, 고혈압, 심장 질환 등의 만성 질환이 있거나, 약을 복용 중이거나, 보다 격렬한 훈련이나 식이 조정을 준비 중이라면 반드시 먼저 주치의와 전문 팀과 상담하여 개별 평가를 받으십시오.

참고 자료

• Reproducibility Project: Psychology(심리학 재현 연구 프로젝트) — Estimating the reproducibility of psychological science, Science: https://www.science.org/doi/10.1126/science.aac4716
• 운동 및 운동과학 연구자의 재현성에 대한 태도 조사 — A Survey on the Attitudes Towards and Perception of Reproducibility and Replicability in Sports and Exercise Science, Communications in Kinesiology: https://storkjournals.org/index.php/cik/article/view/53
• 운동과학 연구의 재현 가능성을 추정하는 대규모 프로젝트 — Estimating the Replicability of Sports and Exercise Science Research, Sports Medicine: https://link.springer.com/article/10.1007/s40279-025-02201-w
• 운동과학 재현성 우려에 대한 서술적 고찰 — Replication concerns in sports and exercise science: a narrative review, Royal Society Open Science: https://royalsocietypublishing.org/doi/10.1098/rsos.220946

관련 주제 읽기

• 운동과학 연구 방법 입문: 논문 읽는 법(코치가 '연구로 입증’이라는 네 글자를 꿰뚫어 보는 법)
• 상관관계는 인과관계가 아니다: 코치가 알려주는 운동과학 연구 읽는 법, 단일 제목에 속지 마세요
• 운동 보충제의 증거 피라미드: 무엇이 정말 효과적이고, 무엇이 유행일 뿐이며, 연구를 어떻게 읽어야 하는가
• 시즌 중 비시즌에 힘들게 만든 근력을 유지하는 법(주 1회만으로 충분)