PDF

001-분자생물학특론-5.21.pdf

Title

마이크로바이옴 기반 질병 진단 분류기를 기계학습으로 개발하기 위한 모범 사례

Summary

초록(한국어 번역)

인간 장(腸) 마이크로바이옴은 여러 질환에서 중요한 역할을 하며, 기계학습(ML)을 통해 진단 모델을 개발하는 데 활용될 수 있다.

모델 구축에서 사용되는 구체적 도구와 매개변수(예: 데이터 전처리, 배치 효과 제거, 모델링 알고리즘)는 모델 성능과 일반화능력에 영향을 줄 수 있다.

범용적인 워크플로우를 확립하기 위해 우리는 ML 과정을 데이터 전처리, 배치 효과 제거, 모델 알고리즘의 세 단계로 분해하고 20개 질환에 걸친 83개 장(腸) 마이크로바이옴 코호트를 사용해 각 단계를 순차적으로 최적화했다.

총 156개의 도구-매개변수-알고리즘 조합을 시험하고 내부 및 외부 AUC(수신자 조작 특성 곡선 아래 면적)를 기준으로 벤치마크했다.

데이터 전처리 단계에서는 회귀형 알고리즘에 대해 성능이 우수한 4가지 전처리 방법과 비회귀형(비-회귀형) 알고리즘에 대해 우수한 1가지 방법을 규명했다. 배치 효과 제거 단계에서는 R 패키지 sva의 "ComBat" 함수가 효과적인 방법으로 확인되었고, 다양한 알고리즘의 성능을 비교했다. 마지막으로 ML 알고리즘 선택 단계에서는 Ridge(릿지)와 Random Forest(랜덤 포레스트)가 상위 성능을 보였다. 우리가 최적화한 워크플로우는 질환 특이적 최적화에 대해 보고된 기존의 광범위 탐색 방법들과 유사한 성능을 보였으며, 따라서 보다 넓은 범위의 질환에 일반적으로 적용 가능하고 향후 의료 진단을 위한 강력한 도구로 활용될 수 있는 포괄적 지침을 제공할 수 있다.

요약 및 핵심점(학술적 수준)

• 연구 목표

• 장내 마이크로바이옴을 기반으로 한 질병 진단 분류기 개발 과정에서 각 처리 단계(데이터 전처리, 배치 효과 제거, 알고리즘 선택)가 모델 성능과 일반화능력에 어떻게 영향을 미치는지 규명하고, 다수 질환에 걸쳐 범용적으로 적용 가능한 최적 워크플로우를 제시함.

• 데이터 및 실험 설계

• 20개 질환, 총 83개 코호트의 장 마이크로바이옴 데이터(16S 및 WGS 포함)를 사용.
• 총 156개의 도구·매개변수·알고리즘 조합을 시험하고 내부(internal) 및 외부(external) AUC로 성능을 평가.

• 각 모델은 교차검증(예: 다중 폴드/반복)을 통해 내부 성능을 산정하고, 코호트 간 검증으로 외부 일반화능력을 평가.

• 데이터 전처리 결과(핵심 발견)

• 전처리 단계가 모델 성능에 유의한 영향을 미침. 구체적으로 회귀형 알고리즘(regression-type)에서는 4가지 전처리 조합이, 비회귀형 알고리즘에서는 1가지 전처리 조합이 우수함.

• 전처리 구성 요소(예: 저발현 특징 필터링, 스케일링/정규화, 교란변수 보정)의 선택이 알고리즘별로 상호작용하며 최적 조합이 달라짐(즉, 전처리와 알고리즘은 분리된 최적화 대상이 아님).

• 배치 효과 제거

• 여러 배치 교정 기법을 비교한 결과 R의 sva 패키지에 포함된 ComBat 함수가 배치 효과를 효과적으로 감소시키면서 모델 성능을 잘 보존함.

• 배치 제거의 유효성 평가는 단순 AUC 비교뿐 아니라 ADONIS 분석을 통한 배치 관련 분산(R²) 감소로도 검증함.

• 알고리즘 선택

• 여러 알고리즘을 비교한 결과 Ridge(선형 규제 계열)와 Random Forest(비선형 앙상블)가 전반적으로 우수한 성능을 보임.

• 그러나 특정 알고리즘은 특정 전처리 방식과 잘 맞음(예: 일부 비회귀형 알고리즘에는 비정규화 전처리가 더 유리함 등). 즉, 알고리즘-전처리 간 상호 최적화가 중요함.

• 방법론적 기여 및 적용성

• 제시된 워크플로우는 질환 특이적으로 매우 광범위하게 탐색한 이전 연구들과 비교해 유사한 성능을 보이면서도, 다수 질환에 걸쳐 일반적으로 적용 가능한 지침을 제공함.

• 내부 및 외부 검증 결과를 모두 고려함으로써 실제 다중 코호트 적용 시의 일반화능력에 중점을 둠.

• 추가적 해설(복잡 개념 설명)

• 내부 AUC vs 외부 AUC: 내부 AUC는 동일 코호트 내 교차검증 결과(모델의 과적합 여부 판단에 유용), 외부 AUC는 타 코호트로의 일반화능력(진짜 임상 적용 가능성 판단)에 직접적인 정보를 제공.
• 배치 효과(batch effect): 서로 다른 연구/실험 조건(시퀀서, 실험실, 배치 등)에서 발생하는 기술적 변동으로, 이를 교정하지 않으면 모델이 질병 신호 대신 배치 특이 신호를 학습할 위험이 있음.

• 회귀형 vs 비회귀형 알고리즘 구분: 회귀형(예: 정규화된 선형 모델)은 입력 특성의 스케일·분포에 민감한 반면, 비회귀형(예: 트리 기반 모델)은 스케일 민감도가 낮고 다른 전처리 요구를 가질 수 있음(따라서 전처리 선택이 알고리즘에 따라 달라짐).

• 결론적 메시지

• 데이터 전처리, 배치 교정, 알고리즘 선택을 단계적으로 최적화하면 다수 질환에 걸쳐 적용 가능한 견고한 마이크로바이옴 기반 진단 모델 구축이 가능하다. 특히 ComBat을 이용한 배치 제거와 Ridge/Random Forest 알고리즘의 사용이 권장되며, 제시된 워크플로우는 향후 임상적·연구적 진단 도구 개발에 유용한 지침을 제공한다.

Figure 해설

그래프에서 internal validation은 같은 코호트 안에서 수행한 교차검증, external validation은 다른 코호트에 적용한 검증을 뜻한다. 전처리 조합은 Filtered_Rescale_Normalized_Confounder 순서이며, T는 적용, F는 미적용이다.

Figure 1. 연구 설계와 데이터 구성

• Figure 1a: 장내 미생물의 16S rRNA 또는 WGS 상대풍부도 자료를 입력으로 받아 전처리, 배치 효과 제거, 알고리즘 선택을 차례로 최적화하는 전체 흐름이다. 전처리는 저풍부도 feature filtering, rescaling, normalization, confounder correction의 네 단계로 나뉜다. 각 선택의 결과는 internal/external AUC로 평가하고, 배치 교정은 AUC뿐 아니라 배치가 설명하는 분산인 \(R^2\)도 함께 확인한다.
• Figure 1b: 16S 46개와 WGS 37개, 총 83개 코호트의 구성을 질병별로 나타낸 heatmap이다. 질병군 5,988명과 대조군 4,411명, 20개 질병이 포함되며 장, 대사, 정신·신경, 자가면역, 간 질환으로 묶었다. 질병마다 코호트 수와 표본 수가 크게 달라서, 같은 코호트 안의 성능뿐 아니라 다른 코호트로 일반화되는지도 평가해야 한다.

Figure 2. 전처리 방법 선택

• Figure 2a: 저풍부도 미생물을 제거하지 않은 경우와 0.001%, 0.005%, 0.01%, 0.05% cutoff를 비교한다. 0.001%의 internal AUC 중앙값은 0.71로 무필터링과 같고 external AUC도 0.57로 유지된다. 반면 더 높은 cutoff는 internal AUC를 낮출 수 있다. 0.001%가 통계적으로 성능을 높인 것은 아니지만, 성능 손실 없이 희소한 feature를 줄이는 값이라 이후 분석에 사용했다.
• Figure 2b: 무정규화와 여섯 가지 normalization을 비교한다. rank.std와 rank.unit의 internal AUC가 0.79로 가장 높았고, rank.std는 external validation에서도 약 0.60을 유지했다. 따라서 feature를 순위로 바꾼 뒤 z-score를 적용하는 rank.std를 후속 분석의 기본 normalization으로 선택했다.
• Figure 2c: 16개 전처리 조합 중 F_T_T_F, T_F_T_F, T_T_T_F, F_F_T_F가 대조군 F_F_F_F보다 높은 AUC를 보였다. 네 조합의 공통점은 rank.std normalization을 적용하고 confounder correction은 적용하지 않았다는 점이다. Filtering과 rescaling의 적용 여부보다 normalization의 유무가 더 일관된 차이를 만들었다.

Figure 3. 각 전처리 단계의 기여도와 방향

• Figure 3a: PERMANOVA로 AUC 차이의 설명분산을 나눈 결과다. Normalization은 internal 60.50%, external 48.62%, confounder correction은 각각 23.68%, 28.99%를 설명했다. Filtering과 rescaling의 기여도는 상대적으로 작았다. 이 패널은 영향의 크기만 보여주며, 성능을 올렸는지 내렸는지는 Figure 3b에서 확인해야 한다.
• Figure 3b: Wilcoxon rank-sum test로 각 단계의 적용 전후 AUC 방향을 비교한다. Normalization은 internal과 external AUC를 유의하게 높였지만, confounder correction은 둘 다 낮췄다. Filtering과 rescaling은 유의한 차이가 없었다. 여기서 confounder correction은 연령, 성별, BMI 같은 생물학적·임상 변수의 보정이며, 뒤에서 다루는 코호트 간 batch correction과는 다른 단계다.

Figure 4. 배치 교정, 알고리즘 비교와 최종 workflow

• Figure 4a: 배치 교정을 하지 않은 대조군과 limma, MMUPHin, sva를 비교한다. Internal AUC는 0.71에서 0.72–0.74로 변했지만 유의하지 않았다. External AUC에서는 sva의 ComBat이 0.58로 대조군 0.57보다 소폭 높았고 유의한 차이를 보였다. 절대 차이가 작기 때문에 AUC만으로 배치 제거 성능을 판단하기는 어렵다.
• Figure 4b: 교정 전후 배치가 설명하는 분산 \(R^2\)를 비교한다. \(R^2\)가 0에 가까울수록 배치 정보가 적게 남았다는 뜻이다. MMUPHin과 sva는 교정 후 \(R^2\)를 유의하게 낮췄지만(\(p<0.0001\)), limma는 일부 데이터에서 오히려 높아졌다. Figure 4a의 AUC까지 함께 고려해 sva::ComBat을 최종 batch correction으로 선택했다.
• Figure 4c: Random Forest와 Ridge를 네 가지 우수 전처리 조합에서 비교한다. 이 조합에서는 Ridge의 external AUC가 약 0.62–0.625로 Random Forest의 0.61보다 조금 높다. 다만 이 결과는 normalization 중심의 동일 전처리를 두 알고리즘에 적용한 비교이므로, 전처리에 덜 민감한 Random Forest의 최적 조건까지 뜻하지는 않는다.
• Figure 4d: 각 알고리즘에 가장 적합한 전처리를 적용한 뒤 external AUC를 비교한다. 중앙값은 Random Forest 0.640, Ridge 0.635로 가장 높았고 Radial SVM 0.617, Lasso와 Enet 0.610이 뒤를 이었다. 즉 하나의 전처리를 모든 모델에 공통 적용하기보다 알고리즘별 전처리를 먼저 맞춘 뒤 비교해야 한다.
• Figure 4e: 최종적으로 Ridge용 네 개 workflow와 Random Forest용 한 개 workflow를 제안한다. Ridge는 filtering과 rescaling을 적용하거나 생략할 수 있지만 rank.std normalization을 적용하고 confounder correction은 하지 않는다. Random Forest는 저풍부도 feature만 제거하고 rescaling과 normalization, confounder correction은 생략한다. 두 경로 모두 sva::ComBat으로 batch correction을 수행한다. 그림에는 cutoff가 0.01로 보이지만, 본문과 Figure 2에서 최종 선택한 기준은 0.001%이므로 발표에서는 본문 기준으로 설명하는 편이 안전하다.

Content

PMC Search Update

PMC Beta search will replace the current PMC search the week of September 7, 2025. Try out PMC Beta search now and give us your feedback. Learn more

. 2025 Apr 4;17(1):2489074. doi: 10.1080/19490976.2025.2489074

Best practices for developing microbiome-based disease diagnostic classifiers through machine learning

Peikun Li , Min Li , Wei-Hua Chen

PMCID: PMC11980492 PMID: 40186338

ABSTRACT

The human gut microbiome, crucial in various diseases, can be utilized to develop diagnostic models through machine learning (ML). The specific tools and parameters used in model construction such as data preprocessing, batch effect removal and modeling algorithms can impact model performance and generalizability. To establish an generally applicable workflow, we divided the ML process into three above-mentioned steps and optimized each sequentially using 83 gut microbiome cohorts across 20 diseases. We tested a total of 156 tool-parameter-algorithm combinations and benchmarked them according to internal- and external- AUCs. At the data preprocessing step, we identified four data preprocessing methods that performed well for regression-type algorithms and one method that excelled for non-regression-type algorithms.

다양한 질병에 중요한 인간 장내 미생물군집은 머신러닝(ML)을 통해 진단 모델을 개발하는 데 활용될 수 있습니다. 데이터 전처리, 배치 효과 제거 및 모델링 알고리즘과 같은 모델 구성에 사용되는 특정 도구 및 매개변수는 모델 성능과 일반화 가능성에 영향을 미칠 수 있습니다. 일반적으로 적용 가능한 워크플로를 구축하기 위해 ML 프로세스를 위에서 언급한 세 단계로 나누고 20개 질병에 걸쳐 83개의 장내 미생물군집 코호트를 사용하여 각 단계를 순차적으로 최적화했습니다. 총 156개의 도구-매개변수-알고리즘 조합을 테스트하고 내부 및 외부 AUC에 따라 벤치마킹했습니다. 데이터 전처리 단계에서 회귀형 알고리즘에 적합한 4가지 데이터 전처리 방법과 비회귀형 알고리즘에 탁월한 1가지 방법을 확인했습니다.

At the batch effect removal step, we identified the “ComBat” function from the sva R package as an effective batch effect removal method and compared the performance of various algorithms. Finally, at the ML algorithm selection step, we found that Ridge and Random Forest ranked the best. Our optimized work flow performed similarly comparing with previous exhaustive methods for disease-specific optimizations, thus is generally applicable and can provide a comprehensive guideline for constructing diagnostic models for a range of diseases, potentially serving as a powerful tool for future medical diagnostics.

배치 효과 제거 단계에서 sva R 패키지의 "ComBat" 기능을 효과적인 배치 효과 제거 방법으로 식별하고 다양한 알고리즘의 성능을 비교했습니다. 마지막으로 ML 알고리즘 선택 단계에서 Ridge와 Random Forest가 가장 높은 순위를 차지한 것으로 나타났습니다. 당사의 최적화된 작업 흐름은 질병별 최적화를 위한 이전의 철저한 방법과 유사하게 수행되었으므로 일반적으로 적용 가능하며 다양한 질병에 대한 진단 모델을 구축하기 위한 포괄적인 지침을 제공할 수 있으며 잠재적으로 향후 의료 진단을 위한 강력한 도구 역할을 할 수 있습니다.

KEYWORDS: Gut microbiome, machine learning, patient stratification, disease diagnostic models, optimal model construction workflow

Introduction

The human gut microbiome plays crucial roles in various functions such as food digestion, immune system regulation, antiviral and antibacterial protection, and even impacts on the central nervous system. The human gut bacterial community is a complex microbial ecosystem closely linked to overall health. Over the past decades, researchers have highlighted the pivotal role of the gut microbiome in the onset and progression of various diseases, including gastrointestinal diseases like Colorectal Cancer (CRC), Crohn’s Disease (CD), and Ulcerative Colitis (UC); autoimmune diseases such as Rheumatoid Arthritis (RA) and Systemic Lupus Erythematosus (SLE); metabolic disorders like Obesity and Type 2 Diabetes Mellitus (T2D); and neurological conditions such as Parkinson’s Disease (PD); Alzheimer’s Disease (AD) and Autism Spectrum Disorder (ASD).

인간의 장내 미생물군집은 음식 소화, 면역 체계 조절, 항바이러스 및 항균 보호, 심지어 중추 신경계에 미치는 영향과 같은 다양한 기능에서 중요한 역할을 합니다. 인간의 장내 세균 군집은 전반적인 건강과 밀접하게 연결된 복잡한 미생물 생태계입니다. 지난 수십 년 동안 연구자들은 대장암(CRC), 크론병(CD), 궤양성 대장염(UC)과 같은 위장관 질환을 포함한 다양한 질병의 발병 및 진행에서 장내 미생물군집의 중추적인 역할을 강조해 왔습니다. 류마티스 관절염(RA) 및 전신성 홍반성 루푸스(SLE)와 같은 자가면역 질환; 비만 및 제2형 당뇨병(T2D)과 같은 대사 장애; 파킨슨병(PD)과 같은 신경학적 상태; 알츠하이머병(AD) 및 자폐 스펙트럼 장애(ASD).

Additionally, gut microbiome has been identified as a potential biomarker for distinguishing between patients with CRC, UC, and CD from control groups. Meanwhile, growing evidence supports the feasibility of constructing disease diagnostic models based on gut microbiome using machine learning. These models integrate the composition of gut microbiome with sample metadata for training, enabling differentiation between patient and control groups and evaluation of predictive performance through area under the receiver operating characteristic curve (AUC) within cohorts (i.e., internal validation). Multicohort diagnostic models for colorectal cancer based on metagenomic data have demonstrated consistently high accuracy across different cohort test sets, outperforming models constructed from data such as metabolic pathways, while also elucidating the relationship between CRC and gut microbiome. For metabolic disorders, gut microbiome features can also be used to build machine learning models.

또한 장내 미생물군집은 CRC, UC 및 CD 환자를 대조군과 구별하기 위한 잠재적인 바이오마커로 확인되었습니다. 한편, 기계 학습을 사용하여 장내 미생물군집을 기반으로 질병 진단 모델을 구축하는 타당성을 뒷받침하는 증거가 늘어나고 있습니다. 이러한 모델은 장내 미생물군집의 구성을 훈련을 위한 샘플 메타데이터와 통합하여 환자군과 대조군을 구별하고 코호트 내 수신자 작동 특성 곡선(AUC) 아래 면적을 통한 예측 성능 평가(즉, 내부 검증)를 가능하게 합니다. 메타게놈 데이터를 기반으로 한 대장암에 대한 다중 코호트 진단 모델은 대사 경로와 같은 데이터로 구성된 모델을 능가하는 동시에 CRC와 장내 미생물군집 간의 관계를 밝히는 다양한 코호트 테스트 세트에서 일관되게 높은 정확도를 입증했습니다. 대사 장애의 경우 장내 미생물 기능을 사용하여 기계 학습 모델을 구축할 수도 있습니다.

Gou W et al. linked input features to Type 2 Diabetes Mellitus using Gradient Boosting Decision Trees (GBDT) and constructed a microbiome risk score (MRS), revealing a set of microbial features consistently associated with Type 2 Diabetes Mellitus. In addition, gut microbiome, through the gut-microbiome-brain axis and its bidirectional interactions with the nervous system via multiple pathways, is also associated with the onset and progression of neurological diseases. The construction of ASD diagnostic models further underscored the immense potential of predicting disease occurrence and progression through gut microbiome. In summary, machine learning models constructed using gut microbiome have demonstrated exceptional efficacy in the identification of disease biomarkers and diagnostic prediction across a range of diseases. This underscores the feasibility and substantial potential for the development of microbiome-based diagnostic models.

Gou W et al. GBDT(Gradient Boosting Decision Trees)를 사용하여 입력 특징을 제2형 당뇨병에 연결하고 마이크로바이옴 위험 점수(MRS)를 구성하여 제2형 당뇨병과 일관되게 관련된 일련의 미생물 특징을 밝혔습니다. 또한, 장-마이크로바이옴-뇌 축과 여러 경로를 통한 신경계와의 양방향 상호 작용을 통한 장내 미생물군집은 신경계 질환의 발병 및 진행과도 관련이 있습니다. ASD 진단 모델의 구축은 장내 미생물군집을 통해 질병 발생 및 진행을 예측할 수 있는 엄청난 잠재력을 더욱 강조했습니다. 요약하면, 장내 미생물군집을 사용하여 구축된 기계 학습 모델은 다양한 질병에 걸쳐 질병 바이오마커 식별 및 진단 예측에 탁월한 효능을 입증했습니다. 이는 마이크로바이옴 기반 진단 모델 개발의 타당성과 실질적인 잠재력을 강조합니다.

However, achieving accurate predictions through microbiome-based ML models still faces several challenges. Firstly, the composition of the gut microbiome is highly complex, exhibiting substantial inter-individual variation. Moreover, a multitude of factors, including environmental, dietary, and genetic influences, contribute to the modulation of the gut microbiome. Furthermore, the performance of microbiome-based ML models could be significantly affected by sample preprocessing processes and choice of machine learning algorithms.

그러나 마이크로바이옴 기반 ML 모델을 통해 정확한 예측을 달성하는 데는 여전히 몇 가지 과제에 직면해 있습니다. 첫째, 장내 미생물군집의 구성은 매우 복잡하여 상당한 개인 간 차이를 나타냅니다. 더욱이, 환경, 식이, 유전적 영향을 포함한 다양한 요인이 장내 미생물군집의 조절에 기여합니다. 또한 마이크로바이옴 기반 ML 모델의 성능은 샘플 전처리 프로세스와 기계 학습 알고리즘 선택에 의해 크게 영향을 받을 수 있습니다.

P. J. McMurdie et al. found that filtering low-abundance microbes can help reduce noise in the data, thereby enhancing the stability and reliability of the model. Rescaling the data ensures that it maintains a consistent scale, facilitating more accurate comparisons and analysis. Normalizing the data is crucial for ensuring comparability and reproducibility of results. Confounding factors, which are external variables that may influence the relationship between the dependent variable (e.g., disease status) and the independent variable (e.g., gut microbiome), can lead to spurious associations. Additionally, numerous other steps in model construction can affect performance, with each step offering various execution parameters.

P. J. McMurdie et al. 저풍부도 미생물을 필터링하면 데이터의 노이즈를 줄여 모델의 안정성과 신뢰성을 향상시킬 수 있음을 발견했습니다. 데이터의 크기를 조정하면 일관된 규모가 유지되어 보다 정확한 비교 및 분석이 가능해집니다. 데이터를 정규화하는 것은 결과의 비교 가능성과 재현성을 보장하는 데 중요합니다. 종속 변수(예: 질병 상태)와 독립 변수(예: 장내 미생물군집) 간의 관계에 영향을 미칠 수 있는 외부 변수인 교란 요인은 가짜 연관성으로 이어질 수 있습니다. 또한 모델 구성의 수많은 다른 단계가 성능에 영향을 미칠 수 있으며 각 단계는 다양한 실행 매개변수를 제공합니다.

For example, different filtering thresholds can be applied to remove low-abundance microbes, and multiple methods are available for data normalization. Also, there are numerous algorithms selectable. For instance, among machine learning algorithms, methods based on Random Forest and Least Absolute Shrinkage and Selection Operator (Lasso) logistic regression are particularly popular due to their advantages, which include high performance with small sample sizes (e.g., fewer than 50), robustness with complex and heterogeneous data (e.g., high-dimensional compositional data), clear ranking of feature importance, and reduced risk of overfitting through feature selection. Therefore, to improve model accuracy and applicability, it’s crucial to compare data preprocessing methods and explore various machine learning models.

예를 들어, 저풍부도 미생물을 제거하기 위해 다양한 필터링 임계값을 적용할 수 있으며 데이터 정규화를 위해 여러 가지 방법을 사용할 수 있습니다. 또한 선택할 수 있는 다양한 알고리즘이 있습니다. 예를 들어, 머신러닝 알고리즘 중 랜덤 포레스트(Random Forest)와 올가미(Least Absolute Shrinkage and Selection Operator) 로지스틱 회귀를 기반으로 하는 방법은 작은 표본 크기(예: 50개 미만)의 고성능, 복잡하고 이질적인 데이터(예: 고차원 구성 데이터)의 견고성, 특징 중요도의 명확한 순위, 특징 선택을 통한 과적합 위험 감소 등의 장점으로 인해 특히 인기가 있습니다. 따라서 모델의 정확성과 적용성을 향상시키기 위해서는 데이터 전처리 방법을 비교하고 다양한 기계 학습 모델을 탐색하는 것이 중요합니다.

To address the aforementioned challenges, several solutions have been proposed. J. Wirbel et al., when constructing a model on the CRC dataset, found that avoiding feature selection could effectively prevent overfitting and improve the model’s external validation AUC. Recently, S. Lee et al. employed an exhaustive approach to compare 5,184 pipeline combinations across four dimensions – profile modality, batch correction, normalization, and algorithm – to identify the most suitable disease-specific pipelines for CRC and CD. However, a comprehensive and universally applicable machine learning model optimization strategy for multiple diseases remains lacking.

앞서 언급한 문제를 해결하기 위해 몇 가지 솔루션이 제안되었습니다. J. Wirbel 등은 CRC 데이터 세트에서 모델을 구성할 때 특징 선택을 피하면 과적합을 효과적으로 방지하고 모델의 외부 검증 AUC를 향상시킬 수 있음을 발견했습니다. 최근 S. Lee et al. CRC 및 CD에 가장 적합한 질병별 파이프라인을 식별하기 위해 프로필 양식, 배치 보정, 정규화 및 알고리즘의 4가지 차원에 걸쳐 5,184개의 파이프라인 조합을 비교하는 철저한 접근 방식을 사용했습니다. 그러나 여러 질병에 대한 포괄적이고 보편적으로 적용 가능한 기계 학습 모델 최적화 전략은 여전히 부족합니다.

To establish a generally applicable workflow, we divided the machine learning process into three steps (including data preprocessing methods, batch effect removal methods, and model algorithms) and optimized each step sequentially using 83 gut microbiome cohorts across 20 diseases. The data preprocessing involved four components: removal of low-abundance taxa (using four different threshold values), data rescaling, normalization (with six different methods)To investigate the contribution effects for improving performance AUCs of these four data preprocessing steps, we applied Adonis analysis (a type of multivariate analysis of variance) to assess the contribution and significance of each step. From the internal validation results, we found that data normalization and confounders adjustment were the two primary contributors to model performance differences, both with significant results (Figure 3a, p  < 0.01). In contrast, removing low-abundance taxa and data rescaling had minimal contributions to these differences. The external validation results corroborated these findings, further indicating that data normalization and confounders adjustment are the two most impactful factors affecting model performance (Figure 3a)., and correction of confounding factors. Thus, we evaluated 156 different combinations of tools, parameters, and algorithms, and assessed their performance using both internal AUC and external validation. Finally, we identified five high-performing methods. Our optimized workflow performed comparably to previous exhaustive methods for disease-specific optimizations and is generally applicable to a wider range of diseases.

일반적으로 적용 가능한 워크플로를 구축하기 위해 머신러닝 프로세스를 3단계(데이터 전처리 방법, 배치 효과 제거 방법, 모델 알고리즘 포함)로 나누고 20개 질병에 걸쳐 83개의 장내 미생물군집 코호트를 사용하여 각 단계를 순차적으로 최적화했습니다. 데이터 전처리에는 저풍부도 분류군 제거(4가지 다른 임계값 사용), 데이터 재스케일링, 정규화(6가지 다른 방법 사용) 및 교란 요인 수정의 네 가지 구성 요소가 포함되었습니다. 따라서 우리는 도구, 매개변수 및 알고리즘의 156가지 조합을 평가하고 내부 AUC와 외부 검증을 모두 사용하여 성능을 평가했습니다. 마지막으로 5가지 고성능 방법을 확인했습니다. 당사의 최적화된 워크플로우는 질병별 최적화를 위한 이전의 철저한 방법과 비교할 수 있으며 일반적으로 더 넓은 범위의 질병에 적용할 수 있습니다.

Results

Data collection and experimental workflow

To explore the optimal construction process for disease diagnostic models based on gut microbiome, we utilized case-control cohort data previously collected and analyzed by M. Li et al, comprising 83 cohorts associated with 20 distinct diseases. Among these, there were 46 cohorts with 16S rRNA sequencing data and 37 with metagenomic sequencing data, encompassing 5,988 disease samples and 4,411 healthy samples (Figure 1b). Of the 20 diseases, 8 were exclusive to the 16S group: Irritable Bowel Syndrome (IBS), Clostridium Difficile Infection (CDI), Alzheimer’s Disease (AD), Mild Cognitive Impairment (MCI), Chronic Fatigue Syndrome (CFS), Multiple Sclerosis (MS), Juvenile Arthritis (JA), and Non-alcoholic Fatty Liver Disease (NAFLD). Five diseases were exclusive to the WGS group: Adenoma, Inflammatory Bowel Disease (IBD), Obesity, Overweight, and Ankylosing Spondylitis (AS). Seven diseases were represented in both sequencing types: Colorectal Cancer (CRC), Crohn’s Disease (CD), Ulcerative Colitis (UC), Type 2 Diabetes Mellitus (T2D), Parkinson’s Disease (PD), Autism Spectrum Disorder (ASD), and Rheumatoid Arthritis (RA) (Figure 1b). According to the Medical Subject Headings (MeSH, https://meshb.nlm.nih.gov/.) database and the Human Disease Ontology (DO) database, these 20 diseases were categorized into five groups: seven Intestinal, three Metabolic, four Autoimmune, five Mental/nervous system diseases (Mental for short), and one Liver disease (Figure 1b).

장내 미생물군집을 기반으로 한 질병 진단 모델의 최적 구성 프로세스를 탐색하기 위해 우리는 이전에 M. Li et al이 수집하고 분석한 20개의 개별 질병과 관련된 83개의 코호트로 구성된 환자-대조군 코호트 데이터를 활용했습니다. 이 중 16S rRNA 시퀀싱 데이터가 있는 코호트는 46개, 메타게놈 시퀀싱 데이터가 있는 코호트는 37개로 5,988개의 질병 샘플과 4,411개의 건강한 샘플을 포함했습니다(그림 1b). 20개 질병 중 8개는 16S 그룹에만 해당되었습니다: 과민성 대장 증후군(IBS), 클로스트리디움 디피실 감염(CDI), 알츠하이머병(AD), 경도 인지 장애(MCI), 만성 피로 증후군(CFS), 다발성 경화증(MS), 소아 관절염(JA) 및 비알코올성 지방간 질환(NAFLD). 선종, 염증성 장 질환(IBD), 비만, 과체중 및 강직성 척추염(AS)의 5가지 질병이 WGS 그룹에만 해당되었습니다. 대장암(CRC), 크론병(CD), 궤양성 대장염(UC), 제2형 당뇨병(T2D), 파킨슨병(PD), 자폐 스펙트럼 장애(ASD) 및 류마티스 관절염(RA)의 7가지 질병이 두 시퀀싱 유형 모두에서 나타났습니다(그림 1b). MeSH, https://meshb.nlm.nih.gov/.) 데이터베이스 및 DO(Human Disease Ontology) 데이터베이스에 따르면 이 20가지 질병은 장 7개, 대사 3개, 자가면역 4개, 정신/신경계 질환 5개(줄여서 정신), 간 질환 1개(그림 1b)의 5개 그룹으로 분류되었습니다.

Research workflow and data collection statistics. (a) This flowchart illustrates the main stages of the research, including data collection, analysis, and the exploration of the optimal model construction process. The first section focuses on comparing data preprocessing methods, including filtering low-abundance taxa (using five different thresholds), data rescaling, data normalization (involving seven methods), and confounding factors adjustment. The second section compares batch effect removal methods including three techniques. The third section evaluates algorithm performance involving four algorithms. Yellow indicates selectable methods, purple denotes the R packages used, and pink represents the evaluations used to assess model performance. b. The heatmap shows the composition of samples in the study, categorized into two data types (16S and WGS) and covering 20 diseases. The heatmap also presents the number of cohorts per disease and the count of case and control samples in each cohort. Diseases are classified into six categories based on the Medical Subject Headings (MeSH, https://meshb.nlm.nih.gov/.) database and the Human Disease Ontology (DO) database. 33

워크플로 및 데이터 수집 통계를 조사합니다. (a) 이 순서도는 데이터 수집, 분석, 최적의 모델 구축 프로세스 탐색 등 연구의 주요 단계를 보여줍니다. 첫 번째 섹션에서는 저풍부도 분류군 필터링(5가지 임계값 사용), 데이터 재스케일링, 데이터 정규화(7가지 방법 포함) 및 교란 요인 조정을 포함한 데이터 전처리 방법을 비교하는 데 중점을 둡니다. 두 번째 섹션에서는 세 가지 기술을 포함한 배치 효과 제거 방법을 비교합니다. 세 번째 섹션에서는 4개의 알고리즘을 포함하는 알고리즘 성능을 평가합니다. 노란색은 선택 가능한 방법을 나타내고, 보라색은 사용된 R 패키지를 나타내며, 분홍색은 모델 성능을 평가하는 데 사용되는 평가를 나타냅니다. b. 히트맵은 두 가지 데이터 유형(16S 및 WGS)으로 분류되고 20개 질병을 다루는 연구 샘플의 구성을 보여줍니다. 히트맵은 또한 질병당 코호트 수와 각 코호트의 사례 및 대조군 샘플 수를 표시합니다. 질병은 MeSH, https://meshb.nlm.nih.gov/.) 데이터베이스와 DO(Human Disease Ontology) 데이터베이스를 기반으로 6가지 범주로 분류됩니다.

To comprehensively compare the various modeling steps and parameters, we divided the model construction process into three stages. First, we investigated the optimal data preprocessing methods for building disease diagnostic models based on gut microbiome. The data preprocessing process included four components: filtering low-abundance taxa, data rescaling, data normalization, and confounding factors correction. Data rescaling and confounders correction were binary decisions (i.e., either performed or not), while there were multiple options for the threshold of low-abundance filtering and data normalization methods. Therefore, we first determined the optimal threshold for low-abundance filtering and the best data standardization method, then compared combinations of these with or without rescaling and confounders correction. Next, we compared three methods for removing batch effects to identify the most effective one. Finally, we compared four algorithms to find the one that yielded the best model performance (Figure 1a).

다양한 모델링 단계와 매개변수를 종합적으로 비교하기 위해 모델 구성 프로세스를 세 단계로 나누었습니다. 먼저, 장내 미생물군집을 기반으로 질병 진단 모델을 구축하기 위한 최적의 데이터 전처리 방법을 조사했습니다. 데이터 전처리 프로세스에는 저풍부도 분류군 필터링, 데이터 재스케일링, 데이터 정규화 및 교란 요인 수정의 네 가지 구성 요소가 포함되었습니다. 데이터 재스케일링 및 교란 수정은 이진 결정(즉, 수행 여부)이었지만 저풍부도 필터링 및 데이터 정규화 방법의 임계값에 대한 여러 옵션이 있었습니다. 따라서 먼저 저풍부도 필터링을 위한 최적의 임계값과 최상의 데이터 표준화 방법을 결정한 다음 재스케일링 및 교란 요인 보정 유무에 관계없이 이들의 조합을 비교했습니다. 다음으로, 배치 효과를 제거하는 세 가지 방법을 비교하여 가장 효과적인 방법을 식별했습니다. 마지막으로 4가지 알고리즘을 비교하여 최고의 모델 성능을 제공하는 알고리즘을 찾았습니다(그림 1a).

In this study, we constructed models for all datasets corresponding to each disease, performing both internal and external validations. Each dataset underwent five-fold cross-validation repeated three times. In total, 156 tool-parameter-algorithm combinations were developed, with 12,948 internal and external validation processes conducted. From these comprehensive analyses, we identified an optimal model construction workflow that demonstrates robust generalizability across multiple diseases.

본 연구에서는 각 질병에 해당하는 모든 데이터 세트에 대한 모델을 구축하여 내부 및 외부 검증을 모두 수행했습니다. 각 데이터 세트는 3회 반복되는 5배 교차 검증을 거쳤습니다. 총 156개의 도구-매개변수-알고리즘 조합이 개발되었으며 12,948개의 내부 및 외부 검증 프로세스가 수행되었습니다. 이러한 포괄적인 분석을 통해 우리는 여러 질병에 걸쳐 강력한 일반화 가능성을 보여주는 최적의 모델 구성 워크플로를 식별했습니다.

Appropriate filtering thresholds and normalization methods improve model performance

Before determining the optimal data preprocessing method, we first compared the performance of models under different thresholds for filtering low-abundance taxa and varying data normalization methods. All models in this section were constructed using the Lasso algorithm. To identify the optimal threshold for filtering low-abundance taxa, we kept all parameters consistent across models except for the threshold itself (i.e., no rescaling of data, no confounders adjustment, and no batch effect correction). Both 16S and WGS data were modeled for each study, and internal and external validations were conducted. The same approach was applied to explore the best data normalization method.

최적의 데이터 전처리 방법을 결정하기 전에 먼저 저풍부도 분류군 필터링과 다양한 데이터 정규화 방법을 위한 다양한 임계값에서 모델의 성능을 비교했습니다. 이 섹션의 모든 모델은 Lasso 알고리즘을 사용하여 구성되었습니다. 저풍부도 분류군을 필터링하기 위한 최적의 임계값을 식별하기 위해 임계값 자체를 제외한 모든 매개변수를 모델 간에 일관되게 유지했습니다(즉, 데이터 재조정 없음, 교란 요인 조정 없음, 배치 효과 수정 없음). 각 연구에 대해 16S 및 WGS 데이터를 모두 모델링하고 내부 및 외부 검증을 수행했습니다. 최상의 데이터 정규화 방법을 탐색하기 위해 동일한 접근 방식이 적용되었습니다.

For the selection of the optimal threshold, we compared the performance of models with thresholds set at 0.001%, 0.005%, 0.01%, and 0.05% against models where no low-abundance taxa were removed. Taxa with maximum abundance below these thresholds were removed. We calculated the AUCs for each parameter setting and computed the median AUCs for each group. The significance of the differences between the models using these four thresholds and the control group (with no taxa removal) was assessed using the Wilcoxon rank-sum test and paired tests. The comparison of AUCs across models with thresholds of 0.001%, 0.005%, 0.01%, and 0.05% against the no-removal control group showed no significant improvement in AUCs (Figure 2a). However, since the removal of low-abundance taxa was conducted within each cohort, we focused on the internal validation results. For internal validation, the model with 0.001% threshold yielded the highest median AUC, and it also performed well in external validation (Figure 2a). Therefore, in subsequent modeling, we adopted the 0.001% threshold for filtering low-abundance taxa.

최적의 임계값을 선택하기 위해 임계값이 0.001%, 0.005%, 0.01% 및 0.05%로 설정된 모델의 성능을 저풍부 분류군이 제거되지 않은 모델과 비교했습니다. 이 임계값 미만의 최대 풍부도를 가진 분류군은 제거되었습니다. 각 매개변수 설정에 대한 AUC를 계산하고 각 그룹의 중앙값 AUC를 계산했습니다. 이 네 가지 임계값을 사용하는 모델과 대조군(분류군 제거 없음) 간의 차이의 유의성은 Wilcoxon 순위 합계 테스트와 대응 테스트를 사용하여 평가되었습니다. 제거되지 않은 대조군과 비교하여 임계값이 0.001%, 0.005%, 0.01% 및 0.05%인 모델 간 AUC를 비교한 결과 AUC에서 유의미한 개선이 없는 것으로 나타났습니다(그림 2a). 그러나 각 코호트 내에서 저풍부도 분류군의 제거가 수행되었기 때문에 내부 검증 결과에 중점을 두었습니다. 내부 검증의 경우 임계값이 0.001%인 모델이 가장 높은 중앙값 AUC를 산출했으며 외부 검증에서도 우수한 성능을 보였습니다(그림 2a). 따라서 후속 모델링에서는 저풍부도 분류군을 필터링하기 위해 0.001% 임계값을 채택했습니다.

Exploration of optimal data preprocessing methods. a. The bar graph compares model performance between models that did not filter low-abundance taxa and those applied four different thresholds for filtering. The graph displays the median AUCs for both internal and external validations. The left color square highlights the differences in AUC between models using the four thresholds and models without filtering, with p values calculated using the Two sides Wilcoxon rank-sum test. b. The violin plots compares the model performance between models without data normalization and those with six different normalization methods. The plot annotates the median AUCs for both internal and external validations, and highlights the differences in AUCs between models using the six normalization methods and models without normalization.

최적의 데이터 전처리 방법 탐색. a. 막대 그래프는 저풍부도 분류군을 필터링하지 않은 모델과 필터링을 위해 4가지 다른 임계값을 적용한 모델 간의 모델 성능을 비교합니다. 그래프에는 내부 및 외부 검증 모두에 대한 중앙값 AUC가 표시됩니다. 왼쪽 색상 사각형은 4가지 임계값을 사용하는 모델과 필터링하지 않은 모델 간의 AUC 차이를 강조 표시하며, 양측 Wilcoxon 순위 합계 테스트를 사용하여 계산된 p 값을 사용합니다. b. 바이올린 플롯은 데이터 정규화가 없는 모델과 6가지 다른 정규화 방법을 사용하는 모델 간의 모델 성능을 비교합니다. 이 그림은 내부 및 외부 검증 모두에 대한 중앙값 AUC에 주석을 달고 6가지 정규화 방법을 사용하는 모델과 정규화가 없는 모델 간의 AUC 차이를 강조 표시합니다.

The values are calculated using the two-sided Wilcoxon rank-sum test. c. The violin plot compares model performance between the top four data preprocessing methods and models without any preprocessing. The plot annotates the median AUCs for both internal and external validations and highlights the differences in AUC between models using these four preprocessing methods and those without any preprocessing. The legend indicates whether the four steps – filtering low-abundance taxa, data rescaling, data normalization, and confounding factor correction – were applied (T for applied, F for not applied). The values are calculated using the Two sides Wilcoxon rank-sum test. Two sides Wilcoxon rank sum test was used for pairwise group comparisons. The colored horizontal lines represent different AUC levels. The numbers marked in the bottom of d, e, f and g represent the mean of the corresponding AUCs. * < 0.05, ** < 0.01, *** < 0.001, **** < 0.0001.

값은 양측 Wilcoxon 순위 합계 검정을 사용하여 계산됩니다. c. 바이올린 플롯은 상위 4개 데이터 전처리 방법과 전처리가 없는 모델 간의 모델 성능을 비교합니다. 플롯은 내부 및 외부 검증에 대한 중앙값 AUC에 주석을 달고 이 네 가지 전처리 방법을 사용하는 모델과 전처리가 없는 모델 간의 AUC 차이를 강조 표시합니다. 범례는 저풍부도 분류군 필터링, 데이터 재조정, 데이터 정규화 및 교란 요인 수정의 네 단계가 적용되었는지 여부를 나타냅니다(적용된 경우 T, 적용되지 않은 경우 F). 값은 양측 Wilcoxon 순위 합계 검정을 사용하여 계산됩니다. 쌍별 그룹 비교를 위해 양측 Wilcoxon 순위 합계 테스트를 사용했습니다. 색상이 지정된 수평선은 서로 다른 AUC 수준을 나타냅니다. d, e, f 및 g의 하단에 표시된 숫자는 해당 AUC의 평균을 나타냅니다. * < 0.05, ** < 0.01, *** < 0.001, **** < 0.0001.

In the selection of the data normalization method, we used an approach similar to the threshold selection process. We compared the AUCs of models with data normalized using six different methods against models with data non-normalization and explored the significance of their differences. These six normalization methods are all parameters within the “normalize.features” function of the SIAMCAT R package. Specifically, “rank.unit” converts features into ranks and then normalizes each column by the square root of the rank sum (where the number of columns equals the number of samples).

데이터 정규화 방법의 선택에는 임계값 선택 프로세스와 유사한 접근 방식을 사용했습니다. 6가지 다른 방법을 사용하여 정규화된 데이터를 가진 모델의 AUC를 데이터 비정규화를 사용한 모델과 비교하고 차이점의 중요성을 탐색했습니다. 이 6가지 정규화 메서드는 모두 SIAMCAT R 패키지의 "normalize.features" 함수 내의 매개변수입니다. 특히 "rank.unit"은 특징을 순위로 변환한 다음 순위 합계의 제곱근(열 수가 표본 수와 같음)으로 각 열을 정규화합니다.

“rank.std” converts features into ranks and applies z-score normalization. “log.clr” refers to centered log-ratio transformation (with pseudocounts added). “log.std” involves log-transforming features (after adding pseudocounts) and subsequently applying z-score normalization. “log.unit” applies a logarithmic transformation to features (after adding pseudocounts) and then normalizes the features or samples using various standardization methods. Finally, “std” refers to the application of z-score normalization only. During internal validation, models with data normalized using any of the five methods, except for std, exhibited higher median AUCs than models with data non-normalization. Specifically, models with data normalized using “rank.std” and “rank.unit” showed the highest median AUCs, both reaching 0.79, significantly higher than the 0.71 AUC observed non-normalization (Figure 2b). Notably, the model with data normalized using the “rank.std” method showed a more significant inter-group difference when compared to the data non-normalization model (p  < 0.01). Additionally, in external validation, the model with data normalized using the “rank.std” method also had a high median AUC and significant inter-group differences (p  < 0.001) (Figure 2b). Therefore, in subsequent modeling, we chose to use the “rank.std” method for data normalization.

"rank.std"는 특징을 순위로 변환하고 z-점수 정규화를 적용합니다. "log.clr"은 중앙 로그 비율 변환(의사 카운트 추가)을 나타냅니다. "log.std"에는 로그 변환 기능(의사 개수 추가 후) 및 이후에 z-점수 정규화를 적용하는 작업이 포함됩니다. "log.unit"은 특징에 로그 변환을 적용한 다음(의사 개수를 추가한 후) 다양한 표준화 방법을 사용하여 특징 또는 샘플을 정규화합니다. 마지막으로 "std"는 z-점수 정규화의 적용만을 의미합니다. 내부 검증 중에 std를 제외한 5가지 방법 중 하나를 사용하여 정규화된 데이터가 있는 모델은 데이터가 정규화되지 않은 모델보다 AUC 중앙값이 더 높았습니다. 구체적으로, "rank.std" 및 "rank.unit"을 사용하여 정규화된 데이터가 있는 모델은 AUC 중앙값이 가장 높았으며, 둘 다 0.79에 도달하여 비정규화에서 관찰된 0.71 AUC보다 훨씬 높았습니다(그림 2b). 특히, "rank.std" 방법을 사용하여 정규화된 데이터를 가진 모델은 데이터 비정규화 모델(p < 0.01)과 비교할 때 더 유의미한 그룹 간 차이를 보였습니다. 또한 외부 검증에서 "rank.std" 방법을 사용하여 정규화된 데이터가 있는 모델도 높은 중앙값 AUC와 유의미한 그룹 간 차이(p < 0.001)를 보였습니다(그림 2b). 따라서 후속 모델링에서는 데이터 정규화를 위해 "rank.std" 방법을 사용하기로 결정했습니다.

Specific data preprocessing methods enhance model performance

We next explored additional data preprocessing steps including data rescaling and confounding factors correction into our overall comparison.

다음으로 전체 비교에 대한 데이터 재조정 및 교란 요인 수정을 포함한 추가 데이터 전처리 단계를 살펴보았습니다.

Firstly, the removal of low-abundance taxa was considered in two scenarios: without removal and with a threshold of 0.001%. Secondly, data rescaling was evaluated as two scenarios: performed or not performed. Thirdly, data normalization was examined in two scenarios: without normalization and with “rank.std“ method. Lastly, confounding factors adjustment was also considered in two scenarios: performed (the “removeBatchEffect” function from the limma R package) or not performed. We also summarized the specific confounders adjusted for in each cohort (Table S1). These considerations resulted in 16 possible combinations of data preprocessing methods. We constructed models using each of these 16 preprocessing methods, including one control group (i.e., no removal of low-abundance taxa, no rescaling, no normalization, and no correction for confounding factors) and 15 experimental groups. We compared the AUCs of these 16 models and the differences between the 15 experimental groups and the control group (Figure S1A).

첫째, 저풍부도 분류군의 제거는 제거 없이 0.001%의 임계값의 두 가지 시나리오로 고려되었습니다. 둘째, 데이터 재조정은 수행 또는 수행되지 않는 두 가지 시나리오로 평가되었습니다. 셋째, 데이터 정규화는 정규화가 없는 시나리오와 "rank.std" 방법을 사용한 두 가지 시나리오에서 조사되었습니다. 마지막으로, 교란 요인 조정은 수행됨(limma R 패키지의 "removeBatchEffect" 함수) 또는 수행되지 않음의 두 가지 시나리오에서도 고려되었습니다. 또한 각 코호트에서 조정된 특정 교란 요인을 요약했습니다(표 S1). 이러한 고려 사항으로 인해 데이터 전처리 방법의 16가지 가능한 조합이 탄생했습니다. 우리는 하나의 대조군(즉, 저풍부도 분류군 제거 없음, 재스케일링 없음, 정규화 없음, 교란 요인에 대한 보정 없음)과 15개의 실험 그룹을 포함하여 이러한 16가지 전처리 방법 각각을 사용하여 모델을 구성했습니다. 우리는 이 16개 모델의 AUC와 15개 실험군과 대조군 간의 차이를 비교했습니다(그림 S1A).

In internal validation, the models built with the data preprocessing methods F_T_T_F (i.e., no removal of low-abundance taxa, rescaling performed, “rank.std” normalization, no confounding factor correction), T_F_T_F (i.e., removal of low-abundance taxa at 0.001% threshold, no rescaling, “rank.std” normalization, no confounding factor correction), T_T_T_F (i.e., removal of low-abundance taxa at 0.001% threshold, rescaling performed, “rank.std” normalization, no confounding factor correction), and F_F_T_F (i.e., no removal of low-abundance taxa, no rescaling, rank.std normalization, no confounding factor correction) showed higher median AUCs of 0.77, 0.77, 0.77, and 0.79, respectively, compared to the control group’s AUC of 0.71, with significant differences (all p-values <0.01) (Figure 2c). In external validation, these four preprocessing methods also demonstrated good performance, with median AUCs of 0.61, 0.60, 0.60, and 0.60, respectively, notably higher than the control group’s 0.57, and significant differences (all p-values <0.001) (Figure 2c). Besides AUC, we also compared the models using AUPRC (Figure S2A), F1score (Figure S3A), and unitMCC (Figure S4A). The four methods that performed best in terms of AUC also demonstrated consistent advantages across these three additional metrics.

내부 검증에서 데이터 전처리 방법 F_T_T_F(즉, 저풍부도 분류군 제거 없음, 재스케일링 수행, "rank.std" 정규화, 교란 요인 수정 없음), T_F_T_F(즉, 0.001% 임계값에서 저풍부도 분류군 제거, 재조정 없음, "rank.std" 정규화, 교란 요인 수정 없음), T_T_T_F(즉, 0.001% 임계값에서 저풍부도 분류군 제거, 재스케일링 수행, "rank.std" 정규화, 교란 요인 보정 없음) 및 F_F_T_F(즉, 저풍부도 분류군 제거 없음, 재스케일링 없음, rank.std 정규화, 교란 요인 보정 없음)은 대조군의 AUC 0.71에 비해 각각 0.77, 0.77, 0.77 및 0.79의 더 높은 중앙값 AUC를 보였으며 유의미한 차이가 있었습니다(모든 p-값 <0.01) (그림 2c). 외부 검증에서 이 네 가지 전처리 방법도 AUC 중앙값이 각각 0.61, 0.60, 0.60 및 0.60으로 대조군의 0.57보다 현저히 높았고 유의미한 차이(모든 p-값<0.001)로 우수한 성능을 보여주었습니다(그림 2c). AUC 외에도 AUPRC(그림 S2A), F1score(그림 S3A) 및 unitMCC(그림 S4A)를 사용하여 모델을 비교했습니다. AUC 측면에서 가장 잘 수행된 네 가지 방법도 이 세 가지 추가 지표에서 일관된 이점을 보여주었습니다.

In summary, the models constructed using the F_T_T_F, T_F_T_F, T_T_T_F, and F_F_T_F data preprocessing methods performed best, showing consistency in both internal and external validation. Therefore, for subsequent modeling steps, we adopted these four combinations as effective data preprocessing strategies.

요약하면, F_T_T_F, T_F_T_F, T_T_T_F 및 F_F_T_F 데이터 전처리 방법을 사용하여 구성된 모델이 가장 잘 수행되어 내부 및 외부 검증 모두에서 일관성을 보여주었습니다. 따라서 후속 모델링 단계에서 우리는 이 네 가지 조합을 효과적인 데이터 전처리 전략으로 채택했습니다.

Data normalization improves model performance while confounders adjustment lowers it

To investigate the contribution effects for improving performance AUCs of these four data preprocessing steps, we applied Adonis analysis (a type of multivariate analysis of variance) to assess the contribution and significance of each step. From the internal validation results, we found that data normalization and confounders adjustment were the two primary contributors to model performance differences, both with significant results (Figure 3a, p  < 0.01). In contrast, removing low-abundance taxa and data rescaling had minimal contributions to these differences. The external validation results corroborated these findings, further indicating that data normalization and confounders adjustment are the two most impactful factors affecting model performance (Figure 3a).

이 4가지 데이터 전처리 단계의 성능 AUC 개선에 대한 기여도 효과를 조사하기 위해 Adonis 분석(다변량 분산 분석의 일종)을 적용하여 각 단계의 기여도와 유의성을 평가했습니다. 내부 검증 결과에서 데이터 정규화와 교란 요인 조정이 모델 성능 차이의 두 가지 주요 기여자이며 둘 다 유의미한 결과를 보였다는 것을 발견했습니다(그림 3a, p < 0.01). 대조적으로, 저풍부 분류군을 제거하고 데이터 재조정은 이러한 차이에 대한 기여를 최소화했습니다. 외부 검증 결과는 이러한 결과를 확증하여 데이터 정규화와 교란 요인 조정이 모델 성능에 영향을 미치는 가장 영향력 있는 두 가지 요소임을 추가로 나타냅니다(그림 3a).

Analysis of the impact of four data preprocessing steps on model AUC. a. The bar graph illustrates the contribution of the four preprocessing steps (filtering low-abundance taxa, data rescaling, data normalization, and confounding factor correction) to the variance in median AUCs, as determined by Adonis analysis. The left color square highlights the significance of these contributions, with higher values indicating a greater impact of the step on model performance. b. The boxplot shows the differences in median AUCs across 16 different preprocessing methods, as analyzed by the four preprocessing steps. The p values are calculated using the Two sides Wilcoxon rank-sum test. The legend indicates whether each step was applied (T) or not applied (F).

모델 AUC에 대한 4가지 데이터 전처리 단계의 영향 분석. a. 막대 그래프는 Adonis 분석에 의해 결정된 중앙값 AUC의 분산에 대한 4가지 전처리 단계(저풍부도 분류군 필터링, 데이터 재조정, 데이터 정규화 및 교란 요인 수정)의 기여도를 보여줍니다. 왼쪽 색상 사각형은 이러한 기여의 중요성을 강조하며, 값이 높을수록 단계 가 모델 성능에 미치는 영향이 더 크다는 것을 나타냅니다. b. 상자 그림은 4개의 전처리 단계로 분석된 16가지 전처리 방법에서 AUC 중앙값의 차이를 보여줍니다. p 값은 양측 Wilcoxon 순위 합계 검정을 사용하여 계산됩니다. 범례는 각 단계가 적용되었는지 여부(T)를 나타냅니다(F).

To determine whether these preprocessing steps positively or negatively impacted model performance, we analyzed and compared the median AUCs of the 16 models derived from the 16 preprocessing methods. In internal validation, we observed no significant impact from either removing low-abundance taxa or data rescaling, whereas both data normalization and confounders adjustment caused significant differences in model performance, which aligns with our earlier conclusions. Notably, data normalization significantly improved AUCs (p  < 0.05), while confounders adjustment significantly decreased AUCs (p  < 0.05) (Figure 3b). We observed similar results in external validation that removing low-abundance taxa and data rescaling had no significant effect on AUCs, whereas data normalization significantly improved AUCs (p  < 0.01), and confounders adjustment significantly reduced AUCs (p  < 0.05).

이러한 전처리 단계가 모델 성능에 긍정적인 영향을 미치는지 부정적인 영향을 미치는지 확인하기 위해 16가지 전처리 방법에서 파생된 16개 모델의 AUC 중앙값을 분석하고 비교했습니다. 내부 검증에서 우리는 존재도가 낮은 분류군을 제거하거나 데이터를 재확장해도 큰 영향을 미치지 않은 반면, 데이터 정규화와 교란 요인 조정 모두 모델 성능에 상당한 차이를 일으켰으며 이는 이전 결론과 일치합니다. 특히, 데이터 정규화는 AUC를 크게 개선한 반면(p < 0.05), 교란 요인 조정은 AUC를 크게 감소시켰습니다(p < 0.05)(그림 3b). 우리는 저풍부도 분류군을 제거하고 데이터 재조정이 AUC에 유의미한 영향을 미치지 않는 반면, 데이터 정규화는 AUC를 크게 개선하고(p < 0.01), 교란 조정은 AUC를 유의하게 감소시켰습니다(p < 0.05).

Regarding the confounders adjustment, in addition to the methods mentioned above, we also attempted confounders adjustment using a matching approach (the “matchit” function from the MatchIt R package). Internal validation results showed that applying the matchit function from the MatchIt R package for confounders adjustment led to a significantly lower AUCs compared to the removeBatchEffect function from the limma package (Figure S5A). The decrease in AUCs observed with MatchIt correction may be due to the reduction in sample size after matching, as only matched pairs were kept. The smaller dataset could limit the model’s capacity to learn effectively, resulting in lower performance. In contrast, limma correction retains all samples, providing a larger dataset for model training, which likely contributes to the higher AUCs observed. Furthermore, when compared to models without confounders adjustment, this approach also caused a significant reduction in AUCs, consistent with previous findings in the literature. Therefore, the confounder adjustment method applied in subsequent analyses will remain consistent with the previous approach.

교란 요인 조정과 관련하여 위에서 언급한 방법 외에도 매칭 접근 방식(MatchIt R 패키지의 "matchit" 함수)을 사용하여 교란 요인 조정을 시도했습니다. 내부 검증 결과에 따르면 교란 요인 조정을 위해 MatchIt R 패키지의 matchit 함수를 적용하면 limma 패키지의 removeBatchEffect 함수에 비해 AUC가 상당히 낮아졌습니다(그림 S5A). MatchIt 보정으로 관찰된 AUC의 감소는 일치하는 쌍만 유지되었기 때문에 일치 후 표본 크기가 감소했기 때문일 수 있습니다. 데이터 세트가 작을수록 모델의 효과적인 학습 능력이 제한되어 성능이 저하될 수 있습니다. 대조적으로, limma 보정은 모든 샘플을 유지하여 모델 훈련을 위한 더 큰 데이터 세트를 제공하며, 이는 관찰된 더 높은 AUC에 기여할 가능성이 높습니다. 또한, 교란 요인 조정이 없는 모델과 비교할 때 이 접근 방식은 문헌의 이전 연구 결과와 일치하여 AUC를 크게 감소시켰습니다. 따라서 후속 분석에 적용된 교란 조정 방법은 이전 접근 방식과 일관성을 유지합니다.

These findings are consistent with the four effective preprocessing methods identified earlier that data preprocessing involved data normalization without confounders adjustment, leading to better model performance. As a result, these four preprocessing methods will be used in subsequent model performance comparisons.

이러한 결과는 데이터 전처리에 교란 요인 조정 없이 데이터 정규화가 포함되어 모델 성능이 향상된다는 이전에 확인된 네 가지 효과적인 전처리 방법과 일치합니다. 결과적으로 이 네 가지 전처리 방법은 후속 모델 성능 비교에 사용됩니다.

ComBat effectively removes batch effects while preserving strong model performance

ComBat는 강력한 모델 성능을 유지하면서 배치 효과를 효과적으로 제거합니다.

In this study, we compared three methods for batch effect removal: the “removeBatchEffect” function from the limma R package, the “adjust_batch” function from the MMUPHin R package, and the “ComBat” function from the sva R package. First, we compared the AUCs of models using these three batch effect removal methods with those of models without batch effect removal. In terms of median AUCs, none of the three methods significantly improved the AUCs (Figure 4a). While in the external validation results, the models with batch effect removed by the “ComBat” function from the sva R package had a slightly higher median AUC (0.58) compared to 0.57 for the models without batch effect removal, with a significant difference between the groups (p  < 0.01) (Figure 4a).

이 연구에서는 limma R 패키지의 "removeBatchEffect" 함수, MMUPHin R 패키지의 "adjust_batch" 함수, sva R 패키지의 "ComBat" 함수의 세 가지 배치 효과 제거 방법을 비교했습니다. 먼저, 이 세 가지 배치 효과 제거 방법을 사용하는 모델의 AUC를 배치 효과 제거가 없는 모델의 AUC를 비교했습니다. AUC 중앙값 측면에서 세 가지 방법 중 어느 것도 AUC를 유의하게 개선하지 못했습니다(그림 4a). 외부 검증 결과에서 sva R 패키지에서 "ComBat" 함수에 의해 배치 효과가 제거된 모델은 배치 효과가 제거되지 않은 모델의 0.57에 비해 AUC 중앙값(0.58)이 약간 더 높았으며 그룹 간에 상당한 차이가 있었습니다(p < 0.01)(그림 4a).

Comparison of batch effect removal methods and algorithms and summary of optimal machine learning methods for gut microbiome-based model construction. a. The violin plot compares the performance of models generated using three batch effect removal methods with those generated without batch effect removal. The plot annotates the median AUCs for both internal and external validations, with p values calculated using the Two sides Wilcoxon rank-sum test.

배치 효과 제거 방법 및 알고리즘의 비교 및 장내 미생물 기반 모델 구축을 위한 최적의 기계 학습 방법 요약. a. 바이올린 플롯은 세 가지 배치 효과 제거 방법을 사용하여 생성된 모델의 성능과 배치 효과 제거 없이 생성된 모델의 성능을 비교합니다. 플롯은 내부 및 외부 검증에 대한 중앙값 AUC에 주석을 달고 양측 Wilcoxon 순위 합계 검정을 사용하여 계산된 p 값을 사용합니다.

b. The boxplot shows the change in R-squared (R 2 ) values before and after batch effect removal using the limma, MMUPHin, and sva packages, indicating the extent to which batch effects were reduced. P-values are calculated using the Two sides Wilcoxon rank-sum test, with smaller post-removal R values indicating better batch effect removal.

b. 상자 그림은 limma, MMUPHin 및 sva 패키지를 사용하여 배치 효과 제거 전후의 R-제곱(R 2) 값의 변화를 보여주며, 배치 효과가 감소한 정도를 나타냅니다. P-값은 양측 Wilcoxon 순위 합계 테스트를 사용하여 계산되며, 제거 후 R 값이 작을수록 배치 효과 제거가 더 우수함을 나타냅니다.

c. The violin plot compares the performance of two better-performing algorithm models constructed using the previously identified optimal preprocessing methods and the best batch effect removal method. The plot annotates the median AUCs for both internal and external validations, with p-values calculated using the Two sides Wilcoxon rank-sum test. d. The violin plot shows the comparison of external validation AUC results between the models built using the most suitable data preprocessing methods for each of the five additional algorithms, Lasso, Enet and the two best methods from our original conclusion. The plot annotates the median AUCs for external validations, with p-values calculated using the Two sides Wilcoxon rank-sum test. e. The roadmap illustrates five optimal workflows for constructing diagnostic models, identified through three key steps: data preprocessing, batch effect removal, and algorithm selection.

c. 바이올린 플롯은 이전에 식별된 최적의 전처리 방법과 최상의 배치 효과 제거 방법을 사용하여 구성된 두 개의 더 나은 성능 알고리즘 모델의 성능을 비교합니다. 플롯은 내부 및 외부 검증 모두에 대한 중앙값 AUC에 주석을 달고 양측 Wilcoxon 순위 합계 테스트를 사용하여 계산된 p-값과 함께 설명합니다. d. 바이올린 플롯은 5가지 추가 알고리즘(Lasso, Enet) 각각에 대해 가장 적합한 데이터 전처리 방법과 원래 결론의 두 가지 최상의 방법을 사용하여 구축된 모델 간의 외부 검증 AUC 결과를 비교한 것입니다. 그림은 양측 Wilcoxon 순위 합계 테스트를 사용하여 계산된 p-값과 함께 외부 검증을 위한 중앙값 AUC에 주석을 추가합니다. e. 로드맵은 데이터 전처리, 배치 효과 제거 및 알고리즘 선택의 세 가지 주요 단계를 통해 식별되는 진단 모델 구성을 위한 5가지 최적의 워크플로를 보여줍니다.

However, we believe that evaluating batch effect removal methods solely based on AUCs is insufficient and lacks comprehensive justification. Therefore, we conducted Adonis analysis to calculate the R values (variance explained by batch effect) before and after batch effect removal using these three methods. A higher R value indicates that batch information explains more of the group differences, while a lower R value indicates the opposite. Thus, if the R value after batch effect removal is significantly lower than before, it suggests that the method effectively removes the batch effect.

그러나 AUC만을 기반으로 배치 효과 제거 방법을 평가하는 것은 불충분하고 포괄적인 정당성이 부족하다고 생각합니다. 따라서 이 세 가지 방법을 사용하여 배치 효과 제거 전후의 R 값(배치 효과로 설명되는 분산)을 계산하기 위해 Adonis 분석을 수행했습니다. R 값이 높을수록 배치 정보가 그룹 차이를 더 많이 설명한다는 것을 나타내고, R 값이 낮을수록 그 반대를 나타냅니다. 따라서 배치 효과 제거 후 R 값이 이전보다 현저히 낮으면 해당 방법이 배치 효과를 효과적으로 제거했음을 시사합니다.

Data rescaling

After batch effect removal using the “removeBatchEffect” function from the limma R package, we observed an increase in R values for some models, particularly those constructed with 16S data (Figure S5B), indicating that this method might not be suitable for 16S data. Consequently, we do not consider the “removeBatchEffect” function from the limma R package to be the optimal batch effect removal tool. In contrast, both the “adjust_batch” function from the MMUPHin R package and the “ComBat” function from the sva R package showed significantly reduced R values after batch effect removal (p  < 0.0001) (Figure 4b), indicating that these two methods effectively reduce the contribution of batch information to group differences.

limma R 패키지에서 "removeBatchEffect" 함수를 사용하여 배치 효과를 제거한 후 일부 모델, 특히 16S 데이터로 구성된 모델(그림 S5B)에서 R 값이 증가하는 것을 관찰했으며, 이는 이 방법이 16S 데이터에 적합하지 않을 수 있음을 나타냅니다. 따라서 limma R 패키지의 "removeBatchEffect" 함수를 최적의 배치 효과 제거 도구로 간주하지 않습니다. 대조적으로, MMUPHin R 패키지의 "adjust_batch" 함수와 sva R 패키지의 "ComBat" 함수 모두 배치 효과 제거 후 R 값이 크게 감소한 것으로 나타났습니다(p < 0.0001)(그림 4b), 이 두 가지 방법이 그룹 차이에 대한 배치 정보의 기여도를 효과적으로 줄였음을 나타냅니다.

Data nomalization

Considering the previous AUCs performance, we concluded that the “ComBat” function from the sva package was the best batch effect removal method among the three and will be used in subsequent modeling processes.

이전 AUC 성능을 고려하여 sva 패키지의 "ComBat" 기능이 세 가지 패키지 중 가장 좋은 배치 효과 제거 방법이며 후속 모델링 프로세스에 사용될 것이라고 결론지었습니다.

Random forest ranks the best, although different ML algorithm require specific data preprocessing methods

We selected four commonly used machine learning algorithms in SIAMCAT for constructing disease diagnostic models for comparison: Lasso regression, Ridge regression, Elastic Net (Enet), and Random Forest. The relative abundance data used for model construction was divided into two data types including 16S and WGS, and models were built separately for each type. The data preprocessing methods used were the four well-performing methods previously recommended, namely T_T_T_F, T_F_T_F, F_T_T_F, and F_F_T_F, and the batch effect removal was performed using the “ComBat” function from the sva R package. All model parameters were kept identical except for the algorithm. The AUCs of the four groups of models generated by the four different algorithms were compared.

비교를 위해 질병 진단 모델을 구성하기 위해 SIAMCAT에서 일반적으로 사용되는 네 가지 기계 학습 알고리즘인 올가미 회귀, 능선 회귀, 탄력적 망(Enet) 및 랜덤 포레스트를 선택했습니다. 모델 구성에 사용된 상대 풍부도 데이터는 16S와 WGS 등 두 가지 데이터 유형으로 나누어 유형별로 별도로 모델을 구축했습니다. 사용된 데이터 전처리 방법은 이전에 권장된 4가지 우수한 방법, 즉 T_T_T_F, T_F_T_F, F_T_T_F 및 F_F_T_F였으며 배치 효과 제거는 sva R 패키지의 "ComBat" 기능을 사용하여 수행되었습니다. 알고리즘을 제외한 모든 모델 매개변수는 동일하게 유지되었습니다. 네 가지 다른 알고리즘에 의해 생성된 4개 모델 그룹의 AUC를 비교했습니다.

When we combined the models constructed using 16S and WGS data for comparison, we found no significant differences in AUCs among the four algorithms. Therefore, we separately compared the models built with 16S data and WGS data (Figure 4c, Figure S6A). For models built with 16S data, there was no significant difference in the median AUCs among the four algorithms in the internal validation results, as confirmed by the Kruskal-Wallis test (Figure S6B, p  = 0.67). However, in the external validation results, the Random Forest algorithm showed a slightly higher median AUC compared to the other three algorithms (with AUCs of 0.58, 0.58, 0.57, and 0.58 for the models using the four different preprocessing methods), and significant intergroup differences were observed compared to the other three algorithms (p-values all < 0.05) (Figure S6B). When comparing algorithms for models built with WGS data, the internal validation results again showed no significant difference in median AUCs among the four groups (Figure S6C, p  = 0.89). However, in the external validation results, the Ridge algorithm resulted in a slightly higher median AUC compared to the other three algorithms (all models using the four different preprocessing methods had an AUC of 0.73), with significant differences observed compared to the Random Forest and Enet groups (p-values all < 0.05) (Figure S6C).

비교를 위해 16S와 WGS 데이터를 사용하여 구축된 모델을 결합했을 때 4가지 알고리즘 간에 AUC에 큰 차이가 없음을 발견했습니다. 따라서 16S 데이터와 WGS 데이터로 구축된 모델을 별도로 비교했습니다(그림 4c, 그림 S6A). 16S 데이터로 구축된 모델의 경우 Kruskal-Wallis 테스트에서 확인된 바와 같이 내부 검증 결과의 4개 알고리즘 간에 중앙값 AUC에 유의미한 차이가 없었습니다(그림 S6B, p = 0.67). 그러나 외부 검증 결과에서 랜덤 포레스트 알고리즘은 다른 세 가지 알고리즘에 비해 약간 더 높은 중앙값 AUC를 보였고(4가지 다른 전처리 방법을 사용하는 모델의 경우 AUC가 0.58, 0.58, 0.57 및 0.58), 다른 세 가지 알고리즘에 비해 상당한 그룹 간 차이가 관찰되었습니다(p-값 모두 0.05<)(그림 S6B). WGS 데이터로 구축된 모델의 알고리즘을 비교했을 때 내부 검증 결과는 다시 4개 그룹 간의 중앙값 AUC에 유의미한 차이가 없음을 보여주었습니다(그림 S6C, p = 0.89). 그러나 외부 검증 결과에서 Ridge 알고리즘은 다른 세 가지 알고리즘에 비해 AUC 중앙값이 약간 더 높았고(네 가지 다른 전처리 방법을 사용하는 모든 모델의 AUC는 0.73임), 랜덤 포레스트 및 Enet 그룹(p-값 모두 0.05<)에 비해 상당한 차이가 관찰되었습니다(그림 S6C).

Since the algorithm used for model construction when exploring the best preprocessing methods earlier was Lasso, we compared the performance of models constructed using the four different algorithms without any data preprocessing. It was observed that the median AUCs of models built with Lasso, Ridge, and Enet was significantly lower than that of models constructed with the previously recommended preprocessing methods, while the median AUC of the Random Forest model was significantly higher than the earlier models (Figure S7A). Therefore, we concluded that the previously recommended best data preprocessing methods may not be suitable for models constructed using the Random Forest algorithm.

앞서 최상의 전처리 방법을 탐색할 때 모델 구성에 사용된 알고리즘이 Lasso였기 때문에 데이터 전처리 없이 4가지 알고리즘을 사용하여 구성된 모델의 성능을 비교했습니다. Lasso, Ridge 및 Enet으로 구축된 모델의 AUC 중앙값은 이전에 권장된 전처리 방법으로 구축된 모델의 AUC보다 유의하게 낮은 반면, 랜덤 포레스트 모델의 AUC 중앙값은 이전 모델보다 유의하게 높은 것으로 관찰되었습니다(그림 S7A). 따라서 이전에 권장된 최상의 데이터 전처리 방법은 랜덤 포레스트 알고리즘을 사용하여 구성된 모델에는 적합하지 않을 수 있다는 결론을 내렸습니다.

To determine the best data preprocessing method for models using the Random Forest algorithm, we re-compared 16 different data preprocessing methods. In internal validation, the T_F_F_F method (i.e., only removing low-abundance taxa) resulted in the highest median AUC of 0.84, significantly higher than the control group’s 0.79 (Figure S7B, p  < 0.05). In external validation, the T_F_F_F method still performed well, with the highest median AUC of 0.64, although it did not show a significant difference compared to the control group (Figure S7B).

랜덤 포레스트 알고리즘을 사용하여 모델에 가장 적합한 데이터 전처리 방법을 결정하기 위해 16가지 데이터 전처리 방법을 다시 비교했습니다. 내부 검증에서 T_F_F_F 방법(즉, 저풍부도 분류군만 제거)은 대조군의 0.79보다 훨씬 높은 0.84의 가장 높은 중앙값 AUC를 가져왔습니다(그림 S7B, p < 0.05). 외부 검증에서 T_F_F_F 방법은 대조군에 비해 유의미한 차이를 나타내지 않았지만 AUC 중앙값이 0.64로 여전히 양호한 성능을 보였습니다(그림 S7B).

Additionally, we used Adonis analysis (multifactor variance analysis) to calculate the contribution and significance of the four data preprocessing steps to model performance differences. Internal validation results showed that the step of data rescaling contributed significantly to model performance differences (p  < 0.05). External validation results indicated that confounding factors adjustment was a significant contributor to model performance differences (p  < 0.01) (Figure S8A). Further analysis of the median AUCs of models built using the 16 different data preprocessing methods revealed that data rescaling significantly lowered the AUCs in internal validation (p  < 0.05), while confounding factors adjustment significantly lowered the AUCs in external validation (p  < 0.05) (Figure S8B). These findings are consistent with the conclusions drawn from the Adonis analysis and align with the T_F_F_F method’s lack of data rescaling and confounding factor adjustment steps.

또한 Adonis 분석(다요인 분산 분석)을 사용하여 성능 차이를 모델링하기 위한 4가지 데이터 전처리 단계의 기여도와 유의성을 계산했습니다. 내부 검증 결과, 데이터 재스케일링 단계가 모델 성능 차이(p < 0.05)에 크게 기여하는 것으로 나타났습니다. 외부 검증 결과에 따르면 교란 요인 조정이 모델 성능 차이에 크게 기여하는 것으로 나타났습니다(p < 0.01). 16가지 데이터 전처리 방법을 사용하여 구축된 모델의 중앙값 AUC를 추가로 분석한 결과 데이터 재스케일링은 내부 검증에서 AUC를 크게 낮추는 반면(p < 0.05), 교란 요인 조정은 외부 검증에서 AUC를 크게 낮추는 것으로 나타났습니다(p < 0.05)(그림 S8B). 이러한 결과는 Adonis 분석에서 도출된 결론과 일치하며 T_F_F_F 방법의 데이터 재조정 및 교란 요인 조정 단계의 부족과 일치합니다.

Given that the optimal low-abundance taxa removal threshold and data normalization method were initially determined using the Lasso model, in order to strengthen the robustness of our identified optimal preprocessing methods, we extended our investigation to evaluate these two optimal parameters for both Ridge and Random Forest models which performed better in our previous analyses. For the removal of low-abundance taxa, we assessed four threshold values and discovered that the threshold of 0.001% consistently yielded the highest median AUC in both internal and external validations for both the Ridge and Random Forest models (Figure S9A, S9B). Notably, for the Random Forest model, the internal validation results were significantly improved compared to the models which were not performed the removal of low-abundance taxa (p  < 0.05) (Figure S9B). In terms of data normalization, we tested six different methods.

최적의 저풍부도 분류군 제거 임계값과 데이터 정규화 방법이 초기에 Lasso 모델을 사용하여 결정되었다는 점을 감안할 때, 식별된 최적의 전처리 방법의 견고성을 강화하기 위해 조사를 확장하여 이전 분석에서 더 나은 성능을 발휘한 Ridge 및 Random Forest 모델 모두에 대해 이 두 가지 최적 매개변수를 평가했습니다. 저풍부도 분류군의 제거를 위해 우리는 4개의 임계값을 평가한 결과 0.001%의 임계값이 능선 및 랜덤 포레스트 모델 모두에 대한 내부 및 외부 검증 모두에서 일관되게 가장 높은 중앙값 AUC를 산출한다는 것을 발견했습니다(그림 S9A, S9B). 특히, 랜덤 포레스트 모델의 경우 저풍부도 분류군(p < 0.05)의 제거를 수행하지 않은 모델에 비해 내부 검증 결과가 크게 향상되었습니다(그림 S9B). 데이터 정규화 측면에서 6가지 방법을 테스트했습니다.

We found that the “rank.std” method was the most effective for the Ridge model, achieving the highest median AUC (0.78) in internal validation and maintaining robust performance in external validation. Importantly, the performance of the Ridge model with “rank.std” was significantly superior in both internal and external validation compared to the models which were not performed any data normalization method (Figure S9A). Conversely, for the Random Forest model, the highest median AUC was observed when no data normalization was employed, both in internal and external validations (Figure S9B). These results corroborated the optimal data preprocessing methods we concluded above: for the Random Forest model, the optimal method involved removing low-abundance taxa with a 0.001% threshold without applying any data normalization; for the Ridge model, the optimal methods included employing “rank.std” as the normalization method.

우리는 "rank.std" 방법이 Ridge 모델에 가장 효과적이며, 내부 검증에서 가장 높은 중앙값 AUC(0.78)를 달성하고 외부 검증에서 강력한 성능을 유지한다는 것을 발견했습니다. 중요한 것은 "rank.std"를 사용한 Ridge 모델의 성능이 데이터 정규화 방법을 수행하지 않은 모델에 비해 내부 및 외부 검증 모두에서 훨씬 우수했다는 것입니다(그림 S9A). 반대로, 랜덤 포레스트 모델의 경우 내부 및 외부 검증 모두에서 데이터 정규화가 사용되지 않았을 때 가장 높은 중앙값 AUC가 관찰되었습니다(그림 S9B). 이러한 결과는 위에서 결론을 내린 최적의 데이터 전처리 방법을 확증했습니다: 랜덤 포레스트 모델의 경우 최적의 방법은 데이터 정규화를 적용하지 않고 0.001% 임계값으로 저풍부도 분류군을 제거하는 것을 포함했습니다. Ridge 모델의 경우 최적의 방법에는 정규화 방법으로 "rank.std"를 사용하는 것이 포함되었습니다.

To make the conclusions more rigorous, we further investigated whether the most suitable data preprocessing methods for the Ridge and Enet algorithms were the same as the four best methods identified before. We also compared the performance of the 16 data preprocessing methods when using the Ridge and Enet algorithms. As expected, we found that the best preprocessing methods for both the Ridge and Enet algorithms were indeed the same four methods previously identified (Figure S10A,S10B).

결론을 보다 엄격하게 만들기 위해 Ridge 및 Enet 알고리즘에 가장 적합한 데이터 전처리 방법이 이전에 확인된 4가지 최상의 방법과 동일한지 여부를 추가로 조사했습니다. 또한 Ridge 및 Enet 알고리즘을 사용할 때 16가지 데이터 전처리 방법의 성능을 비교했습니다. 예상대로 Ridge 및 Enet 알고리즘 모두에 가장 적합한 전처리 방법은 실제로 이전에 식별된 네 가지 방법과 동일하다는 것을 발견했습니다(그림 S10A,S10B).

In conclusion, when using the Random Forest algorithm, the best model construction process involves the T_F_F_F data preprocessing method and batch effect removal using the “ComBat” function. When using Lasso, Ridge, or Enet regression algorithms, as the external validation results showed no significant differences among the three algorithms for 16S data models (Figure S6B), and Ridge performed better than the other two for WGS data models (Figure S6C), the best model construction process includes the four data preprocessing methods T_T_T_F, T_F_T_F, F_T_T_F, and F_F_T_F, batch effect removal using the “ComBat” function, and model training with the Ridge algorithm (Figure 4e).

결론적으로, 랜덤 포레스트 알고리즘을 사용할 때 가장 좋은 모델 구성 프로세스는 T_F_F_F 데이터 전처리 방법과 "ComBat" 기능을 사용한 일괄 효과 제거입니다. Lasso, Ridge 또는 Enet 회귀 알고리즘을 사용할 때 외부 검증 결과에서 16S 데이터 모델에 대해 세 가지 알고리즘 간에 유의미한 차이가 없었고(그림 S6B), WGS 데이터 모델에 대해 Ridge가 다른 두 알고리즘보다 더 나은 성능을 보였기 때문에(그림 S6C), 최상의 모델 구성 프로세스에는 4가지 데이터 전처리 방법 T_T_T_F가 포함됩니다. T_F_T_F, F_T_T_F, F_F_T_F, "ComBat" 기능을 사용한 일괄 효과 제거, Ridge 알고리즘을 사용한 모델 학습(그림 4e).

To further validate the robustness of our approach, we expanded our comparison to include several widely-used algorithms for constructing gut microbiome-based disease diagnostic models, such as Linear support vector machine (Linear SVM), Radial basis function support vector machine (Radial SVM), Extreme gradient boosting (XGBoost), Light gradient boosting machine (LightGBM), and Neural Networks, in addition to the four algorithms we initially examined. In order to ensure a fair comparison, we systematically evaluated the performance of the 16 data preprocessing methods for each of these five algorithms in order to identify their most suitable preprocessing methods. Based on AUC results from external validation, the optimal preprocessing methods for each algorithm were determined as follows: T_T_T_F for Linear SVM (Figure S11A), T_T_T_F for Radial SVM (Figure S12A), F_T_F_F for XGBoost (Figure S13A), T_F_F_F for LightGBM (Figure S14A), and T_T_T_F for Neural Networks (Figure S15A).

접근 방식의 견고성을 더욱 검증하기 위해 처음에 조사한 4가지 알고리즘 외에도 선형 지원 벡터 머신(Linear SVM), 방사형 기저 함수 지원 벡터 머신(Radial SVM), 극단 그래디언트 부스팅(XGBoost), 라이트 그래디언트 부스팅 머신(LightGBM) 및 신경망과 같이 장내 미생물군집 기반 질병 진단 모델을 구성하는 데 널리 사용되는 여러 알고리즘을 포함하도록 비교를 확장했습니다. 공정한 비교를 위해 이 5가지 알고리즘 각각에 대해 16가지 데이터 전처리 방법의 성능을 체계적으로 평가하여 가장 적합한 전처리 방법을 식별했습니다. 외부 검증의 AUC 결과를 기반으로 각 알고리즘에 대한 최적의 전처리 방법은 선형 SVM의 경우 T_T_T_F(그림 S11A), 방사형 SVM의 경우 T_T_T_F(그림 S12A), XGBoost의 경우 F_T_F_F(그림 S13A), LightGBM의 경우 T_F_F_F(그림 S14A), 신경망의 경우 T_T_T_F(그림 S15A)입니다.

Subsequently, we built models using the best data preprocessing methods for each of these five algorithms and compared their performance against the models generated by the optimal methods identified for the Lasso, Enet, Ridge and Random Forest. Our analysis revealed that the median AUC for the Ridge and Random Forest (0.635 and 0.64, respectively) outperformed the best models from the seven other algorithms (Figure 4d). This suggests that the optimal modeling workflow we proposed maintains a distinct advantage over the best workflows of these commonly used algorithms.

그 후, 우리는 이 5가지 알고리즘 각각에 대해 최상의 데이터 전처리 방법을 사용하여 모델을 구축하고 Lasso, Enet, Ridge 및 Random Forest에 대해 식별된 최적의 방법으로 생성된 모델과 성능을 비교했습니다. 분석 결과 Ridge 및 Random Forest의 중앙값 AUC(각각 0.635 및 0.64)가 다른 7개 알고리즘의 최상의 모델보다 성능이 뛰어난 것으로 나타났습니다(그림 4d). 이는 우리가 제안한 최적의 모델링 워크플로가 일반적으로 사용되는 알고리즘의 최상의 워크플로에 비해 뚜렷한 이점을 유지한다는 것을 시사합니다.

Ultimately, given that our optimal method is derived from a macro-level analysis of datasets from multiple diseases, we further validated whether our method improves model performance for each disease individually. We compared the AUC of models constructed using the optimal method with those built using non-optimal methods across 20 diseases. Among the 20 diseases, 9 showed a significant improvement in AUC when the optimal method was used. The AUCs for the other 11 diseases also demonstrated an upward trend (Figure S16A). This indicates that the optimal methods we proposed can be applied to a wide range of diseases, demonstrating a certain level of generalizability.

궁극적으로 우리의 최적 방법은 여러 질병의 데이터 세트에 대한 거시적 수준의 분석에서 도출되었다는 점을 감안할 때, 우리는 우리의 방법이 각 질병에 대한 모델 성능을 개별적으로 향상시키는지 여부를 추가로 검증했습니다. 우리는 20개 질병에 걸쳐 최적의 방법을 사용하여 구축된 모델의 AUC와 최적이 아닌 방법을 사용하여 구축된 모델의 AUC를 비교했습니다. 20개 질환 중 9개 질환은 최적의 방법을 사용했을 때 AUC가 유의하게 개선된 것으로 나타났다. 다른 11개 질병에 대한 AUC도 상승 추세를 보였습니다(그림 S16A). 이는 우리가 제안한 최적의 방법이 광범위한 질병에 적용될 수 있음을 나타내며, 어느 정도 일반화 가능성을 입증하고 있습니다.

Comparing our pipeline with methods reported in the literature

We next compared our pipeline with the optimal methods recently reported by S. Lee et al., which were identified through exhaustive search on CRC and CD datasets. Since the profiling methods, as reported by S. Lee et al., also affected significantly the final model performance, we adopted the same data procedure. Specifically, we first used Kraken2 and Bracken with the HRGM human gut-specific microbial genome database to obtain the relative abundance profiles of gut microbiome. Using the methods summarized above, we constructed a leave-one-dataset-out (LODO) model, where the training datasets included all datasets analyzed in S. Lee et al.‘s study, and the validation datasets were kept consistent with theirs. We then calculated the AUC and unitMCC to evaluate model performance and compared the results with those of S. Lee et al. For the CD dataset, our model demonstrated comparable performance to S. Lee et al.‘s approach, with no significant differences observed in AUC or unitMCC (Figure S17B). Importantly, while S. Lee et al.‘s methods were specifically optimized for CRC and CD datasets, our methodology was derived from a systematic evaluation across 20 disease datasets. This highlights the broader applicability of our approach, which achieves performance on par with S. Lee et al.‘s methods while demonstrating greater generalizability across diverse datasets.

다음으로 CRC 및 CD 데이터 세트에 대한 철저한 검색을 통해 식별된 S. Lee et al.이 최근 보고한 최적의 방법과 파이프라인을 비교했습니다. S. Lee et al.에서 보고한 프로파일링 방법도 최종 모델 성능에 상당한 영향을 미쳤기 때문에 동일한 데이터 절차를 채택했습니다. 구체적으로, 우리는 먼저 HRGM 인간 장내 특이적 미생물 게놈 데이터베이스와 함께 Kraken2 및 Bracken을 사용하여 장내 미생물군집의 상대적 풍부도 프로필을 얻었습니다. 위에서 요약한 방법을 사용하여 학습 데이터 세트에 S. Lee et al.의 연구에서 분석된 모든 데이터 세트가 포함되고 검증 데이터 세트가 그들과 일관되게 유지되는 LODO(leave-one-dataset-out) 모델을 구성했습니다. 그런 다음 AUC와 unitMCC를 계산하여 모델 성능을 평가하고 그 결과를 S. Lee 등의 결과와 비교했습니다. CD 데이터 세트의 경우, 우리 모델은 AUC 또는 unitMCC에서 유의미한 차이가 관찰되지 않고 S. Lee et al.의 접근 방식과 비슷한 성능을 보여주었습니다(그림 S17B). 중요한 것은 S. Lee et al.의 방법이 CRC 및 CD 데이터 세트에 특별히 최적화되었지만 우리의 방법론은 20개의 질병 데이터 세트에 대한 체계적인 평가에서 도출되었다는 것입니다. 이는 S. Lee et al.의 방법과 동등한 성능을 달성하는 동시에 다양한 데이터 세트에 걸쳐 더 큰 일반화 가능성을 입증하는 우리 접근 방식의 광범위한 적용 가능성을 강조합니다.

Discussion

Due to the close relationship between gut microbiome and the onset and progression of human diseases, gut microbiome can be used as biomarkers to distinguish between diseased and healthy samples, making them valuable for constructing diagnostic models. Diagnostic models based on gut microbiome for various diseases have already demonstrated excellent performance. However, the model construction process involves multiple steps and various methods, so it is crucial to compare different data processing and modeling techniques, evaluate various parameters, and establish a comprehensive guide for constructing diagnostic models based on gut microbiome that can be applied across multiple diseases. This guide would provide a valuable reference for related research, greatly enhancing research efficiency.

장내 미생물군집과 인간 질병의 발병 및 진행 사이의 밀접한 관계로 인해 장내 미생물군집은 질병에 걸린 샘플과 건강한 샘플을 구별하는 바이오마커로 사용될 수 있어 진단 모델을 구축하는 데 유용합니다. 다양한 질병에 대한 장내 미생물군집을 기반으로 한 진단 모델은 이미 우수한 성능을 입증했습니다. 그러나 모델 구축 프로세스에는 여러 단계와 다양한 방법이 포함되므로 다양한 데이터 처리 및 모델링 기술을 비교하고, 다양한 매개변수를 평가하며, 여러 질병에 적용할 수 있는 장내 미생물군집 기반 진단 모델 구축을 위한 포괄적인 가이드를 구축하는 것이 중요합니다. 이 가이드는 관련 연구에 귀중한 참고 자료를 제공하여 연구 효율성을 크게 향상시킬 것입니다.

In this study, we compared three critical aspects of model construction: the selection of data preprocessing methods, the choice of batch effect removal methods, and the selection of algorithms. We conducted modeling analysis using data from 83 case-control cohorts across 20 different diseases, including both 16S and WGS data. Models were constructed using the relative abundance of gut microbiome at the species or genus level, and both within-cohort (internal validation) and cross-cohort (external validation) performances were evaluated. We compared the internal and external validation performances of models constructed using different data preprocessing methods, batch effect removal techniques, and algorithms.

본 연구에서는 모델 구성의 세 가지 중요한 측면, 즉 데이터 전처리 방법의 선택, 배치 효과 제거 방법의 선택, 알고리즘 선택을 비교했습니다. 우리는 16S 및 WGS 데이터를 모두 포함하여 20개의 서로 다른 질병에 걸쳐 83개의 환자-대조군 코호트의 데이터를 사용하여 모델링 분석을 수행했습니다. 종 또는 속 수준에서 장내 미생물군집의 상대적 풍부도를 사용하여 모델을 구성하고 코호트 내(내부 검증) 및 교차 코호트(외부 검증) 성능을 모두 평가했습니다. 다양한 데이터 전처리 방법, 배치 효과 제거 기술 및 알고리즘을 사용하여 구성된 모델의 내부 및 외부 검증 성능을 비교했습니다.

We evaluated multiple thresholds for filtering low-abundance microbes and various data normalization methods. By comparing 16 data preprocessing methods, we identified the four optimal methods, which interestingly shared common features: all included data normalization, and none involved confounding factor correction. The consistent finding that data normalization improves model performance aligns with previous research, as normalization ensures the comparability and reproducibility of results. However, the observation that confounding factors adjustment led to a decrease in AUCs contrasts with some previous reports. Gut microbiome is significantly influenced by various factors beyond disease, such as diet, drugs, seasonal variations, regional differences, and genetic background. Confounding factors adjustment is generally thought to more accurately assess the relationship between gut microbiome and disease, thereby enhancing the model’s reliability and generalizability. However, our results suggest that confounding factors adjustment may reduce the AUCs because disease characteristics might be driven by potential confounders. Thus, correcting for these confounders could diminish the differences between disease and healthy groups, leading to a lower AUC.

우리는 저풍부도 미생물 필터링을 위한 여러 임계값과 다양한 데이터 정규화 방법을 평가했습니다. 16가지 데이터 전처리 방법을 비교하여 흥미롭게도 공통 기능을 공유하는 4가지 최적의 방법을 확인했습니다: 모두 데이터 정규화가 포함되어 있고 교란 요인 수정을 포함하는 것은 없었습니다. 데이터 정규화가 모델 성능을 향상시킨다는 일관된 발견은 정규화가 결과의 비교 가능성과 재현성을 보장하므로 이전 연구와 일치합니다. 그러나 교란 요인 조정이 AUC의 감소로 이어졌다는 관찰은 일부 이전 보고서와 대조됩니다. 장내 미생물군집은 질병 외에도 식이요법, 약물, 계절적 변화, 지역적 차이, 유전적 배경 등 다양한 요인에 의해 크게 영향을 받습니다. 교란 요인 조정은 일반적으로 장내 미생물군집과 질병 사이의 관계를 보다 정확하게 평가하여 모델의 신뢰성과 일반화 가능성을 향상시키는 것으로 생각됩니다. 그러나 우리의 결과는 질병 특성이 잠재적인 교란 요인에 의해 유발될 수 있기 때문에 교란 요인 조정이 AUC를 감소시킬 수 있음을 시사합니다. 따라서 이러한 교란 요인을 수정하면 질병과 건강한 그룹 간의 차이가 줄어들어 AUC가 낮아질 수 있습니다.

Furthermore, we analyzed the AUC differences among 20 diseases across five disease categories (Intestinal, Autoimmune, Metabolic, Mental and Liver disease types). In internal validation, Intestinal diseases generally exhibited high median AUCs, such as CDI (0.985), IBD (0.97), and CD (0.91). Most other diseases also showed relatively high AUCs, with 13 out of 20 diseases having a median AUC above 0.7. In external validation, however, only CDI, CD, IBD, and CRC had a median AUC above 0.7 (0.975, 0.855, 0.785, and 0.745, respectively), while the others did not exceed 0.7 (Figure S18A). Therefore, it remains necessary to explore more advanced data processing methods, batch effect removal techniques, and more sophisticated algorithms to improve predictive performance for a broader range of diseases.

또한 5가지 질병 범주(장, 자가면역, 대사, 정신 및 간 질환 유형)에 걸쳐 20개 질병 간의 AUC 차이를 분석했습니다. 내부 검증에서 장 질환은 일반적으로 CDI(0.985), IBD(0.97) 및 CD(0.91)와 같은 높은 중앙값 AUC를 나타냈습니다. 대부분의 다른 질병도 상대적으로 높은 AUC를 보였으며 20개 질병 중 13개 질병의 AUC 중앙값이 0.7 이상이었습니다.

그러나 외부 검증에서 CDI, CD, IBD 및 CRC만이 AUC 중앙값이 0.7(각각 0.975, 0.855, 0.785 및 0.745) 이상이었고 나머지는 0.7을 초과하지 않았습니다(그림 S18A). 따라서 더 넓은 범위의 질병에 대한 예측 성능을 향상시키기 위해서는 보다 발전된 데이터 처리 방법, 배치 효과 제거 기술 및 보다 정교한 알고리즘을 탐색할 필요가 있습니다.

Conclusion

We conducted a comprehensive comparison of various data preprocessing methods, batch effect removal techniques, algorithms, and different parameters at each step, ultimately developing an optimal, generalizable guide for constructing disease diagnostic models based on gut microbiome. This guide is applicable to multiple diseases and both 16S and WGS data types. Our workflow enhances the accuracy and applicability of the models, deepening the understanding of the relationship between gut microbiome and disease, and holds promise for providing more reliable tools for future medical diagnostics.

우리는 각 단계에서 다양한 데이터 전처리 방법, 배치 효과 제거 기술, 알고리즘 및 다양한 매개변수를 종합적으로 비교하여 궁극적으로 장내 미생물군집을 기반으로 질병 진단 모델을 구축하기 위한 최적이고 일반화 가능한 가이드를 개발했습니다. 이 가이드는 여러 질병과 16S 및 WGS 데이터 유형 모두에 적용할 수 있습니다. 우리의 워크플로는 모델의 정확성과 적용 가능성을 향상시켜 장내 미생물군집과 질병 사이의 관계에 대한 이해를 심화하며 향후 의료 진단을 위한 보다 신뢰할 수 있는 도구를 제공할 가능성을 제시합니다.

Methods

Data collection

In this study, we leveraged 83 case-control cohorts spanning 20 distinct diseases, previously curated and analyzed by M. Li et al, to systematically evaluate and refine workflows for constructing predictive models. These datasets were sourced from public databases, including MGnify (https://www.ebi.ac.uk/metagenomics/.), the NCBI Sequence Read Archive (SRA) (https://www.ncbi.nlm.nih.gov/sra.), and GMrepo(https://gmrepo.humangut.info.) a database focused on the human gut microbiome. These cohorts were selected for providing complete disease phenotype metadata and ensuring robust and reproducible results by including more than 15 samples in both case and control groups.

이 연구에서 우리는 이전에 M. Li et al이 선별하고 분석한 20개의 개별 질병에 걸친 83개의 환자-대조군 코호트를 활용하여 예측 모델 구축을 위한 워크플로를 체계적으로 평가하고 개선했습니다. 이러한 데이터 세트는 MGnify(https://www.ebi.ac.uk/metagenomics/.), NCBI SRA(Sequence Read Archive)(https://www.ncbi.nlm.nih.gov/sra) 및 GMrepo(https://gmrepo.humangut.info)를 포함한 공개 데이터베이스에서 가져왔습니다. 인간 장내 미생물군집에 초점을 맞춘 데이터베이스입니다. 이 코호트는 완전한 질병 표현형 메타데이터를 제공하고 사례 및 대조군 모두에 15개 이상의 샘플을 포함하여 강력하고 재현 가능한 결과를 보장하기 위해 선택되었습니다.

The eligible data were then categorized into two subtypes based on their sequencing strategies: 16S ribosomal RNA gene amplicon sequencing (16S) and shotgun metagenomic next-generation sequencing (WGS). Within each subtype, diseases represented by more than one cohort were included to facilitate cross-cohort comparisons. Ultimately, our analysis encompassed 83 cohorts spanning 20 diseases: 46 16S studies covering 15 diseases (3,573 cases and 2,242 controls) and 37 WGS studies covering 12 diseases (2,415 cases and 2,169 controls). Notably, 7 diseases were represented by multiple cohorts in both 16S and WGS datasets. These 20 diseases included Colorectal Cancer (CRC), Crohn Disease(CD), Irritable Bowel Syndrome(IBS), Adenoma, Ulcerative Colitis (UC), Clostridium Difficile Infection (CDI), Inflammatory Bowel Disease (IBD), Type 2 Diabetes Mellitus (T2D), Obesity, Overweight, Parkinson’s Disease (PD), Autism Spectrum Disorder (ASD), Alzheimer’s Disease (AD), Mild Cognitive Impairment (MCI), Chronic Fatigue Syndrome (CFS), Rheumatoid Arthritis (RA), Multiple Sclerosis (MS), Ankylosing Spondylitis (AS), Juvenile Arthritis (JA), and Non-alcoholic Fatty Liver Disease (NAFLD). Finally, we classified these 20 diseases into five categories: Intestinal, Autoimmune, Metabolic, Mental and Liver disease types, using the MeSH database and the Human Disease Ontology (DO) database, to facilitate subsequent comparisons of model performance across different disease categories.

그런 다음 적격 데이터는 시퀀싱 전략에 따라 16S 리보솜 RNA 유전자 앰플리콘 시퀀싱(16S) 및 샷건 메타게놈 차세대 시퀀싱(WGS)의 두 가지 하위 유형으로 분류되었습니다. 각 하위 유형 내에서 교차 코호트 비교를 용이하게 하기 위해 둘 이상의 코호트로 대표되는 질병이 포함되었습니다. 궁극적으로 우리의 분석은 20개 질병에 걸친 83개 코호트를 포함했습니다: 15개 질병(3,573개 사례 및 2,242개 대조군)을 다루는 46개의 16S 연구와 12개 질병(2,415개 사례 및 2,169개 대조군)을 다루는 37개의 WGS 연구. 특히, 7개의 질병은 16S 및 WGS 데이터 세트 모두에서 여러 코호트로 대표되었습니다. 이 20가지 질병에는 대장암(CRC), 크론병(CD), 과민성 대장 증후군(IBS), 선종, 궤양성 대장염(UC), 클로스트리디움 디피실 감염(CDI), 염증성 장 질환(IBD), 제2형 당뇨병(T2D), 비만, 과체중, 파킨슨병(PD), 자폐 스펙트럼 장애(ASD), 알츠하이머병(AD), 경도 인지 장애(MCI), 만성 피로 증후군(CFS), 류마티스 관절염(RA), 다발성 경화증(MS), 강직성 척추염(AS), 소아 관절염(JA) 및 비알코올성 지방간 질환(NAFLD). 마지막으로, 우리는 MeSH 데이터베이스와 인간 질병 온톨로지(DO) 데이터베이스를 사용하여 이 20가지 질병을 장, 자가면역, 대사, 정신 및 간 질환 유형의 5개 범주로 분류하여 다양한 질병 범주에 걸쳐 모델 성능의 후속 비교를 용이하게 했습니다.

For final validation and methodological comparisons, we further extended our CRC and CD datasets, incorporating five additional cohorts for each disease, as guided by the work of S. Lee et al., to ensure a more rigorous and comprehensive evaluation.

최종 검증 및 방법론적 비교를 위해 보다 엄격하고 포괄적인 평가를 보장하기 위해 S. Lee et al.의 작업에 따라 각 질병에 대해 5개의 추가 코호트를 통합하여 CRC 및 CD 데이터 세트를 추가로 확장했습니다.

Sequencing data processing and taxonomic annotation

Raw sequencing data in this study were downloaded from the NCBI SRA or the European Nucleotide Archive (ENA). Trimmomatic was employed to trim the reads, removing sequencing vectors and low-quality bases; reads shorter than 50 bp after trimming were also removed. Following these steps, we obtained the clean reads.

이 연구의 원시 시퀀싱 데이터는 NCBI SRA 또는 ENA(European Nucleotide Archive)에서 다운로드되었습니다. Trimmomatic은 판독을 다듬고 시퀀싱 벡터와 저품질 염기를 제거하는 데 사용되었습니다. 트리밍 후 50bp 미만의 판독값도 제거되었습니다. 이 단계에 따라 깨끗한 판독을 얻었습니다.

For WGS data, Bowtie2 was used to align the clean reads to the human reference genome (hg19), with potential human reads being removed from subsequent analysis using default parameters. Multiple sequencing runs corresponding to the same sample were merged. For the taxonomic profiling of all CRC and CD cohorts during the final validation phase, we calculated the relative abundance of taxa from the phylum to species level using MetaPhlAn3, MetaPhlAn4, and Kraken2 & Bracken, with the HRGM human gut-specific microbial genome database, all employing default settings.

WGS 데이터의 경우 Bowtie2를 사용하여 깨끗한 판독을 인간 참조 게놈(hg19)에 정렬했으며, 잠재적인 인간 판독은 기본 매개변수를 사용하여 후속 분석에서 제거되었습니다. 동일한 샘플에 해당하는 여러 시퀀싱 실행이 병합되었습니다. 최종 검증 단계 동안 모든 CRC 및 CD 코호트의 분류학적 프로파일링을 위해 HRGM 인간 장 특이적 미생물 게놈 데이터베이스와 함께 MetaPhlAn3, MetaPhlAn4 및 Kraken2 & Bracken을 사용하여 문에서 종 수준까지 분류군의 상대적 풍부도를 계산했습니다.

Feature filtering

We selected four thresholds for filtering low-abundance taxa for comparison: 0.001%, 0.005%, 0.01%, and 0.05%. Taxa with maximum abundance below these thresholds were removed. We then compared the AUCs of models constructed using these thresholds with the AUC of the control model, which did not filter low-abundance taxa. All other parameters in these models were kept identical to the control model, except for the threshold used for filtering. We performed the Wilcoxon rank sum test and paired tests to assess the differences between groups and observed which threshold resulted in superior model performance.

비교를 위해 저풍부도 분류군을 필터링하기 위한 4가지 임계값인 0.001%, 0.005%, 0.01% 및 0.05%를 선택했습니다. 이 임계값 미만의 최대 풍부도를 가진 분류군은 제거되었습니다. 그런 다음 이러한 임계값을 사용하여 구성된 모델의 AUC를 저풍부도 분류군을 필터링하지 않은 제어 모델의 AUC와 비교했습니다. 이러한 모델의 다른 모든 매개변수는 필터링에 사용된 임계값을 제외하고 제어 모델과 동일하게 유지되었습니다. 그룹 간의 차이를 평가하기 위해 Wilcoxon 순위 합계 테스트와 대응 테스트를 수행하고 어떤 임계값이 더 우수한 모델 성능을 가져왔는지 관찰했습니다.

Data rescaling

After filtering the low-abundance taxa, whether rescaling the relative abundance data affects model performance is a potential factor. We compared the AUCs of models with and without rescaling (with all other parameters held constant). We used Adonis analysis to assess whether rescaling impacted the performance of models. The normalization method we employed was min-max rescaling, which, as the name suggests, involves rescaling using the maximum and minimum values in the data column. The rescaled values are scaled to the range [0,1], calculated by subtracting the minimum value of the column from the data and then dividing by the range.

저풍부도 분류군을 필터링한 후 상대 풍부도 데이터의 크기를 조정하는 것이 모델 성능에 영향을 미치는지 여부는 잠재적인 요인입니다. 재조정이 있는 모델과 그렇지 않은 모델의 AUC를 비교했습니다(다른 모든 매개변수는 일정하게 유지됨). Adonis 분석을 사용하여 재조정이 모델 성능에 영향을 미치는지 여부를 평가했습니다. 우리가 사용한 정규화 방법은 이름에서 알 수 있듯이 데이터 열의 최대값과 최소값을 사용하여 재조정하는 최소-최대 재조정이었습니다. 재조정된 값은 데이터에서 열의 최소값을 뺀 다음 범위로 나누어 계산되는 [0,1] 범위로 조정됩니다.

Data normalization

We selected six data normalization methods, all available in the “normalize.features” function of the SIAMCAT R package: rank.unit, rank.std, log.clr, log.std, log.unit, and std. Specifically:

1. rank.unit: converts features to ranks and normalizes each column by the square root of the rank sum (where the number of columns equals the number of samples).
2. rank.std: converts features to ranks and applies z-score normalization.
3. log.clr: refers to centered log-ratio transformation (with pseudocounts added).
4. log.std: involves log-transforming features (after adding pseudocounts) and performing z-score normalization.
5. log.unit: applies log transformation to features (after adding pseudocounts) and then normalizes the features or samples using different methods.
6. std: applies only z-score normalization.

SIAMCAT R 패키지의 "normalize.features" 함수에서 모두 사용할 수 있는 6가지 데이터 정규화 방법인 rank.unit, rank.std, log.clr, log.std, log.unit 및 std를 선택했습니다. 구체적으로:

1. Rank.Unit: 특징을 순위로 변환하고 순위 합계의 제곱근(열 수가 표본 수와 같음)으로 각 열을 정규화합니다.
2. Rank.std: 특징을 순위로 변환하고 Z-점수 정규화를 적용합니다.
3. log.clr: 중심 로그 비율 변환(의사 개수 추가)을 나타냅니다.
4. log.std: 로그 변환 기능(의사 개수 추가 후) 및 z-점수 정규화 수행을 포함합니다.
5. log.unit: 기능에 로그 변환을 적용한 다음(의사 카운트를 추가한 후) 다른 방법을 사용하여 기능 또는 샘플을 정규화합니다.
6. 표준: Z-점수 정규화만 적용합니다.

Identification and removal of confounding factors

The presence of confounding factors within each cohort may affect the performance of the models, such as diet, drugs and regional differences. To investigate whether correcting for these confounding factors results in a better-performing model, we constructed both models with and without confounding factor correction and compared their performance.

각 코호트 내에 교란 요인이 존재하면 식이요법, 약물 및 지역적 차이와 같은 모델의 성능에 영향을 미칠 수 있습니다. 이러한 교란 요인을 보정하면 더 나은 모델이 생성되는지 여부를 조사하기 위해 교란 요인 보정 유무에 관계없이 두 모델을 모두 구성하고 성능을 비교했습니다.

In this study, we compared two methods for correcting confounding factors: the “removeBatchEffect” function from the limma R package (version 3.46.0) and the “matchit” function from the MatchIt R package (version 4.7.0). For disease prediction modeling with confounding factor correction, we identified confounders within each cohort by examining all available metadata factors, such as age, gender, body mass index (BMI), disease stage, and geographical location. When correcting for confounding factors using the limma package, we tested for significant differences between the disease group and the control group. Fisher’s exact test was applied to qualitative variables (including gender, disease stage, and geographical location), while non-parametric Wilcoxon rank-sum tests were used for quantitative variables (including age and BMI). The “removeBatchEffect” function was used to adjust for confounding factors, which having a p-value <0.05 (with significant categorical and continuous variables included as covariates and batch parameters in the function, respectively, while other settings remained at their defaults). When using the MatchIt package, we employed the “matchit” function to match samples between the control and disease groups based on metadata factors such as age, gender, body mass index (BMI), disease stage, and geographical location. Confounding factor adjustment was performed for cohorts with 15 or more matched pairs.

이 연구에서는 교란 요인을 수정하는 두 가지 방법인 limma R 패키지(버전 3.46.0)의 "removeBatchEffect" 함수와 MatchIt R 패키지(버전 4.7.0)의 "matchit" 함수를 비교했습니다. 교란 요인 보정을 통한 질병 예측 모델링의 경우, 연령, 성별, 체질량 지수(BMI), 질병 단계 및 지리적 위치와 같은 사용 가능한 모든 메타데이터 요인을 조사하여 각 코호트 내에서 교란 요인을 식별했습니다. limma 패키지를 사용하여 교란 요인을 보정할 때 질병 그룹과 대조군 간의 유의미한 차이를 테스트했습니다. 정성적 변수(성별, 질병 단계, 지리적 위치 포함)에는 피셔의 정확 검정을 적용하였고, 정량적 변수(연령, BMI 포함)에는 비모수 Wilcoxon 순위합계 검정을 사용하였다. "removeBatchEffect" 함수는 p-값이 <0.05인 교란 요인을 조정하는 데 사용되었습니다(유의미한 범주형 및 연속 변수는 각각 함수에 공변량 및 배치 매개변수로 포함되고 다른 설정은 기본값으로 유지됨). MatchIt 패키지를 사용할 때 "matchit" 기능을 사용하여 연령, 성별, 체질량 지수(BMI), 질병 단계 및 지리적 위치와 같은 메타데이터 요소를 기반으로 대조군과 질병 그룹 간의 샘플을 일치시켰습니다. 교란 요인 조정은 15개 이상의 일치 쌍이 있는 코호트에 대해 수행되었습니다.

Batch effect removal

We also compared different methods for removing batch effects. Specifically, we evaluated the performance of the “removeBatchEffect” function from the limma R package, the “adjust_batch” function from the MMUPHin R package (version 1.8.2), and the “ComBat” function from the sva R package (version 3.42.0). We constructed models where the only varying parameter was the method used for batch effect removal, keeping all other parameters consistent. To quantify the effectiveness of each method in removing batch effects, we compared the AUC and calculated the proportion of variance explained (R ) using ADONIS analysis. Batch effect removal methods that achieve higher AUC and lower R was used as the optimal approach for subsequent modeling.

또한 배치 효과를 제거하는 다양한 방법도 비교했습니다. 구체적으로, limma R 패키지의 "removeBatchEffect" 함수, MMUPHin R 패키지(버전 1.8.2)의 "adjust_batch" 함수, sva R 패키지(버전 3.42.0)의 "ComBat" 함수의 성능을 평가했습니다. 우리는 유일하게 변하는 매개변수가 배치 효과 제거에 사용되는 방법인 모델을 구성하고 다른 모든 매개변수를 일관되게 유지했습니다. 배치 효과를 제거하는 각 방법의 효과를 정량화하기 위해 AUC를 비교하고 ADONIS 분석을 사용하여 설명된 분산의 비율(R)을 계산했습니다. 더 높은 AUC와 더 낮은 R을 달성하는 배치 효과 제거 방법이 후속 모델링을 위한 최적의 접근 방식으로 사용되었습니다.

Algorithm selection

In this study, we compared nine algorithms: Lasso regression, Ridge regression, Elastic Net, Random Forest, Linear support vector machine (Linear SVM), Radial basis function support vector machine (Radial SVM), Extreme gradient boosting (XGBoost), Light gradient boosting machine (LightGBM) and Neural Networks. The first four algorithms are all selectable parameters within the “train.model” function of the SIAMCAT R package. The Linear SVM and Radial SVM are implemented using the “svm” function from the e1071 R package (https://CRAN.R-project.org/package=e1071.), XGBoost with the “xgboost” function from the xgboost R package (https://CRAN.R-project.org/package=xgboost), LightGBM with the “lgb.train” function from the lightgbm R package (https://CRAN.R-project.org/package=lightgbm.), and Neural Networks with the “nnet” function from the nnet R package (https://CRAN.R-project.org/package=nnet).

이 연구에서는 올가미 회귀, 능선 회귀, 탄력적 네트, 랜덤 포레스트, 선형 지원 벡터 머신(Linear SVM), 방사형 기저 함수 지원 벡터 머신(Radial SVM), 극단적 그래디언트 부스팅(XGBoost), 라이트 그래디언트 부스팅 머신(LightGBM) 및 신경망의 9가지 알고리즘을 비교했습니다. 처음 네 가지 알고리즘은 모두 SIAMCAT R 패키지의 "train.model" 함수 내에서 선택 가능한 매개변수입니다. 선형 SVM 및 방사형 SVM은 e1071 R 패키지(https://CRAN.R-project.org/package=e1071)의 "svm" 함수, xgboost R 패키지(https://CRAN.R-project.org/package=xgboost)의 "xgboost" 함수가 있는 XGBoost, lightgbm R 패키지의 "lgb.train" 함수가 있는 LightGBM을 사용하여 구현됩니다. (https://CRAN.R-project.org/package=lightgbm.) 및 nnet R 패키지(https://CRAN.R-project.org/package=nnet)의 "nnet" 함수가 있는 신경망).

1. Lasso regression is a linear regression method that fits data by minimizing the loss function while adding an L1 regularization term. This encourages sparsity in the model parameters, allowing it to automatically select features that significantly impact the model. This method is effective for feature selection and reduces the risk of overfitting, making it suitable for datasets with a large number of features.

   올가미 회귀는 L1 정규화 항을 추가하면서 손실 함수를 최소화하여 데이터를 적합시키는 선형 회귀 방법입니다. 이는 모델 매개변수의 희소성을 장려하여 모델에 큰 영향을 미치는 기능을 자동으로 선택할 수 있습니다. 이 방법은 특징 선택에 효과적이며 과적합 위험을 줄여 많은 특징을 가진 데이터 세트에 적합합니다.

2. Ridge regression is another linear regression method, similar to Lasso, but it uses an L2 regularization term to control the size of the model parameters rather than inducing sparsity. This helps in reducing the risk of overfitting.

   능선 회귀는 올가미와 유사한 또 다른 선형 회귀 방법이지만 희소성을 유도하기보다는 L2 정규화 항을 사용하여 모델 매개변수의 크기를 제어합니다. 이는 과적합 위험을 줄이는 데 도움이 됩니다.

3. Elastic Net combines both Lasso and Ridge regression by employing both L1 and L2 regularization terms, thus taking advantage of the strengths of both methods. This approach allows for simultaneous feature selection and parameter shrinkage.

Elastic Net은 L1 및 L2 정규화 항을 모두 사용하여 올가미와 Ridge 회귀를 결합하여 두 방법의 장점을 모두 활용합니다. 이 접근 방식을 사용하면 동시 기능 선택과 매개변수 축소가 가능합니다.

1. Random Forest is an ensemble learning method that constructs multiple decision trees, introducing randomness during the construction of each tree. The results of all trees are then aggregated to improve the model’s generalization ability and stability. Random Forest is known for its robustness and predictive performance, being less prone to overfitting and particularly effective for datasets with non-linear relationships.

랜덤 포레스트는 여러 의사 결정 트리를 구성하여 각 트리를 구성하는 동안 무작위성을 도입하는 앙상블 학습 방법입니다. 그런 다음 모든 트리의 결과를 집계하여 모델의 일반화 능력과 안정성을 향상시킵니다. 랜덤 포레스트는 견고성과 예측 성능으로 잘 알려져 있으며, 과적합 가능성이 적고 특히 비선형 관계가 있는 데이터 세트에 효과적입니다.

1. Linear SVM is a supervised learning algorithm that aims to find the optimal hyperplane that best separates data into different classes. It does this by maximizing the margin between the classes while minimizing classification error. Linear SVM is effective for linearly separable datasets and is robust to high-dimensional feature spaces, making it a good choice for text classification and other high-dimensional problems.

선형 SVM은 데이터를 서로 다른 클래스로 가장 잘 분리하는 최적의 초평면을 찾는 것을 목표로 하는 지도 학습 알고리즘입니다. 분류 오류를 최소화하면서 클래스 간의 마진을 최대화하여 이를 수행합니다. 선형 SVM은 선형적으로 분리 가능한 데이터 세트에 효과적이며 고차원 기능 공간에 강력하므로 텍스트 분류 및 기타 고차원 문제에 적합합니다.

1. Radial SVM is an extension of the Linear SVM that uses the Radial Basis Function (RBF) kernel to map data into higher-dimensional spaces. This allows it to handle non-linear relationships between features by transforming the input into a space where a linear separator can be found. Radial SVM is particularly effective for datasets with complex, non-linear decision boundaries.

방사형 SVM은 RBF(방사형 기저 함수) 커널을 사용하여 데이터를 고차원 공간에 매핑하는 선형 SVM의 확장입니다. 이를 통해 입력을 선형 구분 기호를 찾을 수 있는 공간으로 변환하여 기능 간의 비선형 관계를 처리할 수 있습니다. 방사형 SVM은 복잡한 비선형 의사 결정 경계가 있는 데이터 세트에 특히 효과적입니다.

1. XGBoost is an ensemble learning technique based on gradient boosting. It builds decision trees in a sequential manner, where each tree corrects the errors made by the previous one. XGBoost is known for its high predictive accuracy, scalability, and regularization capabilities, making it highly effective for both regression and classification tasks, particularly in large datasets with complex relationships.

XGBoost는 그라디언트 부스팅을 기반으로 하는 앙상블 학습 기법입니다. 각 트리가 이전 트리의 오류를 수정하는 순차적인 방식으로 의사 결정 트리를 구축합니다. XGBoost는 높은 예측 정확도, 확장성 및 정규화 기능으로 잘 알려져 있어 특히 복잡한 관계가 있는 대규모 데이터 세트에서 회귀 및 분류 작업 모두에 매우 효과적입니다.

1. LightGBM is another gradient boosting algorithm, similar to XGBoost, but optimized for faster training and lower memory usage. It uses a histogram-based approach to bin continuous features, improving efficiency in large-scale datasets. LightGBM is highly effective for large datasets and is particularly well-suited for high-dimensional data with a large number of features.

LightGBM은 XGBoost와 유사한 또 다른 그래디언트 부스팅 알고리즘이지만 더 빠른 훈련과 더 낮은 메모리 사용량에 최적화되어 있습니다. 히스토그램 기반 접근 방식을 사용하여 연속 특징을 구간화하여 대규모 데이터 세트의 효율성을 향상시킵니다. LightGBM은 대규모 데이터 세트에 매우 효과적이며 특히 많은 기능을 가진 고차원 데이터에 적합합니다.

1. Neural Networks is a class of machine learning models inspired by the structure of the human brain. They consist of layers of interconnected neurons, where each neuron performs a simple mathematical operation. Neural Networks is particularly powerful for modeling complex non-linear relationships and can automatically learn feature representations from raw data. They are widely used in tasks such as image recognition, natural language processing, and time-series forecasting.

신경망은 인간 두뇌의 구조에서 영감을 받은 기계 학습 모델의 한 종류입니다. 이는 상호 연결된 뉴런 층으로 구성되며, 각 뉴런은 간단한 수학 연산을 수행합니다. 신경망은 복잡한 비선형 관계를 모델링하는 데 특히 강력하며 원시 데이터에서 특징 표현을 자동으로 학습할 수 있습니다. 이는 이미지 인식, 자연어 처리 및 시계열 예측과 같은 작업에 널리 사용됩니다.

When partitioning the data and constructing the models, we used the parameters num.folds = 5 and num.resample = 3. By comparing the performance of models built using these nine different algorithms, we aimed to identify the algorithm that yields the best model performance.

데이터를 분할하고 모델을 구성할 때 num.folds = 5 및 num.resample = 3 매개변수를 사용했습니다. 이 9가지 알고리즘을 사용하여 구축된 모델의 성능을 비교함으로써 최상의 모델 성능을 생성하는 알고리즘을 식별하는 것을 목표로 했습니다.

The procedure for comparing the efficacy of parameters and the criteria for evaluating model performance

In exploring the optimal workflow, our study was divided into three main components: the selection of data preprocessing methods, the choice of batch effect removal methods, and the selection of algorithms.

최적의 워크플로우를 탐색하면서 본 연구는 데이터 전처리 방법 선택, 배치 효과 제거 방법 선택, 알고리즘 선택의 세 가지 주요 구성 요소로 나뉩니다.

First, we investigated the optimal data preprocessing strategy, which encompassed four key steps: filtering low-abundance taxa, data rescaling, data normalization, and correction for confounding factors. By systematically evaluating all possible combinations of these steps and their respective parameters, we identified a robust data preprocessing workflow that was applicable across multiple diseases.

먼저, 저풍부도 분류군 필터링, 데이터 재스케일링, 데이터 정규화 및 교란 요인 수정의 네 가지 주요 단계를 포함하는 최적의 데이터 전처리 전략을 조사했습니다. 이러한 단계의 가능한 모든 조합과 해당 매개변수를 체계적으로 평가함으로써 여러 질병에 적용할 수 있는 강력한 데이터 전처리 워크플로를 식별했습니다.

Next, in the batch effect removal step, we compared three different methods to determine the most effective approach for removing batch effects.

다음으로, 배치 효과 제거 단계에서 세 가지 방법을 비교하여 배치 효과를 제거하는 가장 효과적인 접근 방식을 결정했습니다.

Finally, we assessed algorithm selection, where we combined the nine algorithms with the selected data preprocessing and batch effect removal method to identify a universally effective algorithm and workflow that yielded the best model performance.

마지막으로, 알고리즘 선택을 평가하여 9개의 알고리즘을 선택한 데이터 전처리 및 배치 효과 제거 방법과 결합하여 최상의 모델 성능을 제공하는 보편적으로 효과적인 알고리즘과 워크플로를 식별했습니다.

When comparing model performance, we primarily focused on the AUCs and the significance of inter-group differences. We generated boxplots of both internal and external validation AUCs, observing trends in the boxplots, the median AUCs, and the presence of significant differences between groups. In order to assess the imbalance in sample sizes between cases and controls, we also computed AUPRC, F1score, and unitMCC to evaluate model performance: AUPRC measures the performance of binary classifiers, particularly in imbalanced datasets, focusing on precision and recall; the F1 score combines precision and recall into a single value, balancing both metrics; the unitMCC standardizes the MCC (a measure taking into account true positives, true negatives, false positives, and false negatives) by adding 1 and dividing by 2, giving a result between 0 and 1. Additionally, to examine the impact of multiple parameters on model performance and to evaluate the effectiveness of different batch effect removal methods, we conducted Adonis analysis of variance to assess the explanatory power of different grouping factors on sample variation. We calculated the R-squared (R ) value to evaluate the statistical significance of these effects. A higher R value indicated a greater explanatory power of the group for sample variation.

모델 성능을 비교할 때 우리는 주로 AUC와 그룹 간 차이의 중요성에 초점을 맞췄습니다. 우리는 상자 그림의 추세, 중앙값 AUC 및 그룹 간의 유의미한 차이의 존재를 관찰하여 내부 및 외부 검증 AUC의 상자 그림을 생성했습니다. 사례와 대조군 간의 표본 크기의 불균형을 평가하기 위해 AUPRC, F1score 및 unitMCC를 계산하여 모델 성능을 평가합니다. AUPRC는 정밀도와 재현율에 중점을 두고 특히 불균형한 데이터 세트에서 이진 분류기의 성능을 측정합니다. F1 점수는 정밀도와 재현율을 단일 값으로 결합하여 두 지표의 균형을 유지합니다. unitMCC는 1을 더하고 2로 나누어 MCC(진양성, 진부정, 위양성 및 위부정을 고려한 측정값)를 표준화하여 0과 1 사이의 결과를 제공합니다. 또한 여러 매개변수가 모델 성능에 미치는 영향을 조사하고 다양한 배치 효과 제거 방법의 효과를 평가하기 위해 Adonis 분산 분석을 수행하여 표본 변동에 대한 다양한 그룹화 요인의 설명력을 평가했습니다. 이러한 효과의 통계적 유의성을 평가하기 위해 R-제곱(R) 값을 계산했습니다. R 값이 높을수록 표본 변동에 대한 그룹의 설명력이 더 크다는 것을 나타냅니다.

Statistical and bioinformatics methods

In this study, all data processing, analysis, and visualization were carried out using R (version 4.2.1, https://www.r-project.org/). For comparisons between two groups, we utilized the Wilcoxon rank sum test and paired tests for pairwise data as needed. For multi-group comparisons, the Kruskal-Wallis test was applied using the “stat_compare_means” function from the ggpubr R package (version 0.6.0, https://github.com/kassambara/ggpubr). To quantify the contribution of grouping factors to sample variation (R values), we employed the “adonis2” function from the vegan R package.

본 연구에서는 모든 데이터 처리, 분석, 시각화를 R(버전 4.2.1, https://www.r-project.org/)을 이용하여 수행하였다. 두 그룹 간의 비교를 위해 필요에 따라 쌍별 데이터에 대한 Wilcoxon 순위 합계 테스트와 대응 테스트를 활용했습니다. 다중 그룹 비교를 위해 ggpubr R 패키지(버전 0.6.0, https://github.com/kassambara/ggpubr)의 "stat_compare_means" 함수를 사용하여 Kruskal-Wallis 테스트를 적용했습니다. 샘플 변동(R 값)에 대한 그룹화 요인의 기여도를 정량화하기 위해 비건 R 패키지의 "adonis2" 함수를 사용했습니다.

Supplementary Material

Supplemental Material

KGMI_A_2489074_SM0049.zip

Funding Statement

This research is supported by National Key Research and Development Program of China [2024YFA0918500 to W.H.C].

Disclosure statement

No potential conflict of interest was reported by the author(s).

Author contributions

Wei-Hua Chen designed the study workflow. Peikun Li and Min Li wrote the code. Peikun Li performed the data analysis, prepared the figures, and drafted the manuscript. Wei-Hua Chen and Min Li revised the manuscript. All authors have read the final manuscript and approved it for publication.

Data availability statement

These data were derived from the following resources available in the public domain: NCBI (https://www.ncbi.nlm.nih.gov/sra.), ENA (https://www.ebi.ac.uk/ena/browser/.), GMrepo v2 (https://gmrepo.humangut.info).

Ethics statement

This study did not receive nor require ethics approval, as it reused the publicly available data.

Supplementary material

Supplemental data for this article can be accessed online at https://doi.org/10.1080/19490976.2025.2489074

References

• 1.Flint HJ, Scott KP, Duncan SH, Louis P, Forano E.. Microbial degradation of complex carbohydrates in the gut. Gut Microbes. 2012;3(4):289–21. doi: 10.4161/gmic.19897. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 2.Belkaid Y, Hand TW. Role of the microbiota in immunity and inflammation. Cell. 2014;157(1):121–141. doi: 10.1016/j.cell.2014.03.011. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 3.Cryan JF, Dinan TG. Mind-altering microorganisms: the impact of the gut microbiota on brain and behaviour. Nat Rev Neurosci. 2012;13(10):701–712. doi: 10.1038/nrn3346. [DOI] [PubMed] [Google Scholar]
• 4.Marchesi JR, Adams DH, Fava F, Hermes GD, Hirschfield GM, Hold G, Quraishi MN, Kinross J, Smidt H, Tuohy KM, et al. The gut microbiota and host health: a new clinical frontier. Gut. 2016;65(2):330–339. doi: 10.1136/gutjnl-2015-309990. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 5.Gevers D, Kugathasan S, Denson LA, Vazquez-Baeza Y, Van Treuren W, Ren B, Schwager E, Knights D, Song SJ, Yassour M, et al. The treatment-naive microbiome in new-onset crohn’s disease. Cell Host & Microbe. 2014;15(3):382–392. doi: 10.1016/j.chom.2014.02.005. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 6.Morgan XC, Tickle TL, Sokol H, Gevers D, Devaney KL, Ward DV, Reyes JA, Shah SA, LeLeiko N, Snapper SB, et al. Dysfunction of the intestinal microbiome in inflammatory bowel disease and treatment. Genome Biol. 2012;13(9):R79. doi: 10.1186/gb-2012-13-9-r79. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 7.Ott SJ, Musfeldt M, Wenderoth DF, Hampe J, Brant O, Folsch UR, Timmis KN, Schreiber S. Reduction in diversity of the colonic mucosa associated bacterial microflora in patients with active inflammatory bowel disease. Gut. 2004;53(5):685–693. doi: 10.1136/gut.2003.025403. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 8.Scher JU, Sczesnak A, Longman RS, Segata N, Ubeda C, Bielski C, Rostron T, Cerundolo V, Pamer EG, Abramson SB, et al. Expansion of intestinal prevotella copri correlates with enhanced susceptibility to arthritis. Elife. 2013;2:e01202. doi: 10.7554/eLife.01202. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 9.Hevia A, Milani C, Lopez P, Cuervo A, Arboleya S, Duranti S, Turroni F, Gonzalez S, Suarez A, Gueimonde M, et al. Intestinal dysbiosis associated with systemic lupus erythematosus. mBio. 2014;5(5):e01548–01514. doi: 10.1128/mBio.01548-14. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 10.Turnbaugh PJ, Hamady M, Yatsunenko T, Cantarel BL, Duncan A, Ley RE, Sogin ML, Jones WJ, Roe BA, Affourtit JP, et al. A core gut microbiome in obese and lean twins. Nature. 2009;457(7228):480–484. doi: 10.1038/nature07540. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 11.Qin J, Li Y, Cai Z, Li S, Zhu J, Zhang F, Liang S, Zhang W, Guan Y, Shen D, et al. A metagenome-wide association study of gut microbiota in type 2 diabetes. Nature. 2012;490(7418):55–60. doi: 10.1038/nature11450. [DOI] [PubMed] [Google Scholar]
• 12.Bedarf JR, Hildebrand F, Coelho LP, Sunagawa S, Bahram M, Goeser F, Bork P, Wullner U. Functional implications of microbial and viral gut metagenome changes in early stage L-DOPA-naïve Parkinson’s disease patients. Genome Med. 2017;9(1):39. doi: 10.1186/s13073-017-0428-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 13.Vogt NM, Kerby RL, Dill-McFarland KA, Harding SJ, Merluzzi AP, Johnson SC, Carlsson CM, Asthana S, Zetterberg H, Blennow K, et al. Gut microbiome alterations in alzheimer’s disease. Sci Rep. 2017;7(1):13537. doi: 10.1038/s41598-017-13601-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 14.Korteniemi J, Karlsson L, Aatsinki A. Systematic review: autism spectrum disorder and the gut microbiota. Acta Psychiatr Scand. 2023;148(3):242–254. doi: 10.1111/acps.13587. [DOI] [PubMed] [Google Scholar]
• 15.Patel M, Atluri LM, Gonzalez NA, Sakhamuri N, Athiyaman S, Randhi B, Gutlapalli SD, Pu J, Zaidi MF, Khan S. A systematic review of mixed studies exploring the effects of probiotics on gut-microbiome to modulate therapy in children with autism spectrum disorder. Cureus. 2022;14(12):e32313. doi: 10.7759/cureus.32313. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 16.Lewandowska-Pietruszka Z, Figlerowicz M, Mazur-Melewska K. Microbiota in autism spectrum disorder: a systematic review. Int J Mol Sci. 2023;24(23). doi: 10.3390/ijms242316660. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 17.Jiang P, Wu S, Luo Q, Zhao XM, Chen WH, Bucci V. Metagenomic analysis of common intestinal diseases reveals relationships among microbial signatures and powers multidisease diagnostic models. mSystems. 2021;6(3). doi: 10.1128/mSystems.00112-21. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 18.Thomas AM, Manghi P, Asnicar F, Pasolli E, Armanini F, Zolfo M, Beghini F, Manara S, Karcher N, Pozzi C, et al. Metagenomic analysis of colorectal cancer datasets identifies cross-cohort microbial diagnostic signatures and a link with choline degradation. Nat Med. 2019;25(4):667–678. doi: 10.1038/s41591-019-0405-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 19.Wirbel J, Pyl PT, Kartal E, Zych K, Kashani A, Milanese A, Fleck JS, Voigt AY, Palleja A, Ponnudurai R, et al. Meta-analysis of fecal metagenomes reveals global microbial signatures that are specific for colorectal cancer. Nat Med. 2019;25(4):679–689. doi: 10.1038/s41591-019-0406-6. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 20.Zeller G, Tap J, Voigt AY, Sunagawa S, Kultima JR, Costea PI, Amiot A, Böhm J, Brunetti F, Habermann N, et al. Potential of fecal microbiota for early‐stage detection of colorectal cancer. Mol Syst Biol. 2014;10(11). doi: 10.15252/msb.20145645. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 21.Gou W, Ling CW, He Y, Jiang Z, Fu Y, Xu F, Miao Z, Sun TY, Lin JS, Zhu HL, et al. Interpretable machine learning framework reveals robust gut microbiome features associated with type 2 diabetes. Diabetes Care. 2021;44(2):358–366. doi: 10.2337/dc20-1536. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 22.Dan Z, Mao X, Liu Q, Guo M, Zhuang Y, Liu Z, Chen K, Chen J, Xu R, Tang J, et al. Altered gut microbial profile is associated with abnormal metabolism activity of autism spectrum disorder. Gut Microbes. 2020;11(5):1246–1267. doi: 10.1080/19490976.2020.1747329. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 23.Costea PI, Zeller G, Sunagawa S, Pelletier E, Alberti A, Levenez F, Tramontano M, Driessen M, Hercog R, Jung FE, et al. Towards standards for human fecal sample processing in metagenomic studies. Nat Biotechnol. 2017;35(11):1069–1076. doi: 10.1038/nbt.3960. [DOI] [PubMed] [Google Scholar]
• 24.Ling W, Zhao N, Plantinga AM, Launer LJ, Fodor AA, Meyer KA, Wu MC. Powerful and robust non-parametric association testing for microbiome data via a zero-inflated quantile approach (ZINQ). Microbiome. 2021;9(1):181. doi: 10.1186/s40168-021-01129-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 25.McMurdie PJ, Holmes S, McHardy AC. Waste not, want not: why rarefying microbiome data is inadmissible. PLOS Comput Biol. 2014;10(4):e1003531. doi: 10.1371/journal.pcbi.1003531. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 26.Weiss S, Xu ZZ, Peddada S, Amir A, Bittinger K, Gonzalez A, Lozupone C, Zaneveld JR, Vazquez-Baeza Y, Birmingham A, et al. Normalization and microbial differential abundance strategies depend upon data characteristics. Microbiome. 2017;5(1):27. doi: 10.1186/s40168-017-0237-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 27.Vittinghoff E, McCulloch CE. Relaxing the rule of ten events per variable in logistic and cox regression. Am J Epidemiol. 2007;165(6):710–718. doi: 10.1093/aje/kwk052. [DOI] [PubMed] [Google Scholar]
• 28.Wirbel J, Zych K, Essex M, Karcher N, Kartal E, Salazar G, Bork P, Sunagawa S, Zeller G. Microbiome meta-analysis and cross-disease comparison enabled by the SIAMCAT machine learning toolbox. Genome Biol. 2021;22(1). doi: 10.1186/s13059-021-02306-1. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 29.Pasolli E, Truong DT, Malik F, Waldron L, Segata N. Machine learning meta-analysis of large metagenomic datasets: tools and biological insights. PLOS Comput Biol. 2016;12(7):e1004977. doi: 10.1371/journal.pcbi.1004977. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 30.Ghannam RB, Techtmann SM. Machine learning applications in microbial ecology, human microbiome studies, and environmental monitoring. Comput Struct Biotechnol J. 2021;19:1092–1107. doi: 10.1016/j.csbj.2021.01.028. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 31.Lee S, Lee I. Comprehensive assessment of machine learning methods for diagnosing gastrointestinal diseases through whole metagenome sequencing data. Gut Microbes. 2024;16(1):2375679. doi: 10.1080/19490976.2024.2375679. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 32.Li M, Liu J, Zhu J, Wang H, Sun C, Gao NL, Zhao X-M, Chen W-H. Performance of gut microbiome as an independent diagnostic tool for 20 diseases: cross-cohort validation of machine-learning classifiers. Gut Microbes. 2023;15(1). doi: 10.1080/19490976.2023.2205386. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 33.Schriml LM, Munro JB, Schor M, Olley D, McCracken C, Felix V, Baron JA, Jackson R, Bello Susan S, Bearer C, et al. The human disease ontology 2022 update. Nucleic Acids Res. 2022;50(D1):D1255–D1261. doi: 10.1093/nar/gkab1063. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 34.Oksanen J, Guillaume Blanchet F, Kindt R, Legendre P, O’Hara RG, Simpson G, Solymos P, Stevens H, Wagner H. Multivariate analysis of ecological communities in R: vegan tutorial R package version 1.7 1 1–43 https://cran.r-project.org/package=vegan. 2013 [Google Scholar]
• 35.Ritchie ME, Phipson B, Wu D, Hu Y, Law CW, Shi W, Smyth GK. Limma powers differential expression analyses for RNA-sequencing and microarray studies. Nucleic Acids Res. 2015;43(7):e47–e47. doi: 10.1093/nar/gkv007. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 36.Ma S, Shungin D, Mallick H, Schirmer M, Nguyen LH, Kolde R, Franzosa E, Vlamakis H, Xavier R, Huttenhower C. Population structure discovery in meta-analyzed microbial communities and inflammatory bowel disease using MMUPHin. Genome Biol. 2022;23(1). doi: 10.1186/s13059-022-02753-4. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 37.Leek JT, Johnson WE, Parker HS, Jaffe AE, Storey JD. The sva package for removing batch effects and other unwanted variation in high-throughput experiments. Bioinformatics. 2012;28(6):882–883. doi: 10.1093/bioinformatics/bts034. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 38.Tibshirani R. Regression shrinkage and selection via the lasso. J R Stat Soc Ser B: Stat Methodol. 1996;58(1):267–288. doi: 10.1111/j.2517-6161.1996.tb02080.x. [DOI] [Google Scholar]
• 39.Goldstein M, Smith AFM. Ridge-type estimators for regression analysis. J R Stat Soc Ser B: Stat Methodol. 1974;36(2):284–291. doi: 10.1111/j.2517-6161.1974.tb01006.x. [DOI] [Google Scholar]
• 40.Zou H, Hastie T. Regularization and variable selection via the elastic net. J R Stat Soc Ser B: Stat Methodol. 2005;67(2):301–320. doi: 10.1111/j.1467-9868.2005.00503.x. [DOI] [Google Scholar]
• 41.Tk H. Random decision forests. Proc 3rd Int Conf Doc Anal Recognit 1 278–282 doi: 10.1109/ICDAR.1995.598994. 1995. [DOI] [Google Scholar]
• 42.Topcuoglu BD, Lesniak NA, Ruffin MT, Wiens J, Schloss PD, Blaser MJ. A framework for effective application of machine learning to microbiome-based classification problems. mBio. 2020;11(3). doi: 10.1128/mBio.00434-20. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 43.Bakir-Gungor B, Hacilar H, Jabeer A, Nalbantoglu OU, Aran O, Yousef M. Inflammatory bowel disease biomarkers of human gut microbiota selected via different feature selection methods. PeerJ. 2022;10:e13205. doi: 10.7717/peerj.13205. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 44.Chang CC, Liu TC, Lu CJ, Chiu HC, Lin WN. Machine learning strategy for identifying altered gut microbiomes for diagnostic screening in myasthenia gravis. Front Microbiol. 2023;14:1227300. doi: 10.3389/fmicb.2023.1227300. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 45.Zeng F, Su X, Liang X, Liao M, Zhong H, Xu J, Gou W, Zhang X, Shen L, Zheng JS, et al. Gut microbiome features and metabolites in non-alcoholic fatty liver disease among community-dwelling middle-aged and older adults. BMC Med. 2024;22(1):104. doi: 10.1186/s12916-024-03317-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 46.Liu L, Liang L, Luo Y, Han J, Lu D, Cai R, Sethi G, Mai S. Unveiling the power of gut microbiome in predicting neoadjuvant immunochemotherapy responses in esophageal squamous cell carcinoma. Res (Wash DC). 2024;7:0529. doi: 10.34133/research.0529. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 47.Wu X, Zhang T, Zhang T, Park S. The impact of gut microbiome enterotypes on ulcerative colitis: identifying key bacterial species and revealing species co-occurrence networks using machine learning. Gut Microbes. 2024;16(1):2292254. doi: 10.1080/19490976.2023.2292254. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 48.Wood DE, Lu J, Langmead B. Improved metagenomic analysis with Kraken 2. Genome Biol. 2019;20(1):257. doi: 10.1186/s13059-019-1891-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 49.Lu J, Breitwieser FP, Thielen P, Salzberg SL. Bracken: estimating species abundance in metagenomics data. PeerJ Comput Sci. 2017; 3. doi: 10.7717/peerj-cs.104. [DOI] [Google Scholar]
• 50.Kim CY, Lee M, Yang S, Kim K, Yong D, Kim HR, Lee I. Human reference gut microbiome catalog including newly assembled genomes from under-represented Asian metagenomes. Genome Med. 2021;13(1):134. doi: 10.1186/s13073-021-00950-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 51.Zhernakova A, Kurilshikov A, Bonder MJ, Tigchelaar EF, Schirmer M, Vatanen T, Mujagic Z, Vila AV, Falony G, Vieira-Silva S, et al. Population-based metagenomics analysis reveals markers for gut microbiome composition and diversity. Science. 2016;352(6285):565–569. doi: 10.1126/science.aad3369. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 52.Knight R, Vrbanac A, Taylor BC, Aksenov A, Callewaert C, Debelius J, Gonzalez A, Kosciolek T, McCall L-I, McDonald D, et al. Best practices for analysing microbiomes. Nat Rev Microbiol. 2018;16(7):410–422. doi: 10.1038/s41579-018-0029-9. [DOI] [PubMed] [Google Scholar]
• 53.David LA, Maurice CF, Carmody RN, Gootenberg DB, Button JE, Wolfe BE, Ling AV, Devlin AS, Varma Y, Fischbach MA, et al. Diet rapidly and reproducibly alters the human gut microbiome. Nature. 2014;505(7484):559–563. doi: 10.1038/nature12820. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 54.De Filippo C, Cavalieri D, Di Paola M, Ramazzotti M, Poullet JB, Massart S, Collini S, Pieraccini G, Lionetti P. Impact of diet in shaping gut microbiota revealed by a comparative study in children from Europe and rural Africa. Proc Natl Acad Sci USA. 2010;107(33):14691–14696. doi: 10.1073/pnas.1005963107. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 55.Maurice CF, Haiser HJ, Turnbaugh PJ. Xenobiotics shape the physiology and gene expression of the active human gut microbiome. Cell. 2013;152(1–2):39–50. doi: 10.1016/j.cell.2012.10.052. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 56.Forslund K, Hildebrand F, Nielsen T, Falony G, Le Chatelier E, Sunagawa S, Prifti E, Vieira-Silva S, Gudmundsdottir V, Pedersen HK, et al. Disentangling type 2 diabetes and metformin treatment signatures in the human gut microbiota. Nature. 2015;528(7581):262–266. doi: 10.1038/nature15766. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 57.Davenport ER, Mizrahi-Man O, Michelini K, Barreiro LB, Ober C, Gilad Y, Quintana-Murci L. Seasonal variation in human gut microbiome composition. PLOS ONE. 2014;9(3):e90731. doi: 10.1371/journal.pone.0090731. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 58.Smits SA, Leach J, Sonnenburg ED, Gonzalez CG, Lichtman JS, Reid G, Knight R, Manjurano A, Changalucha J, Elias JE, et al. Seasonal cycling in the gut microbiome of the hadza hunter-gatherers of Tanzania. Science. 2017;357(6353):802–806. doi: 10.1126/science.aan4834. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 59.Yatsunenko T, Rey FE, Manary MJ, Trehan I, Dominguez-Bello MG, Contreras M, Magris M, Hidalgo G, Baldassano RN, Anokhin AP, et al. Human gut microbiome viewed across age and geography. Nature. 2012;486(7402):222–227. doi: 10.1038/nature11053. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 60.Goodrich JK, Waters JL, Poole AC, Sutter JL, Koren O, Blekhman R, Beaumont M, Van Treuren W, Knight R, Bell JT, et al. Human genetics shape the gut microbiome. Cell. 2014;159(4):789–799. doi: 10.1016/j.cell.2014.09.053. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 61.Bonder MJ, Kurilshikov A, Tigchelaar EF, Mujagic Z, Imhann F, Vila AV, Deelen P, Vatanen T, Schirmer M, Smeekens SP, et al. The effect of host genetics on the gut microbiome. Nat Genet. 2016;48(11):1407–1412. doi: 10.1038/ng.3663. [DOI] [PubMed] [Google Scholar]
• 62.Mitchell AL, Almeida A, Beracochea M, Boland M, Burgin J, Cochrane G, Crusoe MR, Kale V, Potter SC, Richardson LJ, et al. Mgnify: the microbiome analysis resource in 2020. Nucleic Acids Res. 2019; doi: 10.1093/nar/gkz1035. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 63.Katz K, Shutov O, Lapoint R, Kimelman M, Brister JR. O’Sullivan C: the sequence read archive: a decade more of explosive growth. Nucleic Acids Res. 2022;50(D1):D387–D390. doi: 10.1093/nar/gkab1053. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 64.Dai D, Zhu J, Sun C, Li M, Liu J, Wu S, Ning K, He L-J, Zhao X-M, Chen W-H. Gmrepo v2: a curated human gut microbiome database with special focus on disease markers and cross-dataset comparison. Nucleic Acids Res. 2022;50(D1):D777–D784. doi: 10.1093/nar/gkab1019. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 65.Harrison PW, Ahamed A, Aslam R, Alako BTF, Burgin J, Buso N, Courtot M, Fan J, Gupta D, Haseeb M, et al. The European nucleotide archive in 2020. Nucleic Acids Res. 2021;49(D1):D82–D85. doi: 10.1093/nar/gkaa1028. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 66.Bolger AM, Lohse M, Usadel B. Trimmomatic: a flexible trimmer for illumina sequence data. Bioinformat. 2014;30(15):2114–2120. doi: 10.1093/bioinformatics/btu170. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 67.Langmead B, Salzberg SL. Fast gapped-read alignment with bowtie 2. Nat Methods. 2012;9(4):357–359. doi: 10.1038/nmeth.1923. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 68.Beghini F, McIver LJ, Blanco-Míguez A, Dubois L, Asnicar F, Maharjan S, Mailyan A, Manghi P, Scholz M, Thomas AM, et al. Integrating taxonomic, functional, and strain-level profiling of diverse microbial communities with bioBakery 3. eLife. 2021; 10. doi: 10.7554/eLife.65088. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 69.Blanco-Míguez A, Beghini F, Cumbo F, McIver LJ, Thompson KN, Zolfo M, Manghi P, Dubois L, Huang KD, Thomas AM, et al. Extending and improving metagenomic taxonomic profiling with uncharacterized species using MetaPhlAn 4. Nat Biotechnol. 2023;41(11):1633–1644. doi: 10.1038/s41587-023-01688-w. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 70.Wu GD, Chen J, Hoffmann C, Bittinger K, Chen YY, Keilbaugh SA, Bewtra M, Knights D, Walters WA, Knight R, et al. Linking long-term dietary patterns with gut microbial enterotypes. Science. 2011;334(6052):105–108. doi: 10.1126/science.1208344. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 71.Vujkovic-Cvijin I, Sklar J, Jiang L, Natarajan L, Knight R, Belkaid Y. Host variables confound gut microbiota studies of human disease. Nature. 2020;587(7834):448–454. doi: 10.1038/s41586-020-2881-9. [DOI] [PMC free article] [PubMed] [Google Scholar]
• 72.Forslund SK, Chakaroun R, Zimmermann-Kogadeeva M, Marko L, Aron-Wisnewsky J, Nielsen T, Moitinho-Silva L, Schmidt TSB, Falony G, Vieira-Silva S, et al. Combinatorial, additive and dose-dependent drug-microbiome associations. Nature. 2021;600(7889):500–505. doi: 10.1038/s41586-021-04177-9. [DOI] [PubMed] [Google Scholar]
• 73.He Y, Wu W, Zheng H-M, Li P, McDonald D, Sheng H-F, Chen M-X, Chen Z-H, Ji G-Y, Zheng Z-D-X, et al. Regional variation limits applications of healthy gut microbiome reference ranges and disease models. Nat Med. 2018;24(10):1532–1535. doi: 10.1038/s41591-018-0164-x. [DOI] [PubMed] [Google Scholar]
• 74.Stuart DE. HaKIaGKaEA: MatchIt: nonparametric preprocessing for parametric causal inference. J Stat Softw. 2011;42:1–28. doi: 10.18637/jss.v042.i08. [DOI] [Google Scholar]
• 75.Hearst MA, Dumais ST, Osuna E, Platt J, Scholkopf B. Support vector machines. IEEE Intell Syst Their Appl. 1998;13(4):18–28. doi: 10.1109/5254.708428. [DOI] [Google Scholar]
• 76.Guestrin T. Xgboost: a scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining New York, USA: ACM; 2016. [Google Scholar]
• 77.Liu G, Ka Q, Ma T, Fa T, Wa W, Ca W, Ma Q, Ya T-Y. LightGBM: a highly efficient gradient boosting decision tree (New York: Curran Associates, Inc.). 2017. [Google Scholar]

Associated Data

This section collects any data citations, data availability statements, or supplementary materials included in this article.