ORF / CDS¶

ORF , CDS 개념 설명 : 원핵생물( bacteria 에서 대부분 ORF -> CDS ) : 1. 현재 NCBI genbank (PGAP 으로 구축됨)이 GOLD Standard 2. 그러나, 실험 검증 Ribo-seq 이 필요하다.

ORF는 시작 코돈(AUG)부터 종결 코돈(UAA, UAG, UGA)까지 이어지는 핵산 서열 구간으로, 중간에 종결 코돈이 없어 "열려 있는(open)" 상태의 리딩 프레임을 말합니다. ORF는 잠재적으로 단백질을 암호화할 수 있는 서열을 가리키며, 실제로 번역되는지 여부와는 무관하게 정의됩니다. 즉, ORF는 단백질 코딩 가능성을 탐색하는 분석적·예측적 개념으로, 실험적으로 검증되지 않은 서열도 포함합니다.

CDS는 실제로 단백질로 번역되는 것이 확인된 서열로, 시작 코돈(AUG)부터 종결 코돈까지의 범위 중 오직 엑손만을 포함합니다. 5′ UTR과 3′ UTR 같은 비번역 영역(UTR)과 인트론은 CDS에 포함되지 않습니다. 따라서 모든 CDS는 ORF이지만, 모든 ORF가 CDS인 것은 아닙니다 — 비코딩 RNA로 전사되는 ORF나 전혀 전사되지 않는 ORF도 존재하기 때문입니다.

	원핵생물 (Prokaryote)	진핵생물 (Eukaryote)
Intron 유무	없음	있음
ORF = CDS	동일	다름
mRNA 구조	전처리 없이 바로 번역	Splicing 후 mature mRNA 번역
ORF 적용	DNA에서 직접 식별 가능	Spliced mRNA에만 적용 가능

BERT¶

BERT 모델 설명 ( Transformer , Tokenizer ) 및 DNA BERT 소개

BERT(Bidirectional Encoder Representations from Transformers) 2018 google

TIS : translation initiation site , 번역 시작 지점 ORF 서치 : Bio.Seq , 특정 시작 및 종료 코돈을 기반으로 잠재적 ORF를 식별

Masked Language Modeling (MLM): 입력 텍스트의 약 15%를 무작위로 마스킹하고, 앞뒤 문맥을 보고 마스킹된 단어를 예측
Next Sentence Prediction (NSP): 두 문장이 실제로 연속된 문장인지 예측

DNA BERT 2021

K-mer 토크나이제이션 적용

DNABERT는 인간 참조 게놈(Hg38)의 32억 개 뉴클레오타이드 데이터로 사전 학습되었으며, 8개의 NVIDIA 2080Ti GPU에서 약 25일간 훈련되었습니다.

원래 BERT의 NSP를 제거하고, DNA 특성에 맞게 연속된 k개 토큰을 마스킹하는 방식으로 사전 학습을 수정했습니다.

DNABERT-2는 2023년 공개된 2세대 모델로, 단일 인간 게놈이 아닌 다중 생물종 게놈으로 학습하고 Byte Pair Encoding(BPE) 토크나이저를 채택해 효율성과 성능이 크게 향상됨

항목	BERT	DNABERT
입력 데이터	자연어 텍스트	DNA 뉴클레오타이드 서열 (A, C, G, T)
토크나이제이션	Word	k-mer (연속 염기 묶음)
학습 데이터	Wikipedia, BooksCorpus	인간 참조 게놈 Hg38
파인튜닝 목표	감성분석, QA, NER 등	프로모터·TFBS·스플라이스 예측 등

Abstract¶

우리는 자연어 처리의 대형 언어 모델에서 영감을 받은 유전체 언어 모델(gLM)을 탐구하여 박테리아 유전자 예측을 강화합니다. 이 모델들은 LLM이 인간 언어를 처리하는 방식과 유사하게 유전자 서열 내 패턴과 맥락적 의존성을 학습합니다.

우리는 특히 DNABERT를 사용하여 두 단계 프레임워크를 사용하여 박테리아 유전자 예측을 수행합니다: 먼저 코딩 서열(CDS) 영역을 식별하고, 그 다음에는 올바른 번역 시작 부위(TIS)를 식별하여 예측을 정제합니다.

DNABERT는 선별된 NCBI 완전 박테리아 유전체 세트에서 k-mer 토큰라이저를 사용하여 서열 처리를 미세 조정합니다.

우리의 결과는 GeneLM이 유전자 예측 정확도를 크게 향상시킨다는 것을 보여줍니다.

Prodigal, GeneMark-HMM, Glimmer 등 선도적인 원핵생물 유전자 탐색기와 비교할 때, GeneLM은 누락된 CDS 예측을 줄이고 일치하는 주석을 증가시킵니다.

Introduction¶

CDS : Prodigal , Glimmer, GeneMark 등 TIS : TiCo, TriTISA 등 -> ORF 내부의 TIS, 30 - 60 뉴클레오타이드 길이 등 궁금한것 보충

Limitation : smORF 예측 불가,
양방향 인코더 : 문맥적 의미 해석 가능한 방식

유전체 시퀀싱 분석 결과, 트랜스포존 시퀀싱 접근법을 통해 확인된 많은 필수 유전자들이 유전체 결실로 인한 위양성을 포함하고 있음을 보여주며[[^6]], 실제 유전자 주석을 희생하지 않으면서 정밀도를 높이는 방법의 필요성을 강조하고 있습니다.

리보솜 프로파일링 (Ribo-seq)이 가장 강력한 실험 기반 TIS 탐색법입니다. 리보솜이 점유한 mRNA 단편을 딥시퀀싱하여 번역이 실제로 일어나는 위치를 직접 확인합니다.

TI-seq / GTI-seq: 번역 개시 억제제(harringtonine, lactimidomycin)를 처리하면 리보솜이 AUG에 정체되는데, 이 지점을 시퀀싱으로 포착하여 TIS를 정밀하게 식별합니다.
SD 서열 탐색 (원핵생물): 원핵생물에서는 Shine-Dalgarno 서열(AGGAGG)이 16S rRNA와 상보 결합하여 리보솜을 TIS로 안내하므로, AUG 상류 5~10 nt에서 이 서열을 탐색합니다.

Materials and Methods¶

Data Collection¶

NCBI 아카이브에서 GenBank 데이터베이스를 통해 Bacteria Gene Data 수집 reference genome 수준 필터링

DNA File : 레퍼런스 게놈 서열 (read mapping의 참조 기준) GFF File : 레퍼런스 게놈의 유전자 어노테이션 (발현량 계산, 변이 해석 등에 활용)

GFF3는 이전 GFF2/GTF의 한계를 개선하여 유전자 → 전사체 → 엑손의 3단계 계층 구조를 표현할 수 있습니다.

게놈에서 ORF를 뽑아 → 참조 파일과 비교해 라벨링 → CDS 분류용과 번역 시작점 분류용 데이터셋을 따로 만든 것입니다.

Data processing¶

DS용과 TIS 분류용 두 가지 유형의 데이터셋을 라벨링했습니다. CDS 데이터셋은 최대 길이 510개의 뉴클레오타이드 서열을 포함한 CSV 파일로 구성되며, 각 파일마다 양성()이나 음성으로 라벨이 붙습니다. 양성 라벨은 해당 서열이 GFF 참조 파일의 주석이 달린 CDS와 시작점 또는 종료 위치가 일치하는 가장 긴 절단된 ORF를 나타낸다는 것을 나타냅니다. 반면, TIS 데이터셋은 참조 파일의 CDS 서열과 일치하는 ORF의 서열만 포함하며, 서열에는 이진 레이블이 할당되어 진정한 TIS를 나타냅니다. 서열 맥락을 포착하기 위해, 각 TIS 중심 서열에는 상류와 하류에 각각 30개의 뉴클레오타이드가 포함되어 총 60개의 뉴클레오타이드 길이가 됩니다.

Tokenization / embadding¶

토큰화 (K-mer 분할)¶

DNA 서열을 6개 염기 단위(6-mer)로 겹치게 잘라서 각 조각을 하나의 "단어"처럼 취급합니다. 자르는 간격(스트라이드)은 과제마다 다릅니다.

CDS 분류: 스트라이드 3 (3칸씩 건너뜀)
TIS 분류: 스트라이드 1 (1칸씩 이동)

임베딩 (수치 변환)¶

각 k-mer를 사전 학습된 DNABERT 모델로 768차원 벡터로 변환합니다. 여기에 시작/끝을 나타내는 특수 토큰 [CLS], [EOS]도 추가됩니다.

최종 행렬 크기¶

CDS 분류: 서열 1개 → (512 × 768) 행렬
TIS 분류: 서열 1개 → (62 × 768) 행렬

한 마디로, DNA 서열을 6글자씩 겹쳐 자른 뒤 → DNABERT로 의미 있는 숫자 벡터로 변환해 → 모델이 학습할 수 있는 행렬 형태로 만드는 과정입니다.

Model¶

\[ \begin{align} \text{MultiHead(M)} = \text{ConCat}(\text{head}_1,\cdots,\text{head}_h)W^O \end{align} $$\]

\[\begin{align} \text{head}_i = \text{softmax}(\frac{MW^Q_i(MW^K_i)^T}{\sqrt{d_k}})MW^V_i \end{align}\]

$$ - $M$ : Token embeddings - $\text{}_i$ : attention head - $W^Q_i$ : learnable Query Matrix - $W^K_i$ : learnable Key Matrix - $W^V_i$ : learnable Value Matrix

Self Attention Head 는 각 토큰이 Sequence 내 다른 모든 토큰과 관련되어있는 맥락적 관련성을 결정한다. Transformer 계층에서 나온 최종 Hidden representation 는 Sequence 수준 또는 Token 수준 분류 작업에 사용된다.

핵심 아이디어는 토큰 임베딩 행렬 M 을 여러 개의 "시점(head)"으로 동시에 바라보는 것입니다.

각 head iii는 세 개의 학습 가능한 행렬로 MMM을 세 가지 역할로 변환합니다. - Query: "나는 무엇을 찾고 있나?" - Key: "나는 어떤 정보를 갖고 있나?" - Value: "실제로 전달할 정보"

Query와 Key의 내적을 dk\sqrt{d_k}dk로 나눠 스케일링한 뒤 softmax를 취하면 각 토큰이 다른 모든 토큰에 얼마나 주목할지를 나타내는 attention 가중치가 됩니다. 이 가중치로 Value를 가중합해 맥락이 반영된 표현을 만듭니다.

h 개의 head가 각자 다른 관점(문법, 의미, 지시 관계 등)의 패턴을 병렬로 학습한 뒤, 결과를 concat하고 출력 행렬 $W^O$ 로 선형 변환해 하나의 표현으로 통합합니다.

이렇게 만들어진 Hidden representation은 시퀀스 전체의 맥락을 담고 있어, 문장 분류(sequence-level) 또는 개체명 인식 같은 토큰별 분류(token-level) 등 다양한 downstream task에 활용됩니다.

Fine Tunning¶

DNA 서열 앞에 [CLS] 토큰을 붙이고, DNABERT로 각 k-mer의 임베딩(벡터 표현)을 생성합니다.

Self-Attention¶

Query, Key, Value 행렬을 이용해 각 k-mer가 다른 k-mer에 얼마나 주목해야 할지 가중치를 계산합니다. 이 가중치로 임베딩을 업데이트해서 문맥을 반영한 표현을 만듭니다.

DNABERT 위에 아래 세 층을 추가합니다. - Pooler Layer: [CLS] 토큰의 임베딩을 고정 크기 벡터로 압축 - Fully Connected Layer: 압축된 벡터를 클래스 수에 맞게 변환 - Softmax Layer: 각 클래스의 확률값으로 변환

손실 함수로 크로스 엔트로피를 사용합니다.

$$

\[\begin{align} L=\sum_{i=1}^{N}y_i' \log(y_i) \end{align}\]

$$

정답 레이블($y_i'$)과 예측 확률($y_i$) 사이의 차이를 최소화하는 방향으로 학습합니다. -> 잔차 최소화 방향 두 실험 모두 N=2 인 이진 분류(양성/음성)입니다.

한 마디로, [CLS] 토큰이 전체 서열의 정보를 요약하고, 그 벡터를 분류기에 넣어 CDS 여부 또는 TIS 여부를 판별하는 구조입니다.

[CLS] : 이 문장 전체를 요약해줘

각 k-mer를 숫자 덩어리(벡터)로 바꿔요. 이걸 임베딩이라고 하는데, 컴퓨터가 글자 대신 숫자로 의미를 이해하게 해주는 번역 과정이에요.

이 단계가 핵심이에요. 사람이 글을 읽을 때 앞뒤 문맥을 보듯, AI도 각 k-mer가 다른 k-mer들과 얼마나 관련 있는지 가중치를 계산해요.

예: "나는 은행에 갔다" — 이때 '은행'이 금융기관인지 나무인지는 앞뒤 단어를 봐야 알 수 있죠. DNA도 마찬가지예요.

Query(질문), Key(열쇠), Value(내용) 세 행렬을 이용해서 "이 조각은 저 조각과 얼마나 관련 있나?"를 계산하고, 그 결과로 각 조각의 벡터를 업데이트해요.

4단계: 분류기에 넣기

Pooler Layer: [CLS] 토큰 하나만 뽑아서 서열 전체 정보를 담은 하나의 압축 벡터로 만들어요
Fully Connected Layer: 그 벡터를 "양성이냐, 음성이냐" 두 칸짜리 판단표로 변환해요
Softmax Layer: 최종적으로 "양성일 확률 70%, 음성일 확률 30%"처럼 확률값으로 바꿔줘요

정답과 예측 확률의 차이를 크로스 엔트로피 손실로 계산해요. 쉽게 말하면, "틀렸을수록 벌점이 크다"는 점수표예요. 이 벌점을 최소화하도록 파라미터를 조금씩 수정하면서 AI가 점점 정확해지는 거예요.

[CLS] 토큰 = 반장 역할. 반 전체(DNA 서열)의 정보를 한 명이 요약해서 선생님(분류기)한테 보고하고, 선생님이 "이 서열이 CDS(단백질 만드는 부분)인가, TIS(번역 시작점)인가"를 최종 판정하는 구조예요.

Experiment Setup¶

DNA 서열 → k-mer 토큰화 → DNABERT 임베딩 → 트랜스포머 층 → 분류 헤드 → 최종 예측 순서로 진행됩니다. AdamW 옵티마이저와 선형 워밍업 학습률 스케줄을 사용합니다.

테스트 세트에는 훈련 때 본 적 없는 생물종만 포함시켜, 모델이 새로운 생물에도 일반화될 수 있는지 평가합니다.

CDS 분류 실험 - 목표: 게놈에서 단백질 코딩 구간(CDS) 판별 - 환경: NVIDIA A100 GPU 2대 (각 80GB), 배치 크기 512 - 소요 시간: 2 에포크, 총 37시간

TIS 분류 실험

목표: 60bp 서열에서 진짜 번역 시작 지점(TIS) 판별
환경: NVIDIA RTX A5000 GPU 1대 (24GB), 배치 크기 768
소요 시간: 3 에포크, 총 19시간

4가지 표준 이진 분류 지표를 사용합니다. $$

\[\begin{align} &\text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN} \\ &\text{Precision}=\frac{TP}{TP+FP} \\ &\text{Recall}=\frac{TP}{TP+FN} \\ &\text{F1 Score}=2\frac{Precision*Recall}{Precision+Recall} \end{align}\]

$$

TIS 예측 후, 같은 ORF 내 여러 후보 중 예측 확률이 가장 높은 TIS 하나만 선택합니다. 최종 결과는 CSV와 GFF 파일로 출력해 다른 유전체 분석 도구와 호환되도록 합니다.

하나의 ORF 안에는 시작 코돈(ATG 등)이 여러 개 존재할 수 있어서, TIS 후보도 여러 개가 생깁니다. 예를 들어 아래처럼 하나의 ORF에 3개의 후보 TIS가 있다고 가정하면:

후보 TIS	예측 확률
위치 A	0.42
위치 B	0.87
위치 C	0.31

Result¶

이 섹션에서는 실험에서 얻은 결과를 세 가지 주요 평가 단계로 구성하여 제시합니다. 먼저, 우리는 표준 평가 지표를 사용하여 모델 훈련과 테스트 중 성능을 보고하고, 그 효과를 평가합니다. 다음으로, 실험적으로 검증된 서열을 대상으로 모델을 실제 환경에서 평가하며, 실험실에서 검증된 생물학적 데이터에 대한 예측 정확도를 실질적으로 평가합니다. 마지막으로, 저희 접근법을 최신 유전자 주석 도구와 비교하여 정확성과 효율성을 벤치마크합니다. 이 평가들은 모델의 기능과 게놈 주석에서의 실용적 응용 가능성에 대한 포괄적인 이해를 제공합니다.

Training performance¶

이 섹션에서는 다양한 실험에서 모델을 훈련시켜 얻은 결과를 제시합니다.

CDS 분류 그림 4 는 여러 단계에 걸친 훈련 손실 진행과 두 개의 미세 조정 시기에 걸친 평가 지표 비교를 보여줍니다. 초기에는 모델이 학습함에 따라 훈련 손실이 급격히 감소하여 수천 번의 반복 후 안정화됩니다. 그러나 어려운 예제를 가진 미니 배치 구성으로 인해 훈련 손실이 산발적으로 급증하는 현상이 관찰되었습니다. 이를 조사하기 위해 우리는 다양한 무작위 시드로 훈련을 반복하고 손실 역학을 분석하여 재현성 연구를 수행했습니다. 보충 섹션 S3과 S4 에 자세히 설명된 바와 같이, 모델은 시드 간 일관된 수렴 패턴을 보여주었습니다. 우리는 급증 수를 정량화하고 손실 분포 통계를 계산했으며, 이러한 변동이 불안정성을 나타내는 것이 아니라 훈련의 미세한 확률적 변동임을 확인했습니다. 이러한 변동에도 불구하고, 전반적인 추세는 손실이 일관되게 감소하고 있어 효과적인 학습을 뒷받침합니다. 두 번째 미세 조정 시기 이후에는 평가 지표에서 미미한 개선이 나타났습니다(표 1). 추가 훈련이 수확 체감이나 과적합 위험을 초래할 수 있음을 시사하는 성능 향상과 추가 훈련의 계산 비용이 결합되어 2년 에포크에서 미세 조정을 중단했습니다. 표 1은 훈련 시기와 최종 테스트 세트 모두의 평가 지표를 보여줍니다. 모델은 정밀도, 호출율, 정확도 98%를 초과하는 높은 분류 성능을 달성했습니다. 평가 손실이 약간 감소한 것은 시기 간 안정적이고 효과적인 학습을 시사합니다. 최종 모델은 독립적인 테스트 세트에서 평가되었으며, 높은 정확도(99.43%)를 유지하면서 평가 손실은 0.0211이었습니다. 이 결과는 모델의 견고성과 일반화 능력을 확인시켜 줍니다.

	Valid		Test
	Epoch 1	Epoch 2	Final Score
Loss	0.021233	0.020184	0.021132
Precision	0.981846	0.983868	0.983253
F1	0.984364	0.985109	0.984544
Accuracy	0.994265	0.994553	0.994364
Recall	0.986916	0.986357	0.985844
참고: 표는 훈련 시기와 최종 테스트 세트 모두에 대한 평가 지표를 제시합니다. 이 모델은 정확도, 회상율, 정확도가 98%를 초과하는 분류 성능을 달성했습니다. 테스트 세트 평가는 손실이 최소화되고 정밀도가 높으며 모델의 일반화 능력을 확인합니다.

TIS 분류 그림 5 는 TIS 분류 실험의 훈련 손실 추세와 평가 지표를 보여줍니다. CDS 분류와 유사하게, 훈련 손실은 초기 급격한 감소를 보이지만 안정화되기 전에는 미세한 진동이 나타납니다. 표 2 의 평가 지표는 시기별로 일관된 성능 향상을 보여주며, 정밀도, 호출율, F1 점수가 각 반복마다 소폭 증가합니다. 그러나 그림에서 볼 수 있듯이, 이 지표들은 세 번째 에포크 이후에는 정체되어 추가적인 의미 있는 향상이 없어 과적합을 피하기 위해 에포크 3에서 조기 중단되었습니다. 최종 시험 평가에서 정확도(94.13%)와 평가 손실(0.1546)이 확인되었습니다. 정확도 계산에 사용되는 TIS 주석은 NCBI에서 얻어졌으며, NCBI는 유전자 예측 도구를 사용해 항상 실제 정보를 반영하지 않을 수 있기 때문에, 우리는 박테리아 게놈에 대해 모든 실험적으로 검증된 TIS 데이터를 사용한 기존 방법과 도구를 벤치마킹했습니다.

	Valid			Test
	Epoch 1	Epoch 2	Epoch 3	Final Score
Loss	0.161598	0.158706	0.156721	0.154614
Precision	0.938289	0.939115	0.939882	0.941508
F1	0.937736	0.938943	0.939723	0.941359
Accuracy	0.937755	0.938949	0.939728	0.941364
Recall	0.937754	0.938948	0.939728	0.941363
참고: 표는 훈련 시기와 최종 테스트 세트 모두에 대한 평가 지표를 제시합니다. 이 모델은 93%를 넘는 정밀도, 회상 및 정확도로 분류 성능을 달성했습니다. 테스트 세트 평가는 일반화 능력을 최종 정확도 94.13%로 확인했습니다.

Evaluating length bias and overfitting in CDS classification'¶

CDS 분류기의 견고성을 보장하고 ORF 길이와 같은 단순 특성에 대한 과적합 위험을 줄이기 위해, 우리는 훈련 중에 길이 인식 균형 전략을 도입했습니다. CDS 데이터셋에서는 음의 예시를 ORF 길이를 기준으로 양성(진짜 CDS) 예시의 길이 분포에 맞게 다운샘플링되었습니다. 이 접근법은 모델이 길이에 의존하는 것을 막고 판별적 서열 특징 학습을 촉진하기 위해 설계되었습니다. 모델이 얼마나 잘 일반화되는지, 그리고 예측 정확도가 ORF 길이에 따라 변하는지 평가하기 위해 길이 층화 추론 분석을 수행했습니다. 우리는 벤치마킹 데이터셋에서 검증된 CDS 주석을 가진 5개의 검증된 유전체를 사용했습니다. 모든 후보 ORF를 추출하고, 학습된 모델을 사용해 그 부호화 상태를 예측했으며, 실제 주석과 예측을 비교했습니다. ORF는 길이별로 네 개의 빈으로 그룹화되었으며, 짧은 길이(<300 bp)부터 매우 긴 길이(2000 bp)까지 다양했습니다. 각 빈에 대해 정밀도, 호출률, 정확도를 계산했고, 각 길이 범주에 속하는 ORF의 수도 세었습니다.

그림 6 에서 보듯, 분류기는 모든 ORF 길이에서 일관되게 높은 성능을 달성합니다. 하지만 특히 300 bp 미만의 짧은 ORF는 여전히 테스트 데이터에서 과소대표되어 있어 성능 지표에 대한 신뢰도가 제한될 수 있음을 관찰합니다. 이러한 한계에도 불구하고, 전체 결과는 모델이 분류에 있어 주로 ORF 길이에 의존하지 않는다는 강력한 증거를 제공합니다. 이는 훈련 중 사용되는 길이 균형 절차의 중요성과 효과를 확인시켜 주며, 길이 관련 편향을 완화하고 학습된 서열 표현의 생물학적 관련성을 높인다.

왼쪽: 다섯 개의 검증된 유전체를 사용한 ORF 길이 빈 전반에 걸친 CDS 분류기 성능 지표(정밀도, 호출율, 정확성). 오른쪽: 길이별 ORF 분포.

Performance benchmarking on experimentally verified genomes¶

GeneLM의 효과는 실험적으로 검증된 CDS를 사용하여 벤치마킹되었습니다. 실제 생물학적 데이터를 이용한 벤치마킹은 이전 연구들에서 확인된 것처럼 유전자 예측 방법 평가의 표준 관행입니다 [[^1], [^5], [^13]]. 이를 바탕으로, 우리는 GeneLM을 널리 사용되는 세 가지 원핵생물 유전자 예측 도구인 Prodigal [[^1], GeneMark-HMM [[^14]], Glimmer3 [[^15]], 그리고 최근 딥러닝 기반 번역 시작 지점 예측기인 TITER [[^16]], DeepGSR [[^17]], DeepTIS [[^18]]와 비교했습니다. 평가는 N-말단 펩타이드 시퀀싱을 기반으로 실험적으로 검증된 TIS를 가진 다섯 개의 세균 및 고세균 유전체— Escherichia coli, Halobacterium salinarum, Natronomonas pharaonis, Mycobacterium tuberculosis, Roseobacter denitrificans —를 대상으로 수행되었습니다. 이들 유기체(표 3 에 나열됨)는 2841개의 검증된 유전자 테스트 세트를 포함해 주석이 달린 TIS가 가장 많았습니다 [[^13]].

5개의 실험적으로 검증된 박테리아 유전체에 대한 전통적인 TIS 주석 도구의 벤치마킹 결과를 보여주는 검증된 주석과의 비교; 지표에는 일치한 TIS(5'+3' 말단과 3' 말단만)가 포함되며, 괄호 안에 올바르게 예측된 끝의 백분율이 표시되어 있고, 모든 생물체의 성능을 집계한 요약 행이 포함되어 있습니다.

Spceies	Clade	Genomes in clade	Verified Genes
E.coli	Enterobacterales	6311	769
H. salinarum	Archaea	1125	530
N. Pharaonis	Archaea	1125	282
M. tuberculosis	Actinobacteria	8097	701
R. denitrificans	Alphaproteobacteria	4720	526
Prodigal, GeneMark, Glimmer: 표 4는 다섯 개의 유전체 전반에 걸친 성능을 요약합니다. GeneLM은 모든 지표에서 고전 기법을 꾸준히 능가했습니다.

Bacteria	GC	TIS	GeneLM		Prodigal		GeneMark-HMM
Matched : %			5'+3'	3' end	5'+3'	3' end	5'+3'	3' end
E.coli	50.8	769	96.7	99.9	44.0	44.9	77.4	98.7
H. salinarum	65.7	530	82.6	97.0	45.8	48.1	93.0	100
N. Pharaonis	65.6	701	89.3	99.1	44.4	48.8	77.7	99.0
M. tuberculosis	63.1	315	78.7	95.9	53.7	55.9	95.9	99.7
R. denitrificans	58.9	526	93.5	99.4	0	0	0	0
All	-	2841	89.7	98.6	37.3	39.4	68.1	80.9

특히, 5'와 3' 끝 모두에서 가장 많은 일치 TIS를 달성했으며, 예측 실패도 적었습니다. E. coli K-12 의 경우 GeneLM은 25개의 TIS만 놓쳤고 Prodigal은 431개의 실패를 기록했습니다. GeneMark-HMM은 특히 M. tuberculosis 와 H. salinarum 과 같은 고GC 게놈에서 경쟁력 있는 성능을 보였지만, 5' 시작 정밀도에서는 GeneLM에 뒤처졌습니다. Glimmer3는 역사적으로 중요했지만 두 구성 모두에서 성능이 약했습니다. 스크래치 기반 모델은 반복 변형보다 성능이 떨어져 상류 모티프 모델링이 유익함을 확인했으나, 두 방법 모두 GeneLM에 비해 성능이 떨어졌습니다.

GenBank 주석에 대한 보다 광범위한 벤치마크는 표 5 에 제시되어 예측된 유전자와 알려진 유전체 주석의 정렬을 강조하며, 표 6은 방법 전반에 걸쳐 예측된 CDS 총 수를 요약하여 유전체 전체 count 기반의 관점을 제공합니다.

표 5.¶

GenBank 주석과의 비교: 5개 박테리아 게놈에 걸친 유전자 발견 알고리즘의 성능을 보여주며, 각 항목은 3' 끝에서 GenBank 주석과 일치하는 예측 유전자의 수와 비율을 보고하며, 완전(5'+3') 일치 여부를 보고합니다; 실험적으로 검증되지는 않았지만, 이 벤치마크는 완전한 유전체 전반에 걸친 광범위한 성능을 제공합니다.

표 6.¶

총 예측 CDS: 다섯 개의 실험적으로 검증된 박테리아 유전체에 대한 다섯 가지 유전자 예측 도구 간 총 예측 CDS를 비교한 결과, 마지막 행은 모든 유전체에 걸친 총 CDS 예측을 보여줍니다.

bacteria	GeneLM	Prodigal	GeneMark-HMM
E. Coli	4213	4347	4308
H. salinarum	2659	2851	2762
N. Pharaonis	3843	4204	4029
M. tuberculosis	2737	2873	2826
R. denitrificans	4006	4120	4104
All	17468	18395	18029

TITER, DeepGSR, DeepTIS:고전적 유전자 예측 도구 외에도, 우리는 GeneLM을 문헌에서 최근 심층 학습 접근법과 비교해 벤치마킹했습니다. 이 방법들은 직접 추론에 적합한 사전 학습 모델을 제공하지 않기 때문에, 우리는 TIS 예측이라는 특정 과제에 맞게 원핵생물 데이터셋에서 이들의 아키텍처를 재학습했습니다.

실험적으로 검증된 유전체에서 평가하기 전에, 우리는 먼저 표준 지표인 정밀도, 회상률, F1 점수를 사용하여 균형 잡힌 데이터셋에서 성능을 평가했습니다. 보충 그림 S5 에서 보듯, TITER는 더 높은 회상률(77.05%)을 달성했으나 정밀도는 낮은 66.03%를 기록했으며, 이는 양성 TIS 부위에 대해 과대예측하는 경향을 나타냅니다.

반면 DeepGSR은 더 균형 잡힌 성능(정밀도: 71.99%, 기억률: 73.11%)과 약간 더 높은 F1 점수를 제공했습니다. DeepGSR은 또한 더 긴 학습 시간(106.7시간)이 TITER(84.4시간)에 비해 필요했는데, 이는 더 깊이 있는 구조와 더 많은 매개변수 수 때문으로 보입니다.

이후 두 모델 모두 5개 박테리아 유전체에 걸쳐 실험적으로 검증된 TIS 데이터셋을 사용해 GeneLM과 함께 벤치마킹되었습니다(표 7). 공정성을 위해 동일한 데이터로 재학습했음에도 불구하고, TITER와 DeepGSR은 GeneLM에 비해 일관되게 낮은 성능을 보였습니다.

특히 두 모델 모두 R. denitrificans 에서 검증된 TIS 부위를 탐지하지 못했습니다. DeepTIS는 이전에 [[^19]]에서 보고한 바와 같이 아키텍처 및 훈련 정보가 불완전하여 평가할 수 없었습니다.

Evo2 는 한번에 100만 염기쌍을 모델링 할 수 있다. Evo2 특징 활성화(f/13606) 는 뭔지 모르겠지만 효과 좋다 우리의 모델은 CDS 영역과 주변 TIS 신호가 512 bp 한계가 있지만 신호가 충분함을 보였다.

7b : 40VRAM 40b : ? 답없음

TIS 예측 설명¶

모티프 시각화

y축 (행): [CLS] → 1번째 6-mer → 2번째 6-mer → ... → [SEP] ← Query 토큰 x축 (열): [CLS] → 1번째 6-mer → 2번째 6-mer → ... → [SEP] ← Key 토큰

DNABERT는 BERT 기반 트랜스포머 모델로, 12개의 Layer와 각 Layer마다 12개의 Attention Head를 갖고 있습니다. 이 둘은 역할이 완전히 다릅니다.

Layer(레이어) 는 트랜스포머 모델이 입력 서열을 처리하는 처리 단계의 깊이입니다. 사람이 글을 읽을 때 "글자 → 단어 → 문장 → 문맥"으로 점진적으로 이해하는 것처럼, 트랜스포머도 레이어가 깊어질수록 더 추상적이고 고차원적인 패턴을 학습합니다.journal.kci

얕은 레이어 (Layer 1~4): 단순한 국소적(local) 서열 패턴 학습, 예를 들어 인접한 코돈 관계
중간 레이어 (Layer 5~8): 중거리 서열 패턴, 예를 들어 특정 기능적 모티프 인식
깊은 레이어 (Layer 9~12): 멀리 떨어진 서열 간의 장거리 의미 관계 추론journal.kci

논문에서 "Layer 1의 11번째 head"가 TIS 상류 30bp에 집중한다는 것은, 가장 얕은 단계에서도 이미 프로모터 위치를 감지하고 있다는 의미입니다.

Head(헤드) 는 동일한 레이어 안에서 서로 다른 관점으로 동시에 서열을 바라보는 독립적인 시선입니다. DNABERT는 한 레이어에 12개의 Head가 병렬로 존재하며, 각 Head는 서로 다른 가중치 행렬(WQ,WK,WVW^Q, W^K, W^VWQ,WK,WV)을 가지므로 각기 다른 특징에 집중합니다.seungseop.tistory

NLP로 비유하면: - Head 1: 주어-동사 관계에 집중 - Head 2: 형용사-명사 관계에 집중 - Head 3: 문장 전체 맥락에 집중

DNA에서는: - 어떤 Head: TIS 근처의 Shine-Dalgarno 서열(리보솜 결합 부위) 패턴에 집중 - 다른 Head: 코돈 주기성 패턴에 집중 - 또 다른 Head: 상류 프로모터(-35, -10 박스) 위치에 집중

입력 DNA 서열 (6-mer 토큰화) ↓ ┌─────────────────────────┐ │ Layer 1 │ │ Head1 Head2 ... Head12 │ ← 12가지 다른 시선으로 동시에 봄 └────────────┬────────────┘ ↓ (결합 후 다음 레이어로) ┌─────────────────────────┐ │ Layer 2 │ │ Head1 Head2 ... Head12 │ └────────────┬────────────┘ ↓ ... ┌─────────────────────────┐ │ Layer 12 │ │ Head1 Head2 ... Head12 │ ← 가장 추상적인 패턴 └────────────┬────────────┘ ↓ [CLS] 토큰 → 분류 헤드 → TIS / 비-TIS

논문 결과의 생물학적 의미¶

논문에서 Layer 1, Head 11이 TIS로부터 정확히 -30bp 위치에 강한 어텐션을 보인 것은 단순한 우연이 아닙니다 . 세균 유전자에서 -35bp 부근은 σ 인자가 결합하는 프로모터 박스(-35 element)가 위치하는 생물학적으로 핵심적인 위치입니다. 즉, 모델이 명시적으로 가르쳐주지 않아도 데이터에서 스스로 생물학적 조절 규칙을 학습했다는 강력한 증거입니다 .

세균의 시작 코돈(TIS) 상류에는 크게 두 가지 핵심 요소가 위치합니다.

Shine-Dalgarno 서열 (SD sequence)¶

TIS로부터 약 5~10bp 상류에 위치하는 리보솜 결합 부위(RBS, Ribosome Binding Site) 입니다. 일반적으로 AGGAGG 같은 퓨린(purine) 풍부 서열로, 16S rRNA의 3' 말단과 상보적으로 결합하여 리보솜이 mRNA에 정확히 자리잡도록 안내합니다. 세균 번역 개시에서 가장 핵심적인 역할을 합니다.

프로모터 서열 (Promoter)¶

TIS로부터 약 -10bp ~ -35bp 상류에는 RNA 중합효소(RNA polymerase)와 σ(시그마) 인자가 결합하는 프로모터 박스가 위치합니다.

-10 element (Pribnow box): TATAAT 컨센서스 서열, RNA 중합효소가 DNA 이중 나선을 풀기 시작하는 위치
-35 element: TTGACA 컨센서스 서열, σ 인자가 처음 인식하고 결합하는 위치

논문과의 연결¶

GeneLM 논문에서 Layer 1의 Head 11이 TIS 상류 -30bp 위치에 강한 어텐션을 보인 것은 바로 이 프로모터 -35 element에 해당하는 생물학적으로 유의미한 위치입니다. 모델이 명시적으로 프로모터를 가르쳐 주지 않았음에도, 수백만 개의 세균 게놈 데이터에서 스스로 이 패턴을 학습했다는 점에서 매우 중요한 발견입니다.

TIS 상류 구조 요약¶

text

5'─────────────────────────────────────────────▶3' -35 element -10 element SD 서열 TIS (TTGACA) (TATAAT) (AGGAGG) (ATG) ↑ ↑ ↑ ↑ σ인자 결합 DNA 풀림 시작 리보솜 결합 번역 시작 ~-35bp ~-10bp ~-5~10bp 0

즉, 시작 코돈 하나만 봐서는 TIS를 정확히 예측할 수 없고, 상류의 SD 서열과 프로모터 패턴을 함께 고려해야 하는데, GeneLM의 Attention 메커니즘이 이 복합적인 맥락을 동시에 학습하고 있다는 것이 논문의 핵심 메시지입니다.

      [CLS] ATG CGT GTA TAA ... [SEP]  ← Key (어디를 보는가)

[CLS] ■ □ □ □ □ □ ATGCGT □ ■ □ □ □ □ TGCGTA □ □ ■ □ □ □ ... ← TIS 위치 기준 -30bp 토큰에 밝은 색이 집중되면 [SEP] □ □ □ □ □ ■

■ = 높은 어텐션 □ = 낮은 어텐션

Genome	GPU	VRAM	Batch	Genome bp	Time(min)
Bacteria-1	A100	79.15	5375	4641 652	21.12
Bacteria-2	A100	79.15	5375	2668 776	9.75
Bacteria-3	A100	79.15	5375	4411 532	21.73
Bacteria-1	RTX A5000	23.66	1556	4641 652	33.08
Bacteria-2	RTX A5000	23.66	1556	2668 776	15.60
Bacteria-3	RTX A5000	23.66	1556	4411 532	34.80
Bacteria-1	RTX A2000	11.65	710	4641 652	101.76
Bacteria-2	RTX A2000	11.65	710	2668 776	47.74
Bacteria-3	RTX A2000	11.65	710	4411 532	106.20

이 성능 격차는 트랜스포머 기반 추론의 메모리 바운드 특성을 반영합니다: 더 큰 배치 크기는 패딩과 메모리 전송을 줄여 처리량을 높입니다. 그럼에도 불구하고 이 모델은 A5000과 같은 중급 GPU에서도 여전히 사용 가능하여 많은 연구소에서 접근성을 제공합니다. 향후 연구에서는 혼합정밀도 추론, 양자화, 모델 증류와 같은 기법을 적용하여 추론 속도를 더욱 향상시킬 수 있습니다. 이러한 개선은 계산 자원이 제한된 환경에 맞게 GeneLM을 적응시키는 데 도움을 주어 더 넓은 채택을 촉진할 것입니다.

주요 사항¶

BERT 기반 게놈 언어 모델이 개발되어 원핵생물 게놈에서 코딩 서열 영역을 식별하고 번역 시작 부위를 분류합니다.
이 모델은 처음에 인간 게놈 데이터셋에서 자가 지도 학습을 통해 DNA 청크 표현을 학습합니다. 그 후 유전자 주석 주석을 위해 두 단계 파이프라인을 통해 적응됩니다: 첫째, 모델이 ORF를 CDS와 비CDS 영역으로 분류하고, 두 번째 모델이 진정한 TIS 부위를 식별하는 정교화 단계가 있습니다.
전통적인 유전자 예측 도구와 비교 평가를 수행하여 정밀도, 기억 및 확장성 향상을 평가합니다. 검증된 박테리아 유전체에 대한 사례 연구를 수행하여 모델이 실제 유전체 주석 작업에서 적용 가능하고 견고함을 입증합니다.

이 모델은 초기에는 대규모 자가 지도 학습을 활용하기 위해 인간 게놈 서열을 사전 학습했지만, 진핵생물과 원핵생물 게놈 간의 상당한 진화적·조직적 차이를 인정합니다. 이 도메인 격차를 해소하기 위해 GeneLM은 방대하고 다양한 박테리아 데이터셋에서 광범위하게 미세 조정되어 원핵생물 특이적 특징에 적응할 수 있게 되었습니다. 고GC 함량을 가진 여러 박테리아 계통군에서 관찰된 강한 성능과 실험적으로 검증된 데이터셋과의 벤치마킹은 이러한 적응이 실제로 효과적임을 입증합니다.