코인 자동매매: 개발 스토리(알고리즘 I)

코인 시장의 숨겨진 날씨를 읽는 AI? HMM으로 시장 상태 분석!

개발할때 적용된 여러가지 알고리즘에 대해서 개발 스토리로 연재 해볼까 합니다. 연재할 알고리즘들은 다양한 거래에서 사용되는 알고리즘으로 혹시 개발에 관심이 있는 분들은 참고해 봐도 좋을것 같습니다.

코인(혹은 주식일수도.) 투자의 가장 어려운 점은 무엇일까요? 바로 “지금이 대체 어떤 시장이지?”라는 질문에 답하는 것입니다. 모두가 환호하는 불장(강세장)인지, 공포에 떠는 곰장(약세장)인지, 아니면 지루하게 제자리걸음만 하는 횡보장인지 명확히 알기 어렵습니다. 감이나 소문에 의존한 투자는 바로 손실로 이어지기도 합니다.

만약 인공지능이 시장의 숨겨진 ‘상태’를 날씨 예보처럼 알려줄 수 있다면 어떨까요? 오늘은 바로 그런 역할을 하는 은닉 마코프 모델(Hidden Markov Model, HMM) 이라는 수학적 도구를 이용해 코인 시장의 강세장, 약세장, 횡보장을 구분하고 미래를 예측하는 방법에 대해 아주 쉽게 알아보겠습니다.

1. 시장의 ‘숨겨진 상태’를 찾아내는 수학적 원리

우리는 매일 코인의 가격 변동률(수익률)은 볼 수 있지만, 그 이면에 숨어있는 시장의 진짜 ‘상태’ (강세장, 약세장, 횡보장)는 직접 볼 수 없습니다. HMM은 바로 이 관찰 가능한 데이터(가격 변동률)를 통해 숨겨진 상태를 추론하는 모델입니다.

이를 이해하기 위해 ‘날씨’를 예로 들어보겠습니다.

숨겨진 상태 (Hidden State): 실제 날씨 (맑음, 비, 흐림)
관찰값 (Observation): 친구의 SNS 사진 (공원에서 피크닉, 우산을 씀, 실내에서만 있음)

우리는 실제 그 지역의 날씨는 모르지만, 친구의 행동(관찰값)을 보고 “아, 피크닉 사진을 올렸네? 날씨가 맑은가 보다”라고 추측할 수 있습니다. HMM은 이 추측 과정을 수학적으로 정교하게 만든 것입니다.

코인 시장에 적용하면 다음과 같습니다.

숨겨진 상태 (Hidden State): 시장 상태 (강세장 Bull, 약세장 Bear, 횡보장 Sideways)
관찰값 (Observation): 코인의 일일 수익률 (+2%, -3%, +0.1% 등)

HMM은 다음 세 가지 핵심 요소를 사용해 이 숨겨진 시장 상태를 찾아냅니다.

1) 상태 전이 확률 (Transition Probability): 시장의 관성

“한 번 강세장은 다음 날도 강세장일 확률이 높다”처럼, 각 시장 상태가 다른 상태로 변할 확률을 의미합니다. 예를 들어, 실제 개발에서는 이렇게 설정할 수 있습니다.

만약 오늘이 **강세장(Bull)**이라면, 내일도 강세장일 확률은 70%, 약세장으로 바뀔 확률은 20%, 횡보장으로 바뀔 확률은 **10%**이다.

이처럼 각 상태가 얼마나 ‘끈끈하게’ 유지되는지, 또는 다른 상태로 얼마나 쉽게 바뀌는지를 정의합니다.

2) 방출 확률 (Emission Probability): 각 시장 상태의 ‘시그니처’

각 시장 상태마다 나타나는 가격 변동률의 특징을 확률로 나타낸 것입니다.

강세장(Bull): 평균적으로 약간의 플러스(+) 수익률이 나타날 확률이 높습니다. (예: 일 평균 +2% 수익률)
약세장(Bear): 평균적으로 약간의 마이너스(-) 수익률이 나타날 확률이 높습니다. (예: 일 평균 -2% 수익률)
횡보장(Sideways): 수익률이 0%에 가까울 확률이 높습니다. (예: 일 평균 0% 수익률)

HMM은 특정 수익률(예: +5%)이 관찰되었을 때, 이 수익률이 강세장에서 나왔을지, 약세장에서 나왔을지, 횡보장에서 나왔을지를 이 방출 확률을 통해 계산합니다.

3) 초기 상태 확률 (Initial Probability): 첫 번째 추측

아무런 데이터가 없을 때, 시장이 각 상태(강세, 약세, 횡보)에서 시작할 확률입니다. 보통은 1/3씩 동일하게 설정합니다.

즉, HMM은 이 세 가지 확률을 종합하여, 최근까지의 가격 변동률 데이터를 보고 “이러한 가격 움직임을 가장 잘 설명하는 숨겨진 시장 상태의 조합은 무엇인가?”라는 질문에 대한 가장 가능성 높은 답을 찾아냅니다.

2. 수학적 근거: 어떻게 가장 가능성 높은 상태를 찾는가?

HMM은 ‘베이즈 정리’에 기반한 확률적 추론을 사용합니다. 하지만 핵심적인 계산은 비터비 알고리즘(Viterbi Algorithm) 이라는 동적 계획법(Dynamic Programming) 알고리즘을 통해 이루어집니다.

어렵게 들리지만, 원리는 간단합니다.

과거부터 현재까지의 모든 가능한 ‘상태 변화 경로’ (예: 강세 → 강세 → 횡보 → 약세…)를 다 그려본다고 상상해 보세요. 그리고 각 경로가 나타날 확률을 모두 계산합니다. 비터비 알고리즘은 그중 가장 높은 확률을 가진 단 하나의 최적 경로를 효율적으로 찾아내는 방법입니다.

마치 내비게이션이 수많은 길 중에서 가장 빠른 길(최적 경로)을 찾아주는 것과 같습니다. HMM은 비터비 알고리즘을 통해 최근 가격 변동률 데이터를 가장 잘 설명하는 ‘시장 상태의 경로’를 찾아내고, 이를 통해 현재 시장이 어떤 상태인지를 판단하는 것입니다.

3. 실제 적용: 비트코인(BTC) 시장 상태 분석 예시

이제 이 HMM 모델을 실제 비트코인(BTC) 데이터를 예들 들어 적용해 보겠습니다. 최근 20일간의 가상 일일 수익률 데이터가 아래와 같다고 가정해 봅시다.

날짜	수익률(%)	날짜	수익률(%)
1일차	+2.5	11일차	-2.8
2일차	+1.8	12일차	-1.5
3일차	+3.1	13일차	+0.5
4일차	-1.0	14일차	-0.2
5일차	+0.5	15일차	+0.1
6일차	+2.2	16일차	-2.5
7일차	-0.8	17일차	-3.5
8일차	-2.1	18일차	-1.8
9일차	+0.3	19일차	+1.2
10일차	+0.1	20일차	+2.0

이 데이터를 HMM 알고리즘에 입력하면, 알고리즘은 각 날짜에 해당하는 가장 가능성 높은 시장 상태를 추정합니다.

분석 과정:

데이터 입력: 20일간의 수익률 데이터를 HMM 모델에 순차적으로 입력(update_observation).
최적 상태 경로 탐색: 비터비 알고리즘이 수익률 데이터를 기반으로 가장 확률 높은 상태 경로(예: [bull, bull, bull, sideways, ..., bear, bear, bull])를 계산.
현재 시장 진단: 최근 10일간의 상태 중 가장 많이 나타난 상태를 ‘현재 시장’으로 진단(get_market_regime).
미래 예측 및 거래 신호 생성: 현재 상태와 상태 전이 확률을 기반으로 다음 시장 상태를 예측하고 매수/보유/관망 신호를 생성(get_trading_signal).

분석 결과 (예시):

HMM 모델이 위 데이터를 분석한 후 다음과 같은 결과를 내놓을 수 있습니다.

JSON

{
  "current_regime": "bull",
  "next_state_probs": {
    "bull": 0.75,
    "bear": 0.15,
    "sideways": 0.10
  },
  "action": "buy",
  "confidence": 0.75
}

현재 시장 상태 (Current Regime):bull (강세장)
- 20일간의 데이터를 분석한 결과, 최근 시장은 강세장의 특징을 가장 강하게 보인다고 판단했습니다.
다음 상태 예측 확률 (Next State Probs):
- 다음 날 시장이 **강세장일 확률이 75%**로 가장 높다고 예측합니다.
- 약세장으로 전환될 확률은 15%, 횡보장일 확률은 10%로 보고 있습니다.
추천 행동 (Action):buy (매수)
- 강세장으로의 진입 또는 지속 가능성이 60%를 초과했기 때문에 ‘매수’ 신호를 생성했습니다. 신뢰도는 75%입니다.

정확도에 대하여:

HMM 모델의 정확도는 ‘얼마나 현실을 잘 반영하는가’에 달려 있습니다.

초기 파라미터: 처음에 설정한 전이 확률과 방출 확률이 실제 시장과 비슷할수록 예측은 더 정확해집니다.
데이터의 양: 더 많은 데이터를 학습할수록 모델은 스스로 파라미터를 업데이트하며(Baum-Welch 알고리즘 사용) 시장의 특징을 더 잘 학습하게 됩니다. 즉, 시간이 지날수록 더 똑똑해집니다.

실증 연구 결과: 성과 예제

최신 연구들은 HMM의 암호화폐 시장 적용에 대해 엇갈린 결과를 보여줍니다:

1. 단기 예측 성능

Li(2020)의 연구에 따르면, HMM은 단기 비트코인 가격 예측에서 비교적 양호한 성능을 보인다는 논문이 있습니다:

단기 예측 (7일): 평균 절대 백분율 오차(MAPE) 0.346%
중기 예측 (100일): MAPE 7.809%
장기 예측 (365일): MAPE 13.942%

이는 시간 지평선이 길어질수록 예측 정확도가 급격히 떨어짐을 의미합니다.

2. 시장 상태 식별 능력

Machimbo et al.(2025)의 최신 논문에서는 HMM이 마르코프 상태 모델(MSM)이나 임계값 모델보다 비트코인 시장의 체제 변화 탐지에 우수한 성능을 보인다는 결과 보고도 있습니다. 특히 강세장, 약세장, 횡보장의 전환점 식별에 효과적이었다고 합니다.

3. 실제 거래 전략 성과

Nguyen(2018)의 S&P 500 대상 연구에서는 HMM 거래 전략이 매수 후 보유(buy-and-hold) 전략을 능가했으며, 양의 표본외 R²값을 기록했다고도 합니다. 그러나 암호화폐 시장에서의 직접적인 적용 결과는 더욱 제한적입니다.

암호화폐 시장의 한계

1. 무작위 보행(Random Walk) 특성

다수의 연구가 암호화폐 가격이 무작위 보행에 가까운 특성을 보인다고 확인했습니다. 이는 과거 데이터만으로는 미래 가격을 예측하기 어렵다는 것을 의미합니다.

2. 시장 효율성의 한계

Cryptocurrency market efficiency research에 따르면, 비트코인 시장은 전통적인 금융시장에 비해 효율성이 낮지만, 여전히 상당한 무작위 성분을 포함하고 있어 예측 모델의 한계를 제약합니다.

3. 과적합(Overfitting) 문제

Hassan et al.의 연구에서는, HMM은 과적합 문제에 취약하며, 훈련 데이터에서의 좋은 성능이 실제 거래에서 재현되지 않을 가능성이 높다는 논문도 존재합니다.

실제 사용할때 고려사항

1. 하이브리드 모델 활용

최근 연구들은 HMM과 다른 기법의 결합을 제안합니다:

HMM-LSTM 융합 모델: 시계열의 장기 의존성과 체제 변화를 동시에 포착
앙상블 방법: 여러 모델의 예측을 결합하여 안정성 향상

2. 추가적 정보 활용

단순한 가격 데이터만이 아닌 다음과 같은 정보를 포함해야 합니다:

소셜 미디어 감정 분석 데이터
거래량 및 변동성 지표
거시경제 변수

3. 실시간 적응형 모델

정적인 파라미터가 아닌 시장 상황에 따라 적응하는 동적 모델이 필요합니다.(이 부분이 중요하며, 실제 트레이딩에서 다양한 상황에서의 의미있는 적응력을 제공합니다.

검증된 성과 지표 정리

실증 연구들의 종합적 분석 결과:

연구	표본	방법	주요 발견	성과 지표
Machimbo et al.(2025)	비트코인 체제 탐지	HMM vs 기타 모델	HMM이 체제 변화 예측에 우수	체제 전환점 탐지 우수
Li(2020)	비트코인 (2018-2020)	HMM 가격 예측	단기 양호, 장기 불량	단기: 0.346% MAPE
Catello et al.(2023)	주식 시장	HMM vs 기준 모델	경쟁력 있으나 우월하지 않음	애플: 1.50% MAPE

결론 및 권고사항

HMM은 암호화폐 시장 분석에서 체제 식별 도구로서는 유용하지만, 정확한 가격 예측 도구로는 한계가 명확합니다. 다음과 같은 접근이 더욱 유용합니다.

1. 제한적 활용

단기 체제 변화 신호로만 활용
다른 기술적/기본적 분석과 결합 사용
리스크 관리 도구로서의 보완적 역할

2. 지속적 검증

백테스팅 결과의 정기적 검증
실거래 환경에서의 성과 모니터링
모델 파라미터의 동적 조정

3. 현실적 기대치

“날씨 예보” 수준의 확률적 정보 제공
100% 정확한 예측이 아닌 의사결정 지원 도구
투자 포트폴리오의 하나의 구성 요소로 활용

HMM은 강력한 통계적 도구이지만, 암호화폐 시장의 복잡성과 불확실성을 고려할 때 만능 해결책이 아닌(어떠한 만능 해결책은 없습니다. 자동매매의 핵심은 예측이 아니라 “대응” 입니다.) 신중하게 활용해야 할 도구임을 인식해야 합니다.

결론적으로 이 모델은 미래를 100% 맞추는 수정 구슬이 아닙니다. 하지만 투자자의 감이나 시장의 소음에 휘둘리지 않고, 데이터에 기반하여 현재 시장을 객관적으로 진단하고 미래를 확률적으로 예측하는 매우 좋은 도구라고 생각합니다.