CONTRIBUTOR / INSTORM JOURNAL

INSTORM RESEARCH

인스톰 기술 연구진의 공개 논문 기반 AI 모델·시스템 원리 해설 연구 노트.

검색

6개의 이야기

Transformer는 단어 순서를 어떻게 알까? Positional Encoding과 RoPE 회전 원리, LongRoPE2·MrRoPE 및 긴 컨텍스트의 한계를 설명합니다.

같은 질문도 말투를 바꾸면 답이 달라지는 이유. Context Conditioning, Few-shot, 프롬프트 민감도와 2026년 연구를 쉽게 풀어봅니다.

Transformer와 Self-Attention은 어떻게 Q·K·V를 계산할까? 2017년 원논문부터 2026년 Local Attention 연구까지 숫자 예시로 설명합니다.

언어모델이 다음 토큰을 예측하며 지식을 형성하는 원리. 임베딩, Cross-Entropy, Backpropagation, Scaling Laws와 Chinchilla 논문까지 설명합니다.

AI가 strawberry의 r을 세는 것이 왜 어려웠을까? 유니코드·BPE·SentencePiece 토큰화와 Byte Latent Transformer 연구를 연결합니다.

같은 질문에 다른 답이 나오는 이유를 샘플링·Temperature·Top-p·GPU 비결정성 원리와 Thinking Machines Lab의 실험으로 설명합니다.