이 블로그의 글 37편을 의미가 비슷한 것끼리 모이도록 3D 공간에 펼쳤습니다.
같은 색으로 빛나는 구름은 시리즈이고, 별을 누르면 의미가 가장 가까운 글 세 편으로 선이 이어집니다.
위치는 글 본문으로 미리 계산한 임베딩에서 나왔고, 페이지를 열 때 AI를 부르지 않습니다.
은하수를 펼치고 있습니다.
글 은하수37 stars
드래그로 회전, 휠이나 두 손가락으로 확대, 별을 눌러 이동
만든 이유와 과정
이 기술로 무엇을 할 수 있을지 먼저 적고, 이어서 글을 임베딩으로 바꾸고, 3D로 펼치고, 빛나는 은하수로 그리기까지의 과정을 실제 코드와 함께 적었습니다.
1. 임베딩으로 무엇을 할 수 있을까요
임베딩(embedding)은 문장의 의미를 숫자 목록으로 바꾼 것입니다. 숫자가 가까우면 의미도 가깝다고 보기 때문에, 단어가 달라도 뜻이 비슷한 글을 찾을 수 있습니다. 관련 글 추천, 키워드가 정확히 맞지 않아도 찾아 주는 의미 검색, 비슷한 고객 문의 묶기, 비슷한 상품 찾기가 모두 이 원리로 만들어집니다. 검색 증강 생성(RAG)에서 질문과 관련된 문서를 고르는 단계도 임베딩이 맡습니다.
그런데 임베딩은 대부분 화면 뒤에서 일합니다. 추천 목록이나 검색 결과만 보이고, 글들이 실제로 어떻게 모여 있는지는 보이지 않습니다. 그래서 숫자 사이의 거리를 눈으로 볼 수 있는 화면을 만들어 보고 싶었습니다.
이 블로그의 글을 재료로 삼은 이유도 여기에 있습니다. 은하수에서 가까이 모인 글이 정말 비슷한 이야기를 하는지 제가 직접 판단할 수 있기 때문입니다. 글마다 의미가 가까운 세 편을 이미 계산해 두었기 때문에, 이 결과를 글 아래의 관련 글 추천으로 쓰는 일은 앞으로 해 볼 생각입니다.
2. 글 사이의 거리를 눈으로 보고 싶었습니다
임베딩은 추천이나 검색 기능을 만들 때 자주 쓰는 재료라 개념은 익숙했습니다. 하지만 의미가 비슷한 글이 정말 가까이 모이는지는 직접 본 적이 없었습니다.
그래서 이 블로그의 글을 재료로 삼았습니다. 글 하나가 별 하나이고, 의미가 가까운 글일수록 가까이 놓입니다. 시리즈는 같은 색 성운으로 묶었습니다. 시리즈 정보는 위치 계산에 쓰지 않았기 때문에, 같은 색 별이 실제로 모여 있다면 임베딩이 그 묶음을 스스로 찾아낸 셈입니다.
3. 임베딩은 빌드 전에 로컬에서 한 번만 계산합니다
글 본문을 임베딩으로 바꾸는 일은 페이지를 열 때마다 할 필요가 없습니다. 글이 바뀔 때만 다시 계산하면 됩니다. 그래서 Node 스크립트로 로컬에서 계산하고, 결과 좌표와 점수만 JSON으로 저장했습니다. 브라우저는 모델을 내려받지도, AI를 부르지도 않습니다.
모델은 한국어를 지원하는 multilingual-e5-small을 transformers.js로 돌렸습니다. 양자화한 버전이라 GPU 없이 노트북에서 돌릴 수 있습니다. 이 모델은 문서 쪽 입력 앞에 passage:를 붙이도록 학습되어 있어서, 제목과 요약, 코드 블록을 걷어 낸 본문 앞부분을 그 형식으로 넣었습니다.
UMAP은 난수를 쓰기 때문에 실행할 때마다 모양이 달라집니다. 글을 하나 추가했을 뿐인데 은하 전체가 뒤집히면 곤란해서, 시드를 고정한 난수를 넘겼습니다. 결과는 은하 가운데를 원점에 두고, 가장 먼 별이 반지름 10에 오도록 맞췄습니다.
결과를 보니 React 19 시리즈 네 편과 히어로 캐릭터 시리즈 세 편이 특히 단단하게 모였습니다. 주제가 좁고 용어가 겹치는 시리즈일수록 가깝게 붙었습니다. 반대로 AI 활용을 다룬 글들은 시리즈를 넘나들며 은하 가운데에 넓게 퍼졌는데, 실제로 서로 비슷한 이야기를 하는 글들이라 납득이 갔습니다.
5. 별과 성운은 번지는 정도가 다른 빛으로 그립니다
별, 성운, 배경 별은 모두 캔버스에 그린 빛 텍스처를 씁니다. 가운데가 밝고 바깥으로 갈수록 투명해지는 원인데, 얼마나 넓게 번질지만 다르게 두 장을 만들었습니다. 겹치는 빛이 더해지도록 가산 혼합(additive blending)을 켜면, 별이 모인 곳이 자연스럽게 더 밝아집니다.
처음에는 별도 성운과 같은 텍스처를 썼습니다. 그랬더니 별마다 넓게 번진 빛이 서로 겹쳐서 은하 전체가 뿌옇게 보였습니다. 별은 가운데 심이 또렷하고 번짐이 짧은 텍스처로 따로 만들고, 크기와 성운의 밝기도 낮췄습니다. 넓게 번지는 빛은 성운과 배경 별에만 남겼습니다.
성운은 같은 시리즈 별들의 가운데에 크고 흐린 빛을 세 겹 겹쳐 만들었습니다. 별 하나하나는 반짝이도록 크기를 조금씩 다른 박자로 키웠다 줄이고, 고른 별은 맥박처럼 더 크게 뜁니다. 움직임 줄이기 설정을 켠 사용자에게는 반짝임, 자동 회전, 카메라 비행을 모두 끕니다.
6. 누르기와 끌기를 구분했습니다
별을 누르면 카메라가 그 별로 날아가고, 이웃 세 편으로 선이 서서히 나타납니다. 그런데 은하를 돌려 보려고 끌었다 놓는 동작도 마지막에는 클릭이 됩니다. 손을 뗀 위치가 마침 별 위였다면, 돌려 보려던 사람이 엉뚱한 별로 날아가 버립니다.
누른 위치와 뗀 위치가 6픽셀 넘게 떨어져 있으면 끌기로 보고 선택하지 않습니다. 별은 화면에서 작게 보이기 때문에, 판정은 눈에 보이는 빛보다 조금 큰 투명 구로 했습니다.
3D 화면은 키보드나 스크린 리더로 쓰기 어렵습니다. 그래서 아래에 시리즈별로 묶은 "별 찾기" 목록을 두었습니다. 목록에서 글을 고르면 마우스로 별을 누른 것과 똑같이 카메라가 날아갑니다. 터치 화면에서는 위아래로 미는 동작을 페이지 스크롤에 돌려주어, 은하 위에서도 페이지가 내려갑니다.