[2025] #1 2024 회고.

2024

새해가 되고 그동안 작업해오던 논문을 갈무리함에 따라 간만에 휴일다운 휴일을 보내고 있다.

아침부터 드라마도 몰아보고 (스토브리그 꿀잼) 롤도 한판 하고 나니 그동안 잊고 있었던 블로그가 생각났다. 지금 시간은 오후 1시 27분. 아니, 28분. 그새 1분이 지났다.

 

대학원에 입학할 때는 하고싶은게 많았다. 내가 참고하는 다른 블로그들 처럼 논문 리뷰를 열심히 하고 싶기도 했고, 블로그를 꾸준히 운영하고 싶기도, 또 논문 리뷰를 단순히 블로그에 올리는게 아니라 유튜브에 올리고 싶기도 했다.

 

내가 공부하는 "컴퓨터 시스템" 특히 그 중에서도 "컴퓨터 아키텍처"분야는 아직 우리나라에서 활발한 분야가 아니다. 나의 교수님 시절보다 사람은 많이 늘었지만 여전히 전국적으로 교수님들과 대학원생도 많지 않고, 그래서 공부할 소스가 매우 적다. (물론 해외 소스는 매우 많다.)

 

그렇기에 더더욱 내가 그 역할을 할 수 있기를 바랐다. 요새 AI 가속 분야는 활발히 연구가 진행되곤 하지만, 나와 같은 메모리 시스템 연구자는 더 적기 때문이다. 

 

하지만 나의 적당한 게으름 때문에, 많은 것을 하기도 했고, 못하기도 했다.

논문은 많이 읽었으나, 블로그에 리뷰는 하지 못했다.

주말에도 연구실에 있었지만, 연구를 깊게 하진 못했다.

이론을 공부하고 논문을 읽느라, 프로그래밍 실력은 늘지 않았다.

 

졸업이 6개월 남은 시점. 지금 완성해가는 논문이 발빠르게 Accept 되는 것 만큼이나 바라는 것은 없다. 하지만 Accept이 되건 말건, 그 다음 뭘 해야 할까?

 

아마 대기업에 간다면 98%확률로 퇴사할 것이다. 난 돈보다는 흥미와 가치를 따라 움직이는 타입이고, 형누나들과 친구들이 회사에 대한 이야기를 할 때면 그들의 생활 이야기에서 벌써부터 흥이 식어버린다. 

 

사실 기업에 가느니 학교에 가느니, 그런건 별 중요한건 아니다. 중요한건 내가 어떤 목표가 있고 무엇을 하고 싶어 하는지다. 직업이란 그게 맞춰 선택하면 되는, 중간에 갈아끼우면 되는 그런 것에 불과하니까.

 

그러니까 올해에는 다음 스텝을 위한 기반을 다지는 시기, 그런 시간을 보내고 싶다.

---

AI Optimization Research

대학원 석사 과정 1년 6개월째, 나는 메모리 아키텍처 위주의 연구를 하고 있다.

• 첫번째 연구는 CXL 메모리 시스템 시뮬레이션을 구현하고, 성능을 테스트 해보는 연구였다. CXL 메모리는 글을 쓰는 시점까지도 직접 사서 써볼 수 있는 공식 Product가 없는 차세대 프로토콜이다. 즉, 이 프로토콜이 실제 산업에 쓰일지 아닐지는 모르는 것. 나는 CXL 메모리 프로토콜을 시뮬레이터로 구현하고 SPEC Workloads를 통해 성능과 대역폭을 분석해보는 실험으로 첫 논문을 썼다.
• 두번째 연구는 Processing-in-Memory로, On-device의 스펙을 고려하여 저비용으로 추론을 빠르게 하는 LPDDR5-based PIM 메모리 시스템에 관한 연구였다. 이는 AI(SLM) inference가 타겟이므로, GEMV (대부분의 PIM은 GEMV를 타겟으로 한다) 가속을 할 때 필요한 PIM 구성의 비용을 줄이고, 연산 흐름을 최적화하여 성능 향상을 달성했다.

연구자는 관련 연구분야가 어떻게 흘러갈지 몸으로 느끼고 다음 연구를 위해 내다보는 눈을 가지고 있다. 내가 보기에 CXL은 아직까진 자리를 잡지 못한 프로토콜이고, PIM 또한 Programmability의 제약으로 인하여 실제 기업들이 채택할지 의문인 기술이다. Programmability란 얼마나 쉽고 용이하게 사용할 수 있는지를 의미한다.

 

둘 다 아직은 연구 단계인 기술들이니 말이다.

 

내가 이러한 연구를 하는 동안 세상은 다른 방식으로 발 빠르게 진화하고 있었다.

1. 각종 비디오 생성형 AI: OpenAI-Sora / Google-Veo2 
2. Google/Ionq 양자 컴퓨
3. 테슬라 옵티머스 휴머노이드
4. 중국 물리 AI 엔진 Genesis
5. 중국 LLM Deepseek의 약진
6. 중국 로봇 스타트업 유니트리의 로봇개 (강을 거꾸로 오르는 ...)
7. Apple-VisionPro / Meta-Orion 등의 XR Platform 등

그 밖에도 엄청나게 많은 뉴스들이 있었지만, 이들의 모든 공통점은 "AI". AI 기반의 신기술이라는거다.

 

AI는 앞으로도 일상에 깊숙히 스며들거고, AI를 발 빠르게 쓰지 않으면 뒤쳐질 것이다. 사실 나도 두번째 연구 주제를 고민할 즈음에 Sora가 Technical paper 만 먼저 나왔고 (서비스는 아니었다), Diffusion-Transforer 기반이라는 이야기들이 오가기 시작하며, 3D-비디오 생성형 AI 워크로드를 분석해보고 최적화 하는 연구를 하고 싶었다.

 

하지만, 선배도 없었고 그동안 공부해오던 분야가 아니었기 때문에 1년 남짓한 석사 생활과 졸업 요건을 채우기 위해 SCI를 써야 하는 입장에서 다소 도박인 감이 없지않아 있었다. 결국, 비교적 안전한 주제인 메모리로 선회했다. 

 

그러면서도 난 꾸준히 AI 트렌드는 따라가려고 노력하고 있었고, 2024년 말 부터는 다시 AI 공부를 시작했다. 내 지식은 multi-head attention에 멈추어 있었는데, GQA/MQA 부터 시작해서, LoRA/QLoRA/Flashattention 등의 최적화 기법들을 공부하고 있고 나아가 최신 AI 트렌드와 최적화 기법들도 꾸준히 공부할 예정이다.

 

내가 생각하기에 1) 일단 AI 에 탑승하는 것이 맞고, 2) 내가 AI 모델을 개발하는 사람은 아니기에, 3) AI Optimization 관련 연구들을 하고 싶다는 생각이다. 그리고 결국 Optimization은 AI Model에 영향을 주기 때문에, 내가 모델을 개발하진 않지만 최적화 연구는 모델 연구이기도 하다.

 

여튼, 올해 그리고 나아가 다음 연구들에서는 AI 훈련/추론, Emerging AI Models and PIM 관련 연구들을 진행하고 싶다.

---

지식 공유

나는 취미가 많지만 즐기는 것은 많이 없는데, 남들 앞에서 발표하고 지식을 공유하는건 즐거워 한다.

 

매번 블로그 글을 쓰다가도 너무 깊게 들어가, 지우고 다시 쉽게 쓰고 반복하길 일쑤다. 그렇다 결국 못올리고. 올해는 읽는 논문 족족 블로그에 리뷰를 올리고 싶다. 그리고 박사에 진학하게되면, 유튜브도 시작하고 싶다.

 

논문이 아니여도 올리고 싶은 글은 많다. CXL/PIM 에 관한 제대로된 이야기를 논의하는 한국어 글이 거의 없기도 하고, NPU나, AI 가속에 관해서도 마찬가지다.

 

참, 리뷰를 잘 못올리는 이유도 너무 자세하게 쓰려는 것이 한 몫 한다. 간단하게 쓰려고 한다면 금방 쓰는데 각 잡고 쓰려니... 너무 오래 걸린다. 흠, 리뷰를 어떻게 써야 나도/읽는 사람도 쉽게쉽게 갈 수 있을지 형태를 고민좀 해봐야겠다. 

---

Deep dive into C++/Python

다른 분야는 모르겠는데, 컴퓨터 아키텍처를 연구할 땐 시뮬레이터를 주로 이용한다. 시뮬레이터란 보통 C++/Python을 이용하는데, 컴퓨터 모듈들을 Class 형태로 엮어 모사한 것이다. 즉, 고도의 프로그래밍 수준을 요구하진 않는다.

 

그리고 매번 비슷한 코드들만 보다보니 C++/Python 최신 문법도 당최 모르겠어서 올해는 C++/Python을 다시 한 번 살펴보려고 한다. 당연히 기초 수준을 이야기하는건 아니고, C++17/20 그리고 Python 3.10 이상의 문법들 이야기다.

 

Rust도 고민을 해보았는데, 지금 당장 Rust를 쓰진 않기 때문에 그건 추후에 쓰게 되는 상황이 오면 공부해도 늦지 않을 것 같다. 

 

---

In-bound

내 삶의 최종 목표는 내 이상의 실현이다. 내 이상 이란, 대한민국을 강하고 올바르게 만드는 데 기여하는 것이고, 그 방법은 한국 기조와는 다른 거대 기업을 세우는 것 밖에 없다고 생각한다.

 

왜 기업일까, 한국의 여러 사회적 이슈들을 한 문장으로 정리할 수는 없고 그 문제를 해결하는 단일한 방법도 제시할 순 없겠지만, 크게 보았을 때 대부분의 사람은 좋은 대학을 졸업하고 좋은 기업에 취직하길 원하고, 기업은 대한민국의 국력을 강하게 만들기 위해 다양한 정치적 이슈와 얽히고 설킨다.

 

만약 어떤 기업이 우리나라 시총 1위는 물론이고 세계 Top10 에 든다면, 우리나라는 그 기업을 중심으로 문화가 조성이될 수 밖에 없다. 

 

그 기업은 적대적 M&A를 하지도 않고, 문어발식 기업 운영을 하지도 않으며, 세습 구조를 갖지도 않는다. 인재를 뽑는 방식도 더욱 유해질 거고 제품 라인을 단순하지만 강력하게 비전과 가치를 중심으로 꾸릴 것이다. 

 

내가 생각하는 문화의 변화가 내 시대에 일어날 것이라고 기대하진 않는다. 다만, 비관적인 한국의 미래를 보고있자니 가만히 있을 수는 없는 노릇이다.

 

솔직히 주변에 나와 같은 생각을 가진 사람들이 얼마나 많은지 모르겠다. 그리고 생각은 다르더라도 목표, 목표만 일치한다면 공생하는것은 가능하다.

 

박사를 하든, 창업을 하든 나의 다음 스텝은 더욱 나와 같은 사람들이 모인 곳으로 가는 것이다.