Choose Your Weapon:Survival Strategies for Depressed AI Academics

https://arxiv.org/abs/2304.06035 

Choose Your Weapon: Survival Strategies for Depressed AI Academics

 

Abstract 

AI 종사자인가요? 넵 

점점 커져가는 AI 발전 속도에 불안하고 있는가? 넵 .. 

AI 연구에 필요한 리소스가 상당히 부족하고 제한적이라 생각하나요? 넵 .. 3090

 

본 논문은 현재 상황에서 경쟁력을 갖추기 위한 방법에 대해 논의합니다.

 

Introduction

 

Big AI Enterprise

 OpenAI, Deepmind, meta, google brain 등 다수의 빅 AI 기업들에 속한 AI 연구자들은 gigantic neural net model을 훈련시켜 놀라운 성과를 이루었다... 과연 이 gigantic 훈련을 따라갈 수 있는 연구진이 몇이 될지 상당히 어려운 난관에 대부분의 연구 종사자들이 기술적 한계에 고민에 놓여있다. (컴퓨팅 파워가 당연시 요구되는 문제 지적)

 

NLP ChatGPT vs KoBERT

 ImageNet부터 ChatGPT, GPT-4까지 발전으로 보아 많은 양의 자원은 더 좋은 결과를 낼 수 있다는 것을 보여준다. 오늘날 연구자들이 사용하는 자원과의 격차는 매년 커지고 있다. 아무리 좋은 아이디어를 가지고 있어도 쉽게 할 수 없는 일을 쉽게 할 수 있을 정도의 자원을 가진 사람과의 경쟁은 또 다른 문제이다. (ex, GPT-3 vs LSTM Word2Vec)

 

 논문의 저자는 대학 종신 교수이지만 후배들을 위해 같이 고민 ,, 기만을 하고 있다. 

 

Solution

1 ) Give Up!

 포기는 언제나 하나의 선택지이다. AI를 떠나는 것이 아니라 AI SOTA를 넘는 한계를 넘는 일을 포기하는 것이다. 현재 상황에서 경력을 쌓아 입지를 넓히고 자금을 확보해 기술적 문제를 해결하자! 

 

2 ) Try Scaling Anyway!

 정면으로 가자! CPU와 GPU 리소스 확보를 위한 자금 확보. 클라우드 비용으로 5만 달러를 확보해 대규모 실험을 한다고 가정했을 때 이는 GPT-3의 학습 비용과 비교하면 상당히 적은 금액이다. 최근 마인크래프트에서 다이아몬드 곡괭이를 만드는 법을 학습한 OpenAI Agent는 720 *  V100 GPU를 9일 간 학습을 했으며 이는 수십만 달러에 달하는 금액이다. 유의미한 실험을 하기 위해서는 지속적인 투자와 결과가 있어야 한다. 박사 과정의 학생이 논문 1 저자에 있으려면 소프트웨어적인 기술적 지원이 필수로 필요하다. 하지만 이 두 가지를 갖추기란 불가능하다. (효율적 자금, 인원 관리 필요) 

 

"The structures needed for successful large scale projects are simply not compatible

with the structures of academia."

3 ) Scale Down

 toy problems에 집중하자 - Transformer는 간단한 신경망 모형으로도 해결할 수 있는 문제는 상당히 많다. 적은 리소스 환경의 toy size 프로젝트들은 실제 필드에서 범용으로 사용할 가능성을 보여주므로 유의미한 성과를 낼 수 있다.

4 ) Reuse and Remaster

 지난 10년 동안 AI가 빠르게 발전할 수 있었던 이유는 바로 연구자들이 자신의 코드와 모델을 커뮤니티에 공유했기 때문이다. 대규모 모델을 활용해 시간을 줄일 수 있다. 다만, 대규모 모델의 fine-tuning은 실험하기 어려울뿐더러 좋은 성능을 내기는 어렵다. 

5 ) Analysis Instrad of Synthesis

 "Another thing to do with the publicly available pretrained models is to analyze them."

 

 사전 학습된 모델을 활용해 다른 일을 해보는 것, 새로운 기능에 직접적으로 기여하지는 않더라도 과학에 기여할 수 있다.

예를 들면 Transformer는 누구에게나 직관적인 것이 아니며, 이러한 모델이 학습되는 데이터의 규모는 필드에 있는 사람이 아니고서는 Task에 대한 시간/비용을 추산하기 어렵다. 이해를 돕기 위해 창의적으로 조사하고, 개념적으로 접근해야 하는 일이 많다. 이는 다른 이의 시간을 줄여주고 리소스를 가진 다른 사람에게는 지름길을 안내해 줄 수 있다.

 

 

made by Bing DALL-E

 

 

6 ) RL! No Data! 

강화학습은 데이터(양 적인 측면)를 축소하고 모델링에 집중해서 AI 문제로 접근할 수 있다. 강화학습은 데이터의 가용성, 분석 및 저장 이런 기술적인 프로세스를 우회할 수 있다.(로직이 더 중요하다.) 

 

7 ) Small Models! No Compute!

  모델의 규모를 줄여 리소스를 줄여라. 더 작은 모델을 필요로하는 경우가 많다. 문제를 해결할 가장 작은 모델을 생각해보아라. 이는 실제 어플리케이션에 특히 중요하고 관련성이 높다.

(Toss 자연어 검색 서비스)

https://youtu.be/BLO-P5o8mkg?si=9QHv4-7SxckmYyvS

 

 이처럼 데이터 옆에 네트워크의 엣지에 AI를 배포할 수있다. 이를 "Edge AI"(=ondevice AI)라고 한다. 특정 도메인에서 효과적으로 AI가 기여할 수 있다. 연구를 하다보면 내부 모델에 대한 이해가 부족할 때 돌파구를 찾아 해결하므로 AI 모델 연구에 더 심화 과정으로 갈 수 있다. 작은 모델이 할 수 있는 일을 한계가 있지만 산업 분야에서 이런 연구 방향의 중요성은 계속 증가하고 있다.

 

8, 9 ) Work on Specialized Application Areas or Domains & Solve Problems Few Care About (For Now!)

 입증된 연구 분야를 선택하고 그 안에서 혁신을 찾아라. 아이디어를 완전히 새로운 영역에서 가져와 테스트하는 것은 성공적일 수 있으나, 그 결과가 영역을 넘어 큰 영향을 미치는 경우는 드물다. 틈새 영역이 소수의 연구자들의 노력으로 발전되는 사례는 많다. 현재 게임 업계 커뮤니티는 최신 게임에 AI를 도입하는 대기업은 거의 없기 때문에 이 전략은 유효하다. (논문 저자, 게임업계 강화학습 연구자)

 

 비디오 게임(00년대)에 컴퓨터 비전 연구 커뮤니티가 활성화된 사례를 생각해보자. (IJCAI, AAAI). 커뮤니티를 지배한 Neural Network, Deep Learning은 SVM과 regression model이 RL과 DL에서 다중 Agent 학습과 cognitive/affect model의 발전을 이룬 것과 비슷하다.  컴퓨터 비전에 모두과 관심을 갖고 논문 심사 또한 이를 고려한다면 시기상 영향력을 행사하기 어렵다.  놀라운 변화 속도를 따라가기 어렵다면 특정 도메인에서 자신만의 커뮤니티를 만들어 확장하는 것은 좋은 선택이다.

 

10 ) Try Things that Shouldn’t Work

 소규모 연구는 실험적 증거로는 설명할 수 없는 "Shouldn't work" 실패할 가능성이 높은 것을 할 수 있다. 이는 대기업의 연구실에서는 시도 조차하지 않을 것이다. 실패는 성공과 같이 가치가 있다. 대기업의 실패는 막대한 비용의 손실이지만 소규모의 손실은 위험이 낮다. AI의 많은 중요한 발명과 아이디어는 'wrong' 실패를 통해 나왔다. 특히 이론적으로 작동해서는 안되는 이유가 있음에도 불구하고 연구자들이 신경망 연구에 포기하지 않고 연구한 데서 비롯된다. (Backpropagation ,1985) 

 

제프리힌튼 (2013, DNN)

  역전파 알고리즘을 신경망 네트워크 연구에 적용하며 당시 리소스 문제에도 불구하고 계속해서 연구를 진행하며 2019년 튜링상을 받으며 오늘날 살아있는 위인이 되었다. 

 

11 ) Do Things that Have Bad Options

  대기업에서는 윤리와 이미지에 대한 제약이 많다. 그 예로 평판이 조금이라도 나빠진다면 해고의 위험이 있을 수 있다. 따라서 프로젝트 또한 신중히 설정해야한다. 집단이 작을 수록 자유도는 높아진다. 해고의 그늘에서 벗어나 다양한 프로젝트를 할 수 있다. 특정 작가의 풍으로 글을 생성하는 모델을 만든다고 했을때 대기업의 경우 뉴스 1면에 윤리 문제로 거론될 수 있다. 반대로 소규모의 경우 눈 밖에 있어 안전하다. 이를 이용해 대기업에서 할 수 없는 것들을 해라.

 

google이 흑인을 고릴라로 인식

 

12 ) Start it Up; Spin it Out!

  대규모 연구를 위해서는 대학의 자원만으로는 충분하지 않다. AI 연구를 상용화 할 수 있는 회사를 창업해라. 

논문 저자는 modl.ai를 설립해 제품을 서비스하며 투자를 받아 연구를 진행했다.

https://modl.ai/

modl.ai | AI Engine for game development

 

 2년의 개발 기간을 통해 안정적인 반열에 올랐다. 물론 성공적인 케이스이지만 이후 학계 연구팀 보다 게임업계에 미치는 영향력이 더 커졌다는 사실이 있다.

 

13, 14) Collaborate or Jump Ship! & How Can Large Players in Industry Help? 

  위의 케이스가 적합하지 않다면 대기업과의 협업을 통해 리소스 문제를 해결 할 수 있다. 대기업과의 협력은 성공적인 논문을 발표하는데 도움이 된다. 파트너쉽을 통해 연구 범위를 넓힐 수 있으며 기업 소속으로 편입 될 수도 있다.