클릭 >> Hello, world !! (from ShadowEgo)

들어가며…

지난 포스트 (기술 흐름의 탐지와 분석 (1))[1]에서는 단일 기술 키워드를 바탕으로 기술 변화의 흐름을 분석했었다. 이번 포스트에서는 인공지능과 관련된 중요한 응용과 세부 기술들 사이의 상관성의 변화를 정량적으로 측정해 보자. 이러한 측정 결과를 통해서는, 특정 응용에 대해 이해하거나 해당 응용을 구현하고자 할 때, 어떠한 세부 기술을 시작점으로 삼아야 하는가에 대한 기초적인 정보를 얻을 수 있을 것이다.

데이터와 실험 방법

이번 실험에서는 2012년부터 2019년 9월까지 Arxiv[2]에 업로드된 Computer Science 분야의 논문들의 abstract를 수집, 활용하였다. 전체 분석과정은 preprocessing, modeling, postprocessing 으로 구성된다. 인포리언스는 내부적으로 Fasttext[3], Latent Dirichlet Allocation[4], 그리고 BERT[5]와 같은 transformer 모델의 장점들을 적절히 융합하여 활용하고자 다양한 실험을 진행하고 있는데, 이번 포스트의 결과는 해당 연구과정에서 나온 가장 기초적인 버전을 활용한 것이다. (따라서, 연구가 진행됨에 따라 더 새로운 연구결과가 나올 수 있다는 점을 미리 밝혀둔다.)

응용과 세부 기술 사이의 상관성은 100점 만점으로 표시하였으며, 하나의 응용에 대해 여러가지의 세부 기술들이 높은 점수를 받을 수도 있는 구조이다.

응용과 세부 기술 사이의 관련성

응용 분야마다 해당 분야를 대표하는 기술이 있으며, 대표 기술은 기술의 발전과정에서 다른 기술에 의해 대체되기도 한다. 특정 기술이 오랜 기간 동안 대표 기술의 자리를 놓치지 않는 경우도 있고, 새롭게 나타난 기술과 융합되기도 한다.

그림 1은 2016년 이후의 robot 응용 분야과 reinforcement learning 기술과의 상관성을 보여준다. 이 그림에 의하면 최근 4년 동안 reinforcement learning 기술은 robot 응용 분야에서 중요한 위치를 계속 유지해 왔다. 사실, reinforcement learning 의 태동은 꽤 오래 전이며, 최근에 인공지능 기술에 대해 폭발적으로 관심이 높아지기 전부터 꾸준히 활용되어 왔다.

Bert[5]는 2018년에 구글에 의해 제시되었으며, recurrent networks 중심의 language modeling 분야의 연구를 transformer 중심으로 이동시키는데 가장 큰 역할을 한 기술이다. 그림 2에서 확인할 수 있는 바와 같이, language 분야와 Bert와의 상관성은 2018년에 시작되어 2019년에는 가장 높은 수치를 나타낸다. 최근에는 language 분야를 넘어 다른 분야들에서도 활용되고 있는데, 이와 관련된 수치는 아래에서 일부 확인할 수 있다.

딥러닝 기술의 폭발적 응용이 이루어지기 전까지 Hidden Markov Model [6] 은 음성인식 분야를 대표하는 세부 기술의 자리를 차지하고 있었다. 그러나 최근에는 딥러닝 관련 기술들에게 점차적으로 자리를 내어주는 추세인데, 그림 3에도 그러한 추세가 조금씩 나타나고 있다.

본격적인 결과

이제 본격적으로 이번 실험의 결과를 살펴보자. 응용 분야는 모두 8개를 골랐고, 각 응용 분야와의 상관성을 측정할 세부 기술은 총 6개를 선택했다. 상관성은 2012년부터 2019년까지 8년 동안의 흐름을 1년 단위로 측정하여 해가 바뀌면서 어떻게 변화하는지 확인해 본다. 이번 포스트에서 분석 대상으로 선택한 응용 분야와 세부 기술들은 다음과 같다.

응용 분야 : Robot 응용, Chatbot 응용, Drone 응용, Medical 응용, Driving 응용, Face detection 관련 응용, Anomaly 탐지 관련 응용, Translation 응용

세부 기술: Convolutional Neural Networks (CNN), Variational Autoencoder (VAE), Reinforcement Learning, Recurrent Neural Networks (RNN), Generative Adversarial Network (GAN), Bert.

그림 4를 보면, Robot 응용 분야에서는 Reinforcement learning 이 초강세를 보이고 있음을 알 수 있다. 이러한 강세는 2012년 이후에서 현재에 이르기까지 거의 변화가 없을 정도이다. 2014년부터 2018년 사이에는 CNN도 강세를 보였으나 2019년에는 많이 약해졌다. RNN은 2014년에 강세를 보인 이후에는 전체적으로 상관성이 하락하고 있으며, GAN과 VAE가 2016년에 잠시 크게 나타났으나 강세를 유지하지는 못한 것으로 보인다.

잠정적으로 결론을 내 보자면, Robot 응용 분야에서 활용되는 인공지능 기술에 대한 이해를 얻기 위해서는 Reinforcement learning 에 대해 먼저 알아보는 것이 바람직할 것이다.

그림 5를 통해서는 chatbot 응용에서도 Reinforcement learning 의 상관성이 높다는 점을 확인할 수 있다. 2016년 이후부터는 RNN과 GAN의 상관성이 많이 나타났다. 2018년 이후에는 Bert 가 나타나자마자 Reinforcement learning 과 비슷한 상관성을 보였다는 점이 매우 흥미로운데, chatbot 응용이 language model을 기반으로 구현될 수 있다는 점을 고려할 때 당연한 현상일 것이다.

Chatbot 응용 분야에서의 인공지능 기술에 대한 이해를 얻기 위해서는 Reinforcement learning 및 최근에 등장한 Bert와 같은 transformer 모델에 대해 알아보는 것이 중요할 것이다.

그림 6을 통해서는, drone 응용에서는 CNN과 RNN이 전체적으로 강세를 보였고, 최근에 들어서 Reinforcement learning 과 GAN의 상관성이 크게 높아졌음을 알 수 있다.

그림 7을 통해서는 medical 응용 분야에서 전체적으로 CNN이 강세를 보였고, 2016년 이후부터는 GAN의 상관성이 크게 높아졌음을 확인할 수 있다. 흥미로운 것은 2018년 이후에 나타난 Bert의 상관성이 높게 나타났다는 점인데, medical 분야에서 Bert가 어떻게 활용되는지에 대해 알아보는 것은 매우 흥미로운 작업이 될 것이다. 2019년의 데이터를 보면, medical 분야에서는 거의 모든 세부기술들의 상관성이 골고루 나타났다.

따라서, Medical 응용 분야에서의 인공지능 기술에 대한 이해를 얻기 위해서는 세부 응용에 따라 알아보아야 할 세부 기술들이 달라질 것이라는 잠정적인 결론을 내릴 수 있다.

그림 8을 통해서는 driving 관련 응용에서는 예상했던 대로 Reinforcement learning 의 상관성이 가장 높음을 확인할 수 있다. 2016년 이후에는 CNN, GAN, VAE의 상관성도 높아졌는데, 세부 응용에 따라 구체적인 세부 기술의 내용이 달라질 것으로 보인다.

그림 9를 통해서는 face detection 관련 응용에서 CNN이 가장 강한 상관성을 보였고, 2016년 이후부터는 GAN과 VAE의 역할이 매우 커졌음을 알 수 있다.

그림 10을 보면, Anomaly detection 관련 응용에서는, 2016년 이전에는 Reinforcement learning 과 CNN이, 2016년 이후부터는 VAE와 GAN의 상관성이 크게 나타나고 있다.

사실 Anomaly detection 은 데이터에 따라 활용할 세부 기술이 달라지므로, 다양한 세부 기술이 활용될 수 있는데, Bert를 제외한 거의 모든 세부기술들의 상관성이 높게 나타나고 있음을 2019년의 데이터를 통해 확인할 수 있다.

Anomaly detection 응용 분야에서의 인공지능 기술에 대한 이해를 얻기 위해서는 세부 데이터에 따라 알아보아야 할 세부 기술들이 달라질 것이다.

그림 11을 통해서는, translation 분야에서는 다른 분야와는 달리 RNN의 상관성이 높은 점수를 유지하고 있음을 확인할 수 있다. 그리고 2017년 이후에는 거의 모든 기술들의 상관성이 고루 분포하고 있고, 2018년 이후부터 Bert가 등장하자마자 상관성이 크게 나타났다. Translation 분야가 language modeling 과 밀접한 관계가 있고, Bert가 language modeling 분야에서 가장 먼저 활용되었음을 생각해 보면 당연한 결과일 것이다. 그림 11만 보면, translation 분야에서는 reinforcement learning이 Bert에게 자리를 물려준 듯 해 보이는데, 확실한 결론을 내려면 2019년 이후의 데이터를 지속적으로 확인해 봐야 할 것이다.

실험의 결론과 한계, 그리고 향후 발전 방향

이번 포스트에서는 인공지능의 응용 분야와 세부 기술의 상관성을 정량적으로 분석한 초기 결과를 제시해 보았다. 실험 결과를 통해 각 응용 분야의 대표적인 세부 기술의 내용과 시간에 따른 세부 기술의 변화의 흐름을 확인해 볼 수 있었다. 일부 기술은 특정 응용 분야에서 강세를 보이기도 하고, 여러 응용 분야에서 고루 활용되고 있는 세부 기술도 있었다. 특히, 2018년에 새로 등장한 Bert와 같은 transformer 모델이 앞으로 얼마나 다양한 분야에서 어떻게 활용될 지 사뭇 궁금해진다.

사실 세부 기술 분야 및 응용 분야들도 서로 독립적으로 존재하는 것이 아니라 밀접하게 관련되어 있다. 예를 들어 Convolutional layer를 기반으로 GAN과 VAE를 구성할 수 있고, RNN과 CNN도 융합할 수 있다. Medical 응용에서 anomaly detection 기술이 활용되기도 한다. 따라서, 이번 실험에서 응용 분야를 구분한 방식이 올바른 접근 방법인가에 대해서는 의문의 여지가 있을 수 있다.

인포리언스는 기술 변화의 흐름을 정량적으로 측정하기 위한 방법을 지속적으로 연구하고 있으며, 정확한 측정 방법을 개발하기 위해 연구를 진행하고 있다. 또한 논문의 제목이나 초록 뿐만 아니라 각 논문의 본문까지 활용 대상에 포함시킨 분석도 시도하고 있다. 본문의 상세 내용까지 분석 대상에 포함시킬 경우, 더욱 세부적인 분석 결과를 만들어 낼 수 있을 것으로 기대하고 있다.

References

• [1] https://inforience.net/2018/03/05/technologytrends1kor/
• [2] https://arxiv.org/
• [3] https://arxiv.org/abs/1607.04606
• [4] http://jmlr.csail.mit.edu/papers/v3/blei03a.html
• [5] https://arxiv.org/abs/1810.04805
• [6] http://ai.stanford.edu/~pabbeel/depth_qual/Rabiner_Juang_hmms.pdf