인포리언스

더보기 >> 한국의 HCI 연구자들은 어떤 연구를 하고 있을까?

–

“가끔, 특정 분야에 대한 국내의 연구 수준이나 동향을 파악하고 싶을 때가 있습니다. 특정 세부 주제에 대해 국내에서 누가 연구를 하고 있는지 궁금할 때도 있고요. 특히 최근에 국가적인 관심을 받고 있는 인공지능 분야라면 더욱 그러하겠지요.”

더보기 >> 국내의 IT 분야에서는 어떤 연구를 하고 있을까? (1)

“Attention is All You Need” 논문은 2017년 Google Brain 팀에서 발표한 획기적인 연구로, 자연어 처리 분야에 혁명을 일으킨 Transformer 모델을 소개한 논문입니다. 이 논문은 BERT, GPT 등 현대 자연어 처리 모델의 기반이 되는 아키텍처를 제시했다는 점에서 매우 중요한 의미를 갖습니다.

이 글에서는 논문이 발표된 후 이 논문의 1저자인 Ashish Vaswani가 어떤 연구를 하였는지 설명합니다.

더보기 >> “Attention is all you need” 논문의 1저자인 Ashish Vaswani는 그 이후에 어떤 연구를 했을까?

각 시기에 독특하게 나타난 키워드들은 다음과 같습니다.

• 2020-2021: ThingML, DSL(Domain-Specific Language), Pre-trained Language Models, Transfer Learning, Transformer, BERT, GPT
• 2022: Chain of Thought, Few-shot Learners, ChatGPT
• 2023-2024: Multi-modal Input, Privacy and Security, Entropy, Time Series, Quantization, Data Standardization, Sensor data, Positioning accuracy, IoT-LLM, Retrieval-augmented generation

더보기 >> IoT(Internet of Things) 환경에서 NLP(Natural Language Processing)나 LLM(Large Language Model)은 어떻게 활용될까?

Image source : https://www.nobelprize.org/prizes/physics/2024/hopfield/facts/

“John Joseph Hopfield(이하 Hopfield)의 연구는 1980년대부터 2020년대까지 생물학적 시스템과 신경망의 계산 모델(Computational Model)에 초점을 맞추고 있습니다. 초기에는 생물학적 뉴런의 비동기 병렬 처리와 컴퓨터 시스템의 content-addressable memory를 설명했습니다. 1980년대 중반에는 비선형 아날로그 뉴런을 활용하여 최적화 문제를 해결하였고 이를 위한 신경 회로망 기반 계산 모델을 제시했습니다. 1990년대에는 후각 시스템의 동적 패턴을 탐구하며, 생물학적 신경망 시스템의 물리적 특성을 설명했습니다. 2000년대에는 신경망 내부의 spike 타이밍과 동기화 과정에 대한 분석과 후각 시스템 모델링을 통해 생물학적 시스템의 복잡성을 단순화하려 했습니다. 2010년대에는 Dense Associative Memory의 개념과 생물학적으로 타당한 학습 규칙을 제안하며, 신경망의 학습과 기억 저장 방식을 개선하고자 했습니다. 2020년대에는 생물학적 시스템에서 영감을 받은 계산 모델을 통해 효율적이고 실용적인 알고리즘을 개발하는 데 중점을 두고 있습니다. 이러한 연구의 흐름은 생물학적 시스템의 복잡성을 이해하고 이를 계산적으로 모델링하여 다양한 문제를 해결하는 방향으로 발전해 왔습니다.”

더보기 >> 노벨 물리학상 수상자 John Joseph Hopfield : 생물학적 신경망 시스템의 복잡성을 이해하고 계산적으로 모델링하여 다양한 문제를 해결하고자 노력한 연구자.

“2021년에는 게임과 시뮬레이션, 인공지능, 무인 항공기(UAV), 군사 통신과 IoT, 얼굴 인식 등 다양한 기술이 군사 분야에 어떻게 적용될 수 있는지를 탐구했습니다. 특히, 게임과 AI의 연결, 군사 시뮬레이션에서의 AI 활용, UAV의 작전 수행 방법 등이 주목받았습니다. 2022년에는 강화 학습, 군사 드론, 혼합 현실, 분산 기계 학습, 무선 센서 네트워크 등과 같은 기술의 군사적 활용이 강조되었습니다. 특히, 강화 학습을 통한 군사 작전의 전략적 기동, 군사 드론의 군집 활용, 혼합 현실을 통한 군사 훈련 등이 주요 연구 주제였습니다. 2023년에는 AI와 머신러닝의 군사적 중요성, SAR 이미지 분석, 인간-기계 팀, 군사 시뮬레이션의 발전 등이 다루어졌습니다. AI의 전략적 중요성과 군사 시뮬레이션의 능력 향상, 인간-기계 팀의 의미 있는 통제 등이 주요 이슈로 부각되었습니다. 2024년에는 군사 텍스트에서의 이벤트 추출, 자율 AI 에이전트, 소셜 미디어에서의 군사적 입장 감지, 자율 무기 시스템의 위험 등이 논의되었습니다. 특히, AI의 이중 사용 문제, 군사 AI 모델 분석, 하이퍼스펙트럼 이상 탐지 등이 중요한 연구 주제로 떠올랐습니다.”

더보기 >> AI 분야의 논문들에서는 Military 관련 내용을 어떻게 언급하고 있을까?