인포리언스

“Spiking Neural Network(SNN)는 뇌의 신경 활동을 모방하여 정보를 처리하는 신경망 모델로, 전통적인 인공 신경망과 달리 이진 스파이크를 통해 정보를 전달하며, 시간적 및 공간적 동적 특성을 활용합니다. 이러한 특성 덕분에 많은 연구들이 SNN이 기존의 Artificial Neural Networks(ANNs)와 비교하여 에너지 효율성, 생물학적 타당성, 그리고 특정 작업에서의 성능 향상 가능성을 보인다는 점을 언급하고 있습니다. 그러나 SNN의 훈련과 구현은 여전히 도전적인 과제로 남아 있으며, 다양한 방법론과 아키텍처가 제안되고 있습니다.”

더보기 >> AI 분야의 논문들에서는 Spiking neural network에 대해 어떤 이야기를 해왔을까?

닮았으면 좋겠는데… +_+

Geoffrey Hinton의 연구는 2020년부터 2023년까지 인공지능과 머신러닝 분야에서 다양한 혁신적인 접근법을 제시하고 있습니다. 2020년에는 딥러닝 모델의 효율성과 성능을 향상시키기 위한 다양한 기술들을 소개하였습니다. 예를 들어, 큰 모델의 지식을 작은 모델로 전이하는 “Knowledge Distillation”, 데이터 증강을 활용한 “SimCLR” 등의 방법을 제안하였습니다. 2021년에는 신경망의 해석 가능성을 높이기 위한 GLOM과 객체 탐지를 언어 모델링으로 변환한 Pix2Seq를 소개하였습니다. 2022년에는 의료 인공지능의 데이터 효율성을 높이는 REMEDIS와 다양한 비전 작업을 통합하는 픽셀-시퀀스 인터페이스 등을 제안하였습니다. 2023년 이후의 연구들은 AI의 급속한 발전과 그로 인한 사회적 영향, 특히 자율적인 AI 시스템의 위험성에 대한 경고가 주를 이루었습니다.

더보기 >> 노벨 물리학상 공동수상자인 Geoffrey Everest Hinton는 최근 AI분야에서 어떤 연구에 참여했을까?

Google DeepMind의 CEO인 Demis Hassabis가 3차원 단백질 구조 예측과 관련한 업적으로 노벨 화학상을 공동 수상하였습니다. DeepMind라고 하면, 이세돌 9단과 대국을 하였던 AlphaGo를 떠올리게 되는데요, 2020년부터 최근까지 Demis Hassabis는 인공지능 분야에서 어떤 연구를 수행했는지 알아보겠습니다.

이 글은 2020년 이후 AI관련 분야의 Arxiv에 업로드된 논문들 중에서 Demis Hassabis가 참여한 논문들을 바탕으로 작성하였습니다. 따라서 Demis Hassabis의 모든 연구업적을 설명하는 것은 아님을 미리 밝혀둡니다.

더보기 >> 노벨화학상 공동수상자인 DeepMind의 Demis Hassabis는 AI분야에서 어떤 연구에 참여했을까?

2020년부터 2024년까지 Knowledge Graph는 Retrieval-Augmented Generation(RAG) 과정에서 중요한 역할을 수행하며, 그 활용 방식이 진화해 왔습니다. 초기에는 Knowledge Graph를 통해 RAG 모델이 더 많은 배경 지식을 활용하고, 정보 보강과 추론 지원을 받았습니다. 2021년에는 엔티티와 관계의 구조화된 표현을 통해 자연어 이해와 질문 응답 시스템에서 성능을 향상시켰습니다. 2022년에는 Knowledge Graph Embeddings를 사용하여 불완전한 정보를 보완하고, 구조적 정보와 텍스트 정보를 통합하여 새로운 지식을 예측하는 데 집중했습니다. 2023년에는 대형 언어 모델과 결합하여 정확한 정보 검색과 지식의 보완을 통해 LLM의 답변 생성 능력을 강화했습니다. 2024년에는 GraphRAG와 같은 접근법을 통해 구조적 정보를 활용한 정밀 검색과 응답 생성에 초점을 맞추며, Knowledge Graph와 웹 검색의 통합을 통해 RAG의 성능을 극대화했습니다. 전체적으로 Knowledge Graph는 RAG 과정에서 지식의 구조화, 정보 검색, 지식 보완 및 확장에 핵심적인 역할을 수행하고 있습니다.

더보기 >> Knowledge Graph는 RAG 과정에서 어떤 역할을 수행할까?