퍼듀(Purdue) 대학교 연구팀은 오늘날 LLM의 코드 작성 능력이 실제 개발 환경에서 얼마나 유효한지에 대해 의문을 제기했습니다. 기존의 벤치마크인 HumanEval과 MBPP는 단일 코드 라인이나 짧은 함수 작성에 초점을 맞추고 있어 실제 소프트웨어 개발 과정에서 필요한 파일 또는 리포지토리(repository) 수준의 문맥 정보를 충분히 평가하지 못합니다. 연구진은 구체적으로 3가지 이유를 들어 새로운 데이터셋의 필요성을 제기합니다. 함께 살펴볼까요? 🧐

1. 실제 코드 완성(Completion) 작업의 반영이 필요합니다. 기존의 HumanEval과 MBPP와 같은 벤치마크는 주로 인위적으로 제작된 코드 완성 문제들로, 소프트웨어 개발자들이 직면하는 실제 코드 작업을 충분히 대변하지 못합니다.
   
   
2. 현실적인 작업 복잡도를 포함해야 합니다. 단편적으로 이뤄진 알고리즘 테스트와 달리 실제 개발 중에는 여러 함수, 파일, 클래스에 의존하게 되며, 복잡한 문맥을 요구하는 경우가 많습니다. 하지만 기존 벤치마크는 주로 독립적인 단일 코드 조각이나 짧은 함수에 집중하여, 프로젝트 수준의 문맥 이해와 생성 능력을 평가하지 못하고 있습니다.
   
   
3. 신뢰할 수 있는 정확성 평가 기준이 필요합니다. 현재 사용되는 벤치마크들 중 일부는 유사도 기반 평가 지표를 사용하여 모델의 성능을 평가하지만 이 방식은 코드 생성의 정확성을 제대로 반영하지 못하는 경우가 많습니다. 일부 유사한 것과 실제로 동작하는 것은 다르기 때문입니다.

출처: <Can Language Models Replace Programmers? REPOCOD Says ‘Not Yet’> (Liang et al., 2024)

위의 이미지는 실제 정답 테스트 데이터(GT; Ground Truth)와 LLM 생성 데이터를 비교하고 점수로 나타낸 결과입니다. CodeBLEU 벤치마크는 코드 생성 모델의 성능을 평가하기 위해 개발된 지표로, 구문(Syntax)과 문법 준수 여부 등을 평가합니다. 연구진은 위의 예시를 통해 현재 벤치마크가 어떻게 잘못됐는지 설명합니다.

(a)의 경우, CodeBLEU 점수가 58.06점으로 나타납니다. 상당히 낮은 점수로 보이지요? 하지만 실제로 LLM이 생성한 코드는 예측해야 할 코드와 기능적으로 동일합니다. 표현이 다르다는 이유로 유사도 기반 지표가 이를 부정확하게 판단한 것이지요. 반면, (b)의 경우에는 상대적으로 높은 점수를 기록했는데요. 모델이 기대했던 입력값과 다르기 때문에 실제로는 부정확하게 작동할 것입니다. 하지만 구문이 유사하다는 이유로 높은 점수를 기록했지요. 이처럼 코드를 파악할 때는 단순히 구문을 평가하는 점수에 의존할 것이 아니라 전체적인 맥락과 실제 사용성을 고려해야 합니다. 

AI가 사람을 대체할까요? 코딩하는 AI가 존재하더라도 구체적인 목표와 실제 평가는 인간의 영역입니다. AI와 인간이 각자 잘할 수 있는 영역은 다르고 각자의 위치에 맞는 목표가 있지요. 

아직은 AI가 인간만큼 코드를 생성하지 못하지만, 새로운 벤치마크와 데이터가 누적되고 있습니다. 하지만 새로운 구조, 더 효율적인 제안 등을 하는 데 있어서 인간은 명확한 역할이 있는데요. AI가 아무리 발전해도 인간은 또 다른 역할을 찾을 수 있을 것만 같습니다.

: 네이버가 11일 개발자 컨퍼런스 '단 24'를 개최하며 중장기 AI 전략을 발표했습니다. 네이버 대표는 ‘온 서비스(On-Service) AI’ 전략을 통해 사용자 경험을 개인화하고 비즈니스 성과를 극대화하겠다고 밝혔는데요. AI를 활용하여 각종 서비스에 새로운 가치를 부여하고, 사용자의 일상 속에 자연스럽게 통합되겠다는 목표입니다.

LGU+, AI 비서 ‘익시오’ 공개

: LG유플러스가 AI 통화 에이전트 서비스 '익시오'를 출시했습니다. 통화 대리 수행, 보이스피싱 감지 등의 기능을 제공하고, 가전제품에도 적용될 예정입니다. '익시오'는 모바일에서 운영되며, 데이터를 서버로 전송하지 않고 기기에서 처리하는 보안 강점을 가집니다. 

AI 검색 시장 ‘전면전’

: OpenAI가 GPT-4o를 기반으로 ChatGPT에 검색 기능을 추가하여 실시간 웹 검색 및 최신 정보 기능을 제공합니다. 이 새로운 기능은 사용자가 뉴스, 날씨, 주가 지표, 스포츠 경기 결과 등을 직접적으로 조회할 수 있게 해주며, 관련 출처 링크를 통해 추가 정보에 접근할 수 있도록 하는데요. OpenAI에서 베타 서비스로 제공되는 ‘SearchGPT’는 현재 ChatGPT Plus 및 팀 버전 사용자에 한해 이용할 수 있으며, 추후 일반 사용자를 대상으로 공개될 예정입니다.