최근 트위터를 중심으로 ChatGPT, 정확히는 ‘GPT-4 성능이 시간이 지남에 따라 악화되고 있다’는 주장이 화제가 됐습니다. 기존에도 GPT가 느려졌다는 반응은 일부 충성 유저들 사이에서 흔히 오가던 이야기였습니다. 하지만 최근 아카이브(Arxiv)에 GPT-4의 3월 버전과 6월 버전의 성능을 분석한 논문 'How Is ChatGPT’s Behavior Changing over Time?'이 올라오며 더욱 퍼지게 되었습니다. 6월에 측정한 성능은 3월보다 눈에 띄게 낮았습니다.

아카이브에는 아직 정식 심사를 거치지 않은 논문들도 많이 올라옵니다. 트위터에는 해당 논문의 방법론이 정확하지 않다며 '너무 성급히 인용했다'는 스레드도 있습니다. 하지만 논문 작성자들의 이력을 보면 아주 근거 없는 현상은 아닌 듯합니다. 논문 저자 Lingjiao Chen, Matei Zaharia, James Zou은 스탠포드 대학과 UC 버클리의 연구자들로, 특히 Matei Zaharia는 약 40조의 기업가치를 인정받은 기업 'Databricks'의 공동창업자이자 CTO입니다.