원문: Are AI labs pelicanmaxxing? by Dylan Castillo — Simon Willison's Weblog (2026-07-22) 번역일: 2026-07-26
사이먼이 오랫동안 비공식 벤치마크로 써온 "자전거 타는 펠리컨 그리기" 테스트를 두고, AI 랩들이 실제로 이 특정 조합(펠리컨+자전거)을 잘 그리도록 일부러 학습시킨 것 아니냐는 의혹이 종종 제기돼 왔다. Dylan Castillo가 이 질문을 제대로 파고든 글을 썼다.
Dylan은 동물 8종 × 탈것 6종 = 48개 프롬프트를 만들어, GPT-5.6 Terra·Claude Sonnet 5·Gemini 3.5 Flash·Grok 4.5·Qwen3.7-Max·GLM-5.2·DeepSeek V4 Pro 등 7개 모델에 각각 3회씩 돌렸다. 이후 GPT-5.6 Luna와 Gemini 3.1 Flash-Lite를 평가자로 활용해 결과를 채점했다.
결론적으로 테스트한 모델들에서 "펠리컨맥싱"의 증거는 찾지 못했다:
- 자전거 탄 펠리컨 그림이 다른 조합보다 특별히 낫지 않았다.
- 랩들이 펠리컨을 더 잘 그리는 것도 아니었다.
- 자전거를 더 잘 그리는 것도 아니었다.
- 난이도를 보정해도 "펠리컨+자전거" 조합이 특별히 나은 랩은 없었다.
- 장면 자체가 암기된 것처럼 보이지도 않았다.
다만 GLM-5.2가 그나마 가장 근접한 사례였다 — 펠리컨+자전거 조합에서 가장 큰 점수 상승을 보였고, 첫 샘플이 눈에 띄었지만, 효과가 작고 통계적으로 유의하지 않아 크게 의미 부여할 정도는 아니라고 결론지었다.
핵심 요약 (10줄)
- 사이먼의 "자전거 타는 펠리컨 그리기" 벤치마크가 AI 랩들의 의도적 학습 대상 아니냐는 오랜 의혹이 있었다.
- Dylan Castillo가 이를 체계적으로 검증하는 글을 발표했다.
- 동물 8종 × 탈것 6종 = 48개 프롬프트를 설계했다.
- GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro 7개 모델을 각 3회씩 테스트.
- GPT-5.6 Luna와 Gemini 3.1 Flash-Lite로 결과를 평가했다.
- 결과: 펠리컨+자전거 조합이 다른 동물+탈것 조합보다 특별히 낫지 않았다.
- 랩들이 펠리컨이나 자전거를 개별적으로 더 잘 그리는 경향도 없었다.
- 난이도 보정 후에도 펠리컨맥싱의 증거는 없었다.
- 유일한 예외 후보는 GLM-5.2였지만 통계적으로 유의하지 않았다.
- 결론: 현재까지는 "펠리컨맥싱"이 실재한다는 근거는 없다.