Представлен новый бенчмарк-датасет и фреймворк Qwen-Image-Bench от Qwen
Проблема заключается в том, что бенчмарки генерации текста в изображение (T2I) сосредоточены на семантическом соответствии и базовом качестве, поэтому они не оценивают реалистичность окружающего мира и творческую выразительность, востребованные профессионалами, а многие конвейеры оценки слепо доверяют мультимодальным языковым моделям (MLLM) как единственным судьям, наследуя их систематические ошибки.
Решением стало создание Qwen-Image-Bench (https://huggingface.co/collections/Qwen/qwen-image-bench), который представляет собой бенчмарк, ориентированный на создателей контента, разработанный совместно с профессиональными художниками и основанный на реальных творческих сценариях. Многоуровневую классификацию построили на 5 столпах первого уровня (Качество, Эстетика, Соответствие, Реалистичность мира, Творческая генерация), 23 подспособностях и 56 проверяемых критериях (гранях) с чёткими рубриками. Эксперты подготовили 1000 двуязычных (китайский/английский) и сбалансированных по длине (500 коротких, 500 длинных) промтов, покрывающих по несколько граней из разных столпов каждый.
Судьёй сделали унифицированную модель Q-Judger на базе Qwen3.6-27B, обученную на 130 000 человеческих оценках от 80 экспертов художественных академий (тройное независимое слепое аннотирование), чтобы она выставляла независимую оценку по каждой из 56 граней (Fail=0, Pass=60, Excel=100, N/A), обеспечивая прозрачные анализы, а не единый непрозрачный балл, достигая высокой корреляции с экспертами-людьми (Spearman ρ=0.92).
В результате протестировали 18 T2I-моделей, и GPT-Image 2 лидирует по общему баллу, а также всем пяти столпам. Наибольшую межмодельную дисперсию (разделение) достигли именно на новых прикладных столпах, таких как реалистичность мира и творческая генерация, где старые бенчмарки не давали различимости. При этом для всей индустрии в гранях "Физической логики", "Анатомической точности", "Животных" и "Контактного взаимодействия" выявили системные потолки, когда даже лучшие модели набирают ниже 44 из-за нехватки неявного знания о мире.
