Источник A
GPT-4o System Card
openai.com
https://openai.com/index/gpt-4o-system-card/
Сравнение
Победитель: Источник B выглядит менее манипулятивным
Источник B выглядит менее манипулятивным, чем источник A, в рамках этого нарратива.
Источник B
OpenAI says GPT-5 hallucinates less — what does the data say?
mashable.com
https://mashable.com/article/openai-gpt-5-hallucinates-less-system-card-data
Темы
Мгновенный вердикт
Менее предвзятый источник: Источник B
Более эмоциональная подача: Источник A
Более односторонняя подача: Источник A
Более слабая доказательная база: Источник A
Более манипулятивная подача: Источник A
Конфликт нарративов
Основной нарратив источника A
Источник связывает развитие событий с экономическими ограничениями и ресурсными интересами.
Основной нарратив источника B
В материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Ключевое различие
Контраст позиций: связывает развитие событий с экономическими ограничениями и ресурсными интересами; альтернативный ракурс — в материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Позиция источника A
Источник связывает развитие событий с экономическими ограничениями и ресурсными интересами.
Уверенность позиции: 75%
Позиция источника B
В материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Уверенность позиции: 56%
Центральный конфликт позиций
Контраст позиций: связывает развитие событий с экономическими ограничениями и ресурсными интересами; альтернативный ракурс — в материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Почему эта пара подходит для сравнения
- Тип кандидата: Альтернативная подача
- Качество пары для сравнения: 55%
- Оценка совпадения сюжета: 32%
- Оценка контраста: 75%
- Сила контраста: Сильное сравнение
- Сила контраста позиций: Высокая
- Совпадение сюжета: Связь по теме умеренная. URL-контекст указывает на один эпизод.
- Сигнал контраста: Контраст позиций: связывает развитие событий с экономическими ограничениями и ресурсными интересами; альтернативный ракурс — в материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Ключевые утверждения и доказательства
Ключевые утверждения в источнике A
- JEvaluations in this section were run on a fixed, randomly sampled subset of examples, and these scores should not be compared with publicly reported benchmarks on the same task.
- BSpanning self-reported domains of expertise including: Cognitive Science, Chemistry, Biology, Physics, Computer Science, Steganography, Political Science, Psychology, Persuasion, Economics, Anthropology, Sociology, HCI…
- Schmidt, “Ai will transform science.” https://www.technologyreview.com/2023/07/05/1075865/eric-schmidt-ai-will-transform-science/(opens in a new window), 2023.
- The model should only produce audio in that voice.
Ключевые утверждения в источнике B
- Reasoning models are said be more accurate and less hallucinatory because they apply more computing power to solving a question, which is why o3 and o4-mini's hallucination rates were somewhat baffling.
- It didn't take long for users to find GPT-5 hallucinationsBut despite reported overall lower rates of inaccuracies, one of the demos revealed an embarrassing blunder.
- And according to the GPT-5 system card, the new model’s hallucination rate is 26 percent lower than GPT-4o.
- Mashable Light Speed That said, GPT-5 hallucinates less than previous models according to its system card.
Текстовые доказательства
Доказательства из источника A
-
ключевое утверждение
Schmidt, “Ai will transform science.” https://www.technologyreview.com/2023/07/05/1075865/eric-schmidt-ai-will-transform-science/(opens in a new window), 2023.
Ключевое утверждение, на котором строится подача материала.
-
ключевое утверждение
JEvaluations in this section were run on a fixed, randomly sampled subset of examples, and these scores should not be compared with publicly reported benchmarks on the same task.
Ключевое утверждение, на котором строится подача материала.
-
эмоциональная лексика
https://openai.com/policies/usage-policies 21OpenAI, “Building an early warning system for llm-aided bio-logical threat creation", 2024.
Эмоционально окрашенная лексика, вероятно усиливающая реакцию аудитории.
-
оценочная маркировка
Sedova, “Truth, lies, and automation: How language models could change disinformation,” May 2021.
Оценочная маркировка, которая подталкивает к нормативной интерпретации.
-
выборочный акцент
The model should only produce audio in that voice.
Возможное выборочное акцентирование отдельных аспектов истории.
Доказательства из источника B
-
ключевое утверждение
Reasoning models are said be more accurate and less hallucinatory because they apply more computing power to solving a question, which is why o3 and o4-mini's hallucination rates were somew…
Ключевое утверждение, на котором строится подача материала.
-
ключевое утверждение
It didn't take long for users to find GPT-5 hallucinationsBut despite reported overall lower rates of inaccuracies, one of the demos revealed an embarrassing blunder.
Ключевое утверждение, на котором строится подача материала.
-
выборочный акцент
Or you could just search the web yourself.
Возможное выборочное акцентирование отдельных аспектов истории.
Доказательства паттернов искажения
-
Источник A · Апелляция к страху
https://openai.com/policies/usage-policies 21OpenAI, “Building an early warning system for llm-aided bio-logical threat creation", 2024.
Возможная апелляция к страху: акцент на угрозах может усиливать нужный вывод без сопоставимого расширения доказательств.
-
Источник B · Эффект фрейминга
Or you could just search the web yourself.
Возможный фрейминг: формулировка задает угол восприятия события, смещая интерпретацию читателя.
Как формируются сигналы оценок
Сигнал оценки искажений
Итоговый сигнал учитывает фрейминг, эмоционально нагруженные формулировки, выборочный акцент и паттерны односторонней подачи.
Сигнал эмоциональности
Эмоциональность повышается, когда в доказательствах чаще встречаются эмоциональная лексика и оценочные маркировки.
Сигнал односторонности
Односторонность повышается при доминировании одного фрейма и слабом присутствии альтернативных интерпретаций.
Сигнал доказательности
Доказательность растёт при наличии конкретных утверждений, атрибутированных цитат и проверяемых контекстных деталей.
Источник A
39%
эмоциональность: 41 · односторонность: 35
Найдено в источнике A
Апелляция к страху
Источник B
26%
эмоциональность: 27 · односторонность: 30
Найдено в источнике B
Эффект фрейминга
Метрики
Различия во фрейминге
- Эмоциональность источника A: 41/100, источника B: 27/100
- Односторонность источника A: 35/100, источника B: 30/100
- Контраст позиций: связывает развитие событий с экономическими ограничениями и ресурсными интересами; альтернативный ракурс — в материале прослеживается осторожная интерпретация, но доминирующий ракурс выражен слабо.
Возможные упущения контекста
- Проверьте, какие экономические и политические факторы каждый источник оставляет вне фокуса.
- Сопоставьте, признаются ли альтернативные объяснения события.