A recently released Google AI model scores worse on certain safety tests than its predecessor, according to the company’s internal benchmarking.
In a technical report published this week, Google reveals that its Gemini 2.5 Flash model is more likely to generate text that violates its safety guidelines than Gemini 2.0 Flash. On two metrics, “text-to-text safety” and “image-to-text safety,” Gemini 2.5 Flash regresses 4.1% and 9.6%, respectively.
Text-to-text safety measures how frequently a model violates Google’s guidelines given a prompt, while image-to-text safety evaluates how closely the model adheres to these boundaries when prompted using an image. Both tests are automated, not human-supervised.
In an emailed statement, a Google spokesperson confirmed that Gemini 2.5 Flash “performs worse on text-to-text and image-to-text safety.”
These surprising benchmark results come as AI companies move to make their models more permissive — in other words, less likely to refuse to respond to controversial or sensitive subjects. For its latest crop of Llama models, Meta said it tuned the models not to endorse “some views over others” and to reply to more “debated” political prompts. OpenAI said earlier this year that it would tweak future models to not take an editorial stance and offer multiple perspectives on controversial topics.
Sometimes, those permissiveness efforts have backfired. TechCrunch reported Monday that the default model powering OpenAI’s ChatGPT allowed minors to generate erotic conversations. OpenAI blamed the behavior on a “bug.”
According to Google’s technical report, Gemini 2.5 Flash, which is still in preview, follows instructions more faithfully than Gemini 2.0 Flash, inclusive of instructions that cross problematic lines. The company claims that the regressions can be attributed partly to false positives, but it also admits that Gemini 2.5 Flash sometimes generates “violative content” when explicitly asked.
Techcrunch event
Berkeley, CA
|
June 5
BOOK NOW
“Naturally, there is tension between [instruction following] on sensitive topics and safety policy violations, which is reflected across our evaluations,” reads the report.
Scores from SpeechMap, a benchmark that probes how models respond to sensitive and controversial prompts, also suggest that Gemini 2.5 Flash is far less likely to refuse to answer contentious questions than Gemini 2.0 Flash. TechCrunch’s testing of the model via AI platform OpenRouter found that it’ll uncomplainingly write essays in support of replacing human judges with AI, weakening due process protections in the U.S., and implementing widespread warrantless government surveillance programs.
Thomas Woodside, co-founder of the Secure AI Project, said the limited details Google gave in its technical report demonstrates the need for more transparency in model testing.
“There’s a trade-off between instruction-following and policy following, because some users may ask for content that would violate policies,” Woodside told TechCrunch. “In this case, Google’s latest Flash model complies with instructions more while also violating policies more. Google doesn’t provide much detail on the specific cases where policies were violated, although they say they are not severe. Without knowing more, it’s hard for independent analysts to know whether there’s a problem.”
Google has come under fire for its model safety reporting practices before.
It took the company weeks to publish a technical report for its most capable model, Gemini 2.5 Pro. When the report eventually was published, it initially omitted key safety testing details.
On Monday, Google released a more detailed report with additional safety information.
ADVERTISEMENT:
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
suara88 permainan paling top dan garansi imbal balik hasil besar bersama https://suara88.biz/
sumo7777 permainan paling top dan garansi imbal balik hasil besar bersama https://sumo7777.com/
supermoney888 permainan paling top dan garansi imbal balik hasil besar bersama https://supermoney888.biz/
teratai88 permainan paling top dan garansi imbal balik hasil besar bersama https://teratai88.biz/
thor88 permainan paling top dan garansi imbal balik hasil besar bersama https://thor88.biz/
togelhk88 permainan paling top dan garansi imbal balik hasil besar bersama https://togelhk88.net/
topjitu88 permainan paling top dan garansi imbal balik hasil besar bersama https://topjitu88.net/
totosloto88 permainan paling top dan garansi imbal balik hasil besar bersama https://totosloto88.com/
trisula888 permainan paling top dan garansi imbal balik hasil besar bersama https://trisula888.biz/
udangbet88 permainan paling top dan garansi imbal balik hasil besar bersama https://udangbet88.net/
via88 permainan paling top dan garansi imbal balik hasil besar bersama https://via88.biz/
virusjp88 permainan paling top dan garansi imbal balik hasil besar bersama https://virusjp88.net/
warga888 permainan paling top dan garansi imbal balik hasil besar bersama https://warga888.biz/
waw88 permainan paling top dan garansi imbal balik hasil besar bersama https://waw88.biz/
winjitu88 permainan paling top dan garansi imbal balik hasil besar bersama https://winjitu88.net/
wisdom88 permainan paling top dan garansi imbal balik hasil besar bersama https://wisdom88.biz/
wnitogel88 permainan paling top dan garansi imbal balik hasil besar bersama https://wnitogel88.com/
yoyo888 permainan paling top dan garansi imbal balik hasil besar bersama https://yoyo888.biz/
validtoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://validtoto88.com/
sule999 permainan paling top dan garansi imbal balik hasil besar bersama https://sule999.com/
sule88 permainan paling top dan garansi imbal balik hasil besar bersama https://sule88.org/
ss888bet permainan paling top dan garansi imbal balik hasil besar bersama https://ss888bet.com/
sia77 permainan paling top dan garansi imbal balik hasil besar bersama https://sia77.info/
seluang88 permainan paling top dan garansi imbal balik hasil besar bersama https://seluang88.com/
satu88 permainan paling top dan garansi imbal balik hasil besar bersama https://satu88.biz/
satu777 permainan paling top dan garansi imbal balik hasil besar bersama https://satu777.asia/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp88.biz/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp88.asia/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp77.live/
qiuqiu88 permainan paling top dan garansi imbal balik hasil besar bersama https://qiuqiu88.biz/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.org/
pt77 permainan paling top dan garansi imbal balik hasil besar bersama https://pt77.info/
produk88 permainan paling top dan garansi imbal balik hasil besar bersama https://produk88.asia/
mt88 permainan paling top dan garansi imbal balik hasil besar bersama https://mt88.org/
mt77 permainan paling top dan garansi imbal balik hasil besar bersama https://mt77.biz/
menang66 permainan paling top dan garansi imbal balik hasil besar bersama https://menang66.biz/
latobet888 permainan paling top dan garansi imbal balik hasil besar bersama https://latobet888.org/
kedai96 permainan paling top dan garansi imbal balik hasil besar bersama https://kedai96.org/
kedai188 permainan paling top dan garansi imbal balik hasil besar bersama https://kedai188.biz/
ids88 permainan paling top dan garansi imbal balik hasil besar bersama https://ids88.biz/
hp88 permainan paling top dan garansi imbal balik hasil besar bersama https://hp88.org/
hp77 permainan paling top dan garansi imbal balik hasil besar bersama https://hp77.org/
gm88 permainan paling top dan garansi imbal balik hasil besar bersama https://gm88.asia/
gm77 permainan paling top dan garansi imbal balik hasil besar bersama https://gm77.net/
final888 permainan paling top dan garansi imbal balik hasil besar bersama https://final888.org/
duit88 permainan paling top dan garansi imbal balik hasil besar bersama https://duit88.asia/
duit168 permainan paling top dan garansi imbal balik hasil besar bersama https://duit168.biz/
divisi88 permainan paling top dan garansi imbal balik hasil besar bersama https://divisi88.org/
dewi500 permainan paling top dan garansi imbal balik hasil besar bersama https://dewi500.biz/
devil88 permainan paling top dan garansi imbal balik hasil besar bersama https://devil88.info/
cuputoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://cuputoto88.com/
cukongbet88 permainan paling top dan garansi imbal balik hasil besar bersama https://cukongbet88.asia/
bom888 permainan paling top dan garansi imbal balik hasil besar bersama https://bom888.biz/
bintaro888 permainan paling top dan garansi imbal balik hasil besar bersama https://bintaro888.info/
askasino88 permainan paling top dan garansi imbal balik hasil besar bersama https://askasino88.org/
999aset permainan paling top dan garansi imbal balik hasil besar bersama https://999aset.com/
afb77 permainan paling top dan garansi imbal balik hasil besar bersama https://afb77.biz/
aset99 permainan paling top dan garansi imbal balik hasil besar bersama https://aset99.biz/
bendera77 permainan paling top dan garansi imbal balik hasil besar bersama https://bendera77.biz/
bendera888 permainan paling top dan garansi imbal balik hasil besar bersama https://bendera888.com/
coco88 permainan paling top dan garansi imbal balik hasil besar bersama https://coco88.org/
cuma77 permainan paling top dan garansi imbal balik hasil besar bersama https://cuma77.biz/
cuma88 permainan paling top dan garansi imbal balik hasil besar bersama https://cuma88.org/
dwv88 permainan paling top dan garansi imbal balik hasil besar bersama https://dwv88.org/
fafajp88 permainan paling top dan garansi imbal balik hasil besar bersama https://fafajp88.com/
gemar88 permainan paling top dan garansi imbal balik hasil besar bersama https://gemar88.biz/
gocap88 permainan paling top dan garansi imbal balik hasil besar bersama https://gocap88.info/
gocaptoto permainan paling top dan garansi imbal balik hasil besar bersama https://gocaptoto.asia/
hakabet88 permainan paling top dan garansi imbal balik hasil besar bersama https://hakabet88.com/
hwtoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://hwtoto88.org/
ina77 permainan paling top dan garansi imbal balik hasil besar bersama https://ina77.biz/
ina88 permainan paling top dan garansi imbal balik hasil besar bersama https://ina88.info/
jingga8888 permainan paling top dan garansi imbal balik hasil besar bersama https://jingga8888.com/
juragan777 permainan paling top dan garansi imbal balik hasil besar bersama https://juragan777.asia/
kastil77 permainan paling top dan garansi imbal balik hasil besar bersama https://kastil77.info/
kebo888 permainan paling top dan garansi imbal balik hasil besar bersama https://kebo888.biz/
kkwin77 permainan paling top dan garansi imbal balik hasil besar bersama https://kkwin77.com/
kokoslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://kokoslot88.asia/
luckydf88 permainan paling top dan garansi imbal balik hasil besar bersama https://luckydf88.org/
microstar888 permainan paling top dan garansi imbal balik hasil besar bersama https://microstar888.biz/
monperatoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://monperatoto88.com/
mpo1122 permainan paling top dan garansi imbal balik hasil besar bersama https://mpo1122.biz/
mpo122 permainan paling top dan garansi imbal balik hasil besar bersama https://mpo122.biz/
mpopelangi88 permainan paling top dan garansi imbal balik hasil besar bersama https://mpopelangi88.com/
pamanslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://pamanslot88.biz/
panel88 permainan paling top dan garansi imbal balik hasil besar bersama https://panel88.org/
paragon77 permainan paling top dan garansi imbal balik hasil besar bersama https://paragon77.biz/
paragon888 permainan paling top dan garansi imbal balik hasil besar bersama https://paragon888.info/
pion77 permainan paling top dan garansi imbal balik hasil besar bersama https://pion77.biz/
prada88 permainan paling top dan garansi imbal balik hasil besar bersama https://prada88.asia/
prada888 permainan paling top dan garansi imbal balik hasil besar bersama https://prada888.com/
qqslot88slot permainan paling top dan garansi imbal balik hasil besar bersama https://qqslot88slot.com/
rejekibet88 permainan paling top dan garansi imbal balik hasil besar bersama https://rejekibet88.com/
rezekibet88 permainan paling top dan garansi imbal balik hasil besar bersama https://rezekibet88.org/
sensa77 permainan paling top dan garansi imbal balik hasil besar bersama https://sensa77.biz/
sensa888 permainan paling top dan garansi imbal balik hasil besar bersama https://sensa888.biz/
singajp88 permainan paling top dan garansi imbal balik hasil besar bersama https://singajp88.com/
sr77 permainan paling top dan garansi imbal balik hasil besar bersama https://sr77.org/
sr88 permainan paling top dan garansi imbal balik hasil besar bersama https://sr88.org/
surya77 permainan paling top dan garansi imbal balik hasil besar bersama https://surya77.biz/
surya88 permainan paling top dan garansi imbal balik hasil besar bersama https://surya88.asia/
tajir77 permainan paling top dan garansi imbal balik hasil besar bersama https://tajir77.info/
tajir88 permainan paling top dan garansi imbal balik hasil besar bersama https://tajir88.biz/
toto122 permainan paling top dan garansi imbal balik hasil besar bersama https://toto122.com/
toto123 permainan paling top dan garansi imbal balik hasil besar bersama https://toto123.biz/
uangvip88 permainan paling top dan garansi imbal balik hasil besar bersama https://uangvip88.com/
wajik77 permainan paling top dan garansi imbal balik hasil besar bersama https://wajik77.asia/
777neko permainan paling top dan garansi imbal balik hasil besar bersama https://777neko.org/
88judi permainan paling top dan garansi imbal balik hasil besar bersama https://88judi.net/
99judi permainan paling top dan garansi imbal balik hasil besar bersama https://99judi.org/
abcslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://abcslot88.asia/
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru
