During a recent press appearance, OpenAI CEO Sam Altman said that he’s observed the “IQ” of AI rapidly improve over the past several years.
“Very roughly, it feels to me like — this is not scientifically accurate, this is just a vibe or spiritual answer — every year we move one standard deviation of IQ,” Altman said.
Altman isn’t the first to use IQ, an estimation of a person’s intelligence, as a benchmark for AI progress. AI influencers on social media have given models IQ tests and ranked the results.
But many experts say that IQ is a poor measure of a model’s capabilities — and a misleading one.
“It can be very tempting to use the same measures we use for humans to describe capabilities or progress, but this is like comparing apples with oranges,” Sandra Wachter, a researcher studying tech and regulation at Oxford, told TechCrunch.
In his comments at the presser, Altman equated IQ with intelligence. Yet IQ tests are relative — not objective — measures of certain kinds of intelligence. There’s some consensus that IQ is a reasonable test of logic and abstract reasoning. But it doesn’t measure practical intelligence — knowing how to make things work — and it’s at best a snapshot.
“IQ is a tool to measure human capabilities — a contested one no less — based on what scientists believe human intelligence looks like,” Wachter noted. “But you can’t use the same measure to describe AI capabilities. A car is faster than humans, and a submarine is better at diving. But this doesn’t mean cars or submarines surpass human intelligence. You’re equivocating one aspect of performance with human intelligence, which is much more complex.”
To excel at an IQ test, the origins of which some historians trace back to eugenics, the widely discredited scientific theory that people can be improved through selective breeding, a test taker must have a strong working memory and knowledge of Western cultural norms. This invites the opportunity for bias, of course, which is why one psychologist has called IQ tests “ideologically corruptible mechanical models” of intelligence.
That a model might do well on an IQ test indicates more about the test’s flaws than the model’s performance, according to Os Keyes, a doctorate candidate at the University of Washington studying ethical AI.
“[These] tests are pretty easy to game if you have a practically infinite amount of memory and patience,” Keyes said. “IQ tests are a highly limited way of measuring cognition, sentience, and intelligence, something we’ve known since before the invention of the digital computer itself.”
AI likely has an unfair advantage on IQ tests, as well, considering that models have massive amounts of memory and internalized knowledge at their disposal. Often, models are trained on public web data, and the web is full of example questions taken from IQ tests.
“Tests tend to repeat very similar patterns — a pretty foolproof way to raise your IQ is to practice taking IQ tests, which is essentially what every [model] has done,” said Mike Cook, a research fellow at King’s College London specializing in AI. “When I learn something, I don’t get it piped into my brain with perfect clarity 1 million times, unlike AI, and I can’t process it with no noise or signal loss, either.”
Ultimately, IQ tests — biased as they are — were designed for humans, Cook added — intended as a way to evaluate general problem-solving abilities. They’re inappropriate for a technology that approaches solving problems in a very different way than people do.
“A crow might be able to use a tool to recover a treat from a box, but that doesn’t mean it can enroll at Harvard,” Cook said. “When I solve a mathematics problem, my brain is also contending with its ability to read the words on the page correctly, to not think about the shopping I need to do on the way home, or if it’s too cold in the room right now. In other words, human brains contend with a lot more things when they solve a problem — any problem at all, IQ tests or otherwise — and they do it with a lot less help [than AI.]”
All this points to the need for better AI tests, Heidy Khlaaf, chief AI scientist at the AI Now Institute, told TechCrunch.
“In the history of computation, we haven’t compared computing abilities to that of humans’ precisely because the nature of computation means systems have always been able to complete tasks already beyond human ability,” Khlaaf said. “This idea that we directly compare systems’ performance against human abilities is a recent phenomenon that is highly contested, and what surrounds the controversy of the ever-expanding — and moving — benchmarks being created to evaluate AI systems.”
ADVERTISEMENT:
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
suara88 permainan paling top dan garansi imbal balik hasil besar bersama https://suara88.biz/
sumo7777 permainan paling top dan garansi imbal balik hasil besar bersama https://sumo7777.com/
supermoney888 permainan paling top dan garansi imbal balik hasil besar bersama https://supermoney888.biz/
teratai88 permainan paling top dan garansi imbal balik hasil besar bersama https://teratai88.biz/
thor88 permainan paling top dan garansi imbal balik hasil besar bersama https://thor88.biz/
togelhk88 permainan paling top dan garansi imbal balik hasil besar bersama https://togelhk88.net/
topjitu88 permainan paling top dan garansi imbal balik hasil besar bersama https://topjitu88.net/
totosloto88 permainan paling top dan garansi imbal balik hasil besar bersama https://totosloto88.com/
trisula888 permainan paling top dan garansi imbal balik hasil besar bersama https://trisula888.biz/
udangbet88 permainan paling top dan garansi imbal balik hasil besar bersama https://udangbet88.net/
via88 permainan paling top dan garansi imbal balik hasil besar bersama https://via88.biz/
virusjp88 permainan paling top dan garansi imbal balik hasil besar bersama https://virusjp88.net/
warga888 permainan paling top dan garansi imbal balik hasil besar bersama https://warga888.biz/
waw88 permainan paling top dan garansi imbal balik hasil besar bersama https://waw88.biz/
winjitu88 permainan paling top dan garansi imbal balik hasil besar bersama https://winjitu88.net/
wisdom88 permainan paling top dan garansi imbal balik hasil besar bersama https://wisdom88.biz/
wnitogel88 permainan paling top dan garansi imbal balik hasil besar bersama https://wnitogel88.com/
yoyo888 permainan paling top dan garansi imbal balik hasil besar bersama https://yoyo888.biz/
validtoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://validtoto88.com/
sule999 permainan paling top dan garansi imbal balik hasil besar bersama https://sule999.com/
sule88 permainan paling top dan garansi imbal balik hasil besar bersama https://sule88.org/
ss888bet permainan paling top dan garansi imbal balik hasil besar bersama https://ss888bet.com/
sia77 permainan paling top dan garansi imbal balik hasil besar bersama https://sia77.info/
seluang88 permainan paling top dan garansi imbal balik hasil besar bersama https://seluang88.com/
satu88 permainan paling top dan garansi imbal balik hasil besar bersama https://satu88.biz/
satu777 permainan paling top dan garansi imbal balik hasil besar bersama https://satu777.asia/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp88.biz/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp88.asia/
rp88 permainan paling top dan garansi imbal balik hasil besar bersama https://rp77.live/
qiuqiu88 permainan paling top dan garansi imbal balik hasil besar bersama https://qiuqiu88.biz/
pt88 permainan paling top dan garansi imbal balik hasil besar bersama https://pt88.org/
pt77 permainan paling top dan garansi imbal balik hasil besar bersama https://pt77.info/
produk88 permainan paling top dan garansi imbal balik hasil besar bersama https://produk88.asia/
mt88 permainan paling top dan garansi imbal balik hasil besar bersama https://mt88.org/
mt77 permainan paling top dan garansi imbal balik hasil besar bersama https://mt77.biz/
menang66 permainan paling top dan garansi imbal balik hasil besar bersama https://menang66.biz/
latobet888 permainan paling top dan garansi imbal balik hasil besar bersama https://latobet888.org/
kedai96 permainan paling top dan garansi imbal balik hasil besar bersama https://kedai96.org/
kedai188 permainan paling top dan garansi imbal balik hasil besar bersama https://kedai188.biz/
ids88 permainan paling top dan garansi imbal balik hasil besar bersama https://ids88.biz/
hp88 permainan paling top dan garansi imbal balik hasil besar bersama https://hp88.org/
hp77 permainan paling top dan garansi imbal balik hasil besar bersama https://hp77.org/
gm88 permainan paling top dan garansi imbal balik hasil besar bersama https://gm88.asia/
gm77 permainan paling top dan garansi imbal balik hasil besar bersama https://gm77.net/
final888 permainan paling top dan garansi imbal balik hasil besar bersama https://final888.org/
duit88 permainan paling top dan garansi imbal balik hasil besar bersama https://duit88.asia/
duit168 permainan paling top dan garansi imbal balik hasil besar bersama https://duit168.biz/
divisi88 permainan paling top dan garansi imbal balik hasil besar bersama https://divisi88.org/
dewi500 permainan paling top dan garansi imbal balik hasil besar bersama https://dewi500.biz/
devil88 permainan paling top dan garansi imbal balik hasil besar bersama https://devil88.info/
cuputoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://cuputoto88.com/
cukongbet88 permainan paling top dan garansi imbal balik hasil besar bersama https://cukongbet88.asia/
bom888 permainan paling top dan garansi imbal balik hasil besar bersama https://bom888.biz/
bintaro888 permainan paling top dan garansi imbal balik hasil besar bersama https://bintaro888.info/
askasino88 permainan paling top dan garansi imbal balik hasil besar bersama https://askasino88.org/
999aset permainan paling top dan garansi imbal balik hasil besar bersama https://999aset.com/
afb77 permainan paling top dan garansi imbal balik hasil besar bersama https://afb77.biz/
aset99 permainan paling top dan garansi imbal balik hasil besar bersama https://aset99.biz/
bendera77 permainan paling top dan garansi imbal balik hasil besar bersama https://bendera77.biz/
bendera888 permainan paling top dan garansi imbal balik hasil besar bersama https://bendera888.com/
coco88 permainan paling top dan garansi imbal balik hasil besar bersama https://coco88.org/
cuma77 permainan paling top dan garansi imbal balik hasil besar bersama https://cuma77.biz/
cuma88 permainan paling top dan garansi imbal balik hasil besar bersama https://cuma88.org/
dwv88 permainan paling top dan garansi imbal balik hasil besar bersama https://dwv88.org/
fafajp88 permainan paling top dan garansi imbal balik hasil besar bersama https://fafajp88.com/
gemar88 permainan paling top dan garansi imbal balik hasil besar bersama https://gemar88.biz/
gocap88 permainan paling top dan garansi imbal balik hasil besar bersama https://gocap88.info/
gocaptoto permainan paling top dan garansi imbal balik hasil besar bersama https://gocaptoto.asia/
hakabet88 permainan paling top dan garansi imbal balik hasil besar bersama https://hakabet88.com/
hwtoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://hwtoto88.org/
ina77 permainan paling top dan garansi imbal balik hasil besar bersama https://ina77.biz/
ina88 permainan paling top dan garansi imbal balik hasil besar bersama https://ina88.info/
jingga8888 permainan paling top dan garansi imbal balik hasil besar bersama https://jingga8888.com/
juragan777 permainan paling top dan garansi imbal balik hasil besar bersama https://juragan777.asia/
kastil77 permainan paling top dan garansi imbal balik hasil besar bersama https://kastil77.info/
kebo888 permainan paling top dan garansi imbal balik hasil besar bersama https://kebo888.biz/
kkwin77 permainan paling top dan garansi imbal balik hasil besar bersama https://kkwin77.com/
kokoslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://kokoslot88.asia/
luckydf88 permainan paling top dan garansi imbal balik hasil besar bersama https://luckydf88.org/
microstar888 permainan paling top dan garansi imbal balik hasil besar bersama https://microstar888.biz/
monperatoto88 permainan paling top dan garansi imbal balik hasil besar bersama https://monperatoto88.com/
mpo1122 permainan paling top dan garansi imbal balik hasil besar bersama https://mpo1122.biz/
mpo122 permainan paling top dan garansi imbal balik hasil besar bersama https://mpo122.biz/
mpopelangi88 permainan paling top dan garansi imbal balik hasil besar bersama https://mpopelangi88.com/
pamanslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://pamanslot88.biz/
panel88 permainan paling top dan garansi imbal balik hasil besar bersama https://panel88.org/
paragon77 permainan paling top dan garansi imbal balik hasil besar bersama https://paragon77.biz/
paragon888 permainan paling top dan garansi imbal balik hasil besar bersama https://paragon888.info/
pion77 permainan paling top dan garansi imbal balik hasil besar bersama https://pion77.biz/
prada88 permainan paling top dan garansi imbal balik hasil besar bersama https://prada88.asia/
prada888 permainan paling top dan garansi imbal balik hasil besar bersama https://prada888.com/
qqslot88slot permainan paling top dan garansi imbal balik hasil besar bersama https://qqslot88slot.com/
rejekibet88 permainan paling top dan garansi imbal balik hasil besar bersama https://rejekibet88.com/
rezekibet88 permainan paling top dan garansi imbal balik hasil besar bersama https://rezekibet88.org/
sensa77 permainan paling top dan garansi imbal balik hasil besar bersama https://sensa77.biz/
sensa888 permainan paling top dan garansi imbal balik hasil besar bersama https://sensa888.biz/
singajp88 permainan paling top dan garansi imbal balik hasil besar bersama https://singajp88.com/
sr77 permainan paling top dan garansi imbal balik hasil besar bersama https://sr77.org/
sr88 permainan paling top dan garansi imbal balik hasil besar bersama https://sr88.org/
surya77 permainan paling top dan garansi imbal balik hasil besar bersama https://surya77.biz/
surya88 permainan paling top dan garansi imbal balik hasil besar bersama https://surya88.asia/
tajir77 permainan paling top dan garansi imbal balik hasil besar bersama https://tajir77.info/
tajir88 permainan paling top dan garansi imbal balik hasil besar bersama https://tajir88.biz/
toto122 permainan paling top dan garansi imbal balik hasil besar bersama https://toto122.com/
toto123 permainan paling top dan garansi imbal balik hasil besar bersama https://toto123.biz/
uangvip88 permainan paling top dan garansi imbal balik hasil besar bersama https://uangvip88.com/
wajik77 permainan paling top dan garansi imbal balik hasil besar bersama https://wajik77.asia/
777neko permainan paling top dan garansi imbal balik hasil besar bersama https://777neko.org/
88judi permainan paling top dan garansi imbal balik hasil besar bersama https://88judi.net/
99judi permainan paling top dan garansi imbal balik hasil besar bersama https://99judi.org/
abcslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://abcslot88.asia/
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru
