Enam soal yang dijawab model bahasa dengan yakin dan salah, di samping apa yang dihitung mesin.
Asisten yang menjawab dari pola salah cukup sering untuk berarti, dan salah dengan cara yang khas: jawabannya berbentuk benar. Deretnya punya suku-suku awal yang benar; integralnya adalah nilai terkenal dengan batas yang salah; faktorisasinya berhenti di titik ketika pengamatan mentok. Setiap baris di bawah menunjukkan jawaban pola, suku tempat ia gagal, dan apa yang dikembalikan mesin ketika ia menghitung.
Tidak ada model yang disebut namanya di halaman ini. Kolom kiri adalah apa yang dihasilkan pencocokan pola pada soal-soal ini secara umum, dan ia menjadi usang begitu satu model saja membaik; kolom kanan diverifikasi ulang terhadap mesin pada setiap build, dan halaman ini tidak bisa dirilis jika keduanya menyimpang.
Suku yang salah: 31x^9/2835
diverifikasi terhadap mesin saat build
The first four coefficients are common enough to be recalled correctly; the fifth is not. The true coefficient is 62/2835. A series that is right to four terms and wrong at the fifth looks like knowledge and is the shape of a guess.
Suku yang salah: -1
diverifikasi terhadap mesin saat build
A 4x4 characteristic polynomial has enough terms for one sign to go wrong on the way to the answer, and a wrong sign produces a wrong eigenvalue that still looks like one. Here the matrix decouples into two 2x2 blocks; the engine finds all four exactly rather than approximating the quartic.
Suku yang salah: Pi
diverifikasi terhadap mesin saat build
The Dirichlet integral is famous enough to be recalled, and famous enough to be recalled with the wrong limits: the value over (-inf, inf) is Pi, over (0, inf) it is Pi/2. Both facts are true; attaching the right one to the limits written down is the computation.
Suku yang salah: 329218123329 declared prime
diverifikasi terhadap mesin saat build
Dividing out the 3 is easy; deciding whether the twelve-digit cofactor is prime is not something inspection can do, so a plausible answer stops there and calls it prime. The engine factors it, and it is not.
Suku yang salah: 1
diverifikasi terhadap mesin saat build
The theorem is real and the shape of the problem invites it, but 10^6 is not 10^9+6. The correct residue is reached only by actually reducing, which is a few hundred squarings - trivial for an engine and impossible by inspection.
Suku yang salah: Pi^4/96
diverifikasi terhadap mesin saat build
zeta(2) = Pi^2/6 is remembered by everyone; zeta(4) is remembered as 'Pi^4 over something', and the something is where a recalled answer diverges from a computed one. 90 is right; 96 and 45 both appear in nearby identities and are both wrong here.
Qurak adalah server MCP. Setelah terhubung, Claude, Cursor, VS Code, atau klien MCP mana pun menghitung alih-alih menebak - dan ini terbuka di paket gratis. Atau coba satu ekspresi di sini, tanpa akun.