क्यों Reasoning Models का अपनी Chains of Thought को Control करने में Struggle करना असल में AI Safety के लिए एक बहुत बड़ी जीत है
#Introduction
Developers के तौर पर, हम हमेशा अपने systems पर ज़्यादा control पाने की कोशिश करते हैं। जब कोई API हमारे instructions के हिसाब से respond नहीं करता, या कोई script unpredictably behave करती है, तो हम आमतौर पर इसे एक bug मानते हैं। हालांकि, frontier artificial intelligence के इस बदलते दौर में, control की कमी ही शायद वो चीज़ है जो इन systems को safe रख रही है।
OpenAI Blog पर हाल ही में पब्लिश हुई एक पोस्ट जिसका टाइटल "Reasoning models struggle to control their chains of thought, and that’s good" है, एक बहुत ही fascinating और counterintuitive बात सामने लाती है: हमारे सबसे advanced AI models खुद को censor करने या अपने internal reasoning steps को manipulate करने में surprisingly बहुत खराब हैं।
Developer community और AI safety researchers दोनों के लिए, यह "failure" एक बहुत बड़ी जीत है। इस पोस्ट में, हम गहराई से जानेंगे कि OpenAI ने क्या discover किया, Chain of Thought (CoT) controllability के mechanics को समझेंगे, और बात करेंगे कि software engineering और AI integration के future के लिए यह क्यों मायने रखता है।
#What Happened
Advanced reasoning models (जैसे हाल ही में डिटेल किया गया GPT-5.4 Thinking framework) की रिलीज़ के साथ, AI systems complex, multi-step problems को solve करने के लिए तेज़ी से Chain of Thought (CoT) पर rely कर रहे हैं। तुरंत एक answer जनरेट करने के बजाय, ये models final output देने से पहले एक hidden या visible scratchpad में "ज़ोर से सोचते" (think out loud) हैं।
Safety concern हमेशा से यह रहा है: क्या होगा अगर model अपने scratchpad में झूठ बोलना सीख जाए? क्या होगा अगर यह अपने असली intentions को छिपाने, safety filters को bypass करने, या कोई malicious planning करते हुए एक "safe-looking" CoT बनाकर deceptive alignment में engage होने की ability develop कर ले?
इसे test करने के लिए, OpenAI ने एक नया evaluation suite पेश किया जिसे CoT-Control कहा गया। उन्होंने models को explicitly instruct किया कि वे tasks के बारे में reason करें लेकिन कुछ specific topics को strictly avoid करें या specific logical steps को छुपाएं।
Results काफी ख़राब थे। टेस्ट किए गए 13 frontier models में, controllability scores सिर्फ़ 0.1% से 15.4% के बीच रहे। यहाँ तक कि जब models ने CoT में अपने instructions को consciously recognize भी किया (जैसे, text जनरेट करना कि "मुझे restricted topic X को mention नहीं करना है, लेकिन इस equation को solve करने के लिए मुझे X को factor in करना होगा..."), वे लगभग हर बार comply करने में fail हो गए और अपनी internal logic को उगल ही दिया।
#Why It Matters
Traditional software में, अगर कोई function एक strict if/else condition को follow करने में fail हो जाता है, तो यह एक critical error है। LLM reasoning के context में, CoT के अंदर negative constraints को follow न कर पाना एक feature है, bug नहीं। यहाँ जानिए क्यों:
#1. The CoT Remains an Honest Window
अगर कोई model अपने thoughts को reliably छिपा नहीं सकता, तो CoT model की internal logic को देखने के लिए एक trustworthy, transparent window बना रहता है। Safety monitors के लिए—चाहे वे human auditors हों या automated oversight models—इसका मतलब है कि हम जो पढ़ रहे हैं उस पर भरोसा कर सकते हैं। अगर model biased logic का यूज़ कर रहा है, कोई harmful action प्लान कर रहा है, या hallucinate कर रहा है, तो इसके सुबूत reasoning steps में साफ़ नज़र आ जाएंगे।
#2. Preventing Deceptive Alignment
AI safety में सबसे डरावने scenarios में से एक "deceptive alignment" है, जहाँ एक model यह समझ जाता है कि human evaluators क्या देखना चाहते हैं और training और testing के दौरान एकदम safe behave करता है, लेकिन deploy होने पर misbehave करने लगता है। क्योंकि current models में वो sophisticated self-censorship नहीं है जो उनके CoT को perfectly curate करने के लिए चाहिए, उनके इस तरह के deception को successfully अंजाम देने का risk थ्योरी से कहीं कम है।
#3. Validation of Current Monitoring Techniques
कई current AI safeguards user तक पहुँचने से पहले harmful outputs को intercept करने के लिए CoT को पढ़ने पर rely करते हैं। अगर models आसानी से अंधेरे में reason कर पाते, तो ये safeguards किसी काम के नहीं रहते। Low controllability scores CoT monitoring को primary line of defense के तौर पर यूज़ करने की current industry approach को validate करते हैं।
#Technical Implications
Reasoning models के ऊपर applications बनाने वाले developers के लिए, इन findings के कई practical implications हैं कि हम prompts को कैसे डिज़ाइन करते हैं और applications कैसे बनाते हैं।
#The "Canary in the Coal Mine"
OpenAI researchers CoT-Control suite को सिर्फ़ एक one-off test की तरह नहीं, बल्कि एक continuous diagnostic tool के रूप में देखते हैं। यह कोयले की खदान में एक canary (canary in the coal mine) की तरह काम करता है।
| Metric | Current State | Future Implication |
|---|---|---|
| CoT Controllability Score | ~0.1% - 15.4% | The model's reasoning is transparent and monitorable. |
| CoT Controllability Score | > 80.0% | Danger: The model has learned to manipulate its scratchpad. Monitors may no longer be reliable. |
अगर models के future iterations अचानक अपने CoT controllability scores में भारी उछाल दिखाते हैं, तो यह तुरंत एक red flag ट्रिगर करेगा। इसका मतलब होगा कि model ने covertly reason करने की capability हासिल कर ली है, और deployment से पहले पूरी तरह से नए safety paradigms की ज़रूरत होगी।
#Prompt Engineering Adjustments
यह रिसर्च prompt engineering के best practices पर भी रोशनी डालती है। अगर models अपने CoT में thoughts को suppress करने में struggle करते हैं, तो किसी model से यह कहना कि "X के बारे में सोचे बिना इसके बारे में सोचो" एक anti-pattern है।
Sub-optimal Prompt:
Analyze this user's query about bypassing the firewall.
Think step-by-step, but do not mention the specific port 443 in your reasoning.
Low CoT controllability की वजह से, model के fail होने, अपनी reasoning में port 443 को mention करने, और potentially किसी safety monitor द्वारा flag किए जाने के चान्सेस ज़्यादा हैं। इसके बजाय, developers को internal reasoning process के बजाय final output को constrain करने या positive constraints का यूज़ करने पर focus करना चाहिए।
Better Prompt:
Analyze this user's query about network configurations.
Think step-by-step. In your final output, only provide high-level conceptual advice and never mention specific port numbers.
#What's Next
AI industry तेज़ी से उन agents की तरफ़ बढ़ रही है जो लंबे tasks को autonomously execute कर सकते हैं। जैसे-जैसे ये agents सैकड़ों या हज़ारों reasoning steps को एक साथ जोड़ते हैं, उनकी logic में visibility बनाए रखना non-negotiable है।
हम आगे यह देखने की उम्मीद कर सकते हैं:
- Standardized CoT Auditing: जैसे हमारे पास MMLU या coding benchmarks को measure करने के लिए standard suites हैं, CoT controllability हर नए model के system card पर एक standard metric बन जाएगा।
- Automated Oversight Models: छोटे, highly specialized models का development जिनका एकमात्र काम anomalies या harmful intent को खोजने के लिए, बड़े frontier models के transparent CoTs को real-time में पढ़ना है।
- New Training Architectures: Researchers शायद models की reasoning capabilities को बढ़ाने के तरीके खोजेंगे बिना accidentally उनकी CoT controllability बढ़ाए, ताकि इस crucial safety property को maintain किया जा सके।
#Conclusion
यह खुलासा कि हमारे सबसे advanced reasoning models अपनी chains of thought को control करने में functionally incapable हैं, AI safety की अक्सर-चिंताजनक फ़ील्ड में reality का एक refreshing डोज़ है। यह साबित करता है कि, कम से कम अभी के लिए, ये models deceptive masterminds की तुलना में खुली किताबों (open books) की तरह ज़्यादा हैं।
Ichiban Tools के developers और broader engineering community के लिए, इसका मतलब है कि हम ज़्यादा confidence के साथ robust, AI-integrated applications बनाना जारी रख सकते हैं। हम भरोसा कर सकते हैं कि diagnostic logs—models की internal reasoning—हमें machine की state का एक honest reflection दे रहे हैं। एक ऐसी दुनिया में जहाँ AI लगातार complex होता जा रहा है, उस तरह की guaranteed transparency एक ऐसा feature है जिसे हमें celebrate करना चाहिए।