هشدار تکان‌دهنده دانشمند ارشد OpenAI؛ آیا انسان برای آینده هوش مصنوعی آماده است؟

هوش مصنوعی با سرعتی بیشتر از آنچه بسیاری از ما تصور می‌کردیم در حال پیشرفت است؛ اما هم‌زمان با قدرتمندتر شدن مدل‌ها، نگرانی درباره توانایی انسان برای درک، کنترل و هدایت آن‌ها نیز افزایش پیدا می‌کند. جیکوب پاچوکی، دانشمند ارشد OpenAI، در یادداشتی با عنوان «یک ذهن بیگانه» هشدار داده است که بشر هنوز برای پیامدهای رشد سریع هوش مصنوعی آمادگی کافی ندارد و برای حفظ کنترل انسان بر این فناوری، باید جدی‌تر از گذشته عمل کرد.

به گفته پاچوکی، ما به‌تدریج وارد دوره‌ای می‌شویم که ماشین‌ها در برخی زمینه‌ها می‌توانند از انسان توانمندتر باشند. مسئله اصلی اما فقط افزایش قدرت این مدل‌ها نیست؛ نگرانی زمانی جدی‌تر می‌شود که سیستم‌هایی با توانایی تصمیم‌گیری مستقل، استفاده از ابزارها و حتی مشارکت در توسعه نسل بعدی مدل‌ها، وارد دنیای واقعی شوند.

جدیدترین اخبار تکنولوژی در کانال تلگرام آونگ

«ذهن بیگانه» دقیقاً به چه معنا است؟

پاچوکی یادداشت خود را به خاطره‌ای از سال ۲۰۲۳ برمی‌گرداند؛ زمانی که روی پروژه‌ای پژوهشی با نام RLSlow کار می‌کرد. او و همکارش سایمون در آن دوره به نتایجی رسیدند که نشان می‌داد آموزش مدل‌های استدلالی می‌تواند به شکل قابل‌توجهی مقیاس پیدا کند و مدل‌های از پیش آموزش‌دیده می‌توانند زنجیره‌های تفکر پیچیده‌تری را شکل دهند.

همان زمان، پرسش مهمی برای آن‌ها مطرح شد: اگر روند پیشرفت همین‌طور ادامه پیدا کند، انسان در چند سال آینده با چه نوع ماشین‌هایی روبه‌رو خواهد شد؟

حالا چند سال از آن مقطع گذشته و مدل‌های استدلالی دیگر یک پروژه آزمایشگاهی و دور از دسترس نیستند. ایجنت‌های هوش مصنوعی می‌توانند با انسان‌ها یا مدل‌های دیگر تعامل داشته باشند، رایانه و رابط‌های گرافیکی را کنترل کنند، از ابزارهای مختلف استفاده کنند و حتی بخشی از کارهای پژوهشی را به‌صورت مستقل انجام دهند.

از نگاه پاچوکی، همین تغییر نقطه‌ای حساس در مسیر توسعه هوش مصنوعی است؛ چون هرچه سیستم‌ها توانمندتر می‌شوند، پیش‌بینی رفتار آینده آن‌ها دشوارتر خواهد شد.

وقتی هوش مصنوعی در ساخت نسل بعدی خودش نقش می‌گیرد

یکی از مهم‌ترین مفاهیمی که پاچوکی به آن اشاره می‌کند، «خودبهبودی بازگشتی» است. ایده ساده است: اگر یک مدل هوش مصنوعی بتواند در طراحی الگوریتم‌ها، انجام آزمایش‌ها، تحلیل نتایج، بهبود سخت‌افزار یا آموزش مدل‌های جدید کمک کند، نسل بعدی آن می‌تواند از نسل قبلی قدرتمندتر باشد.

در چنین حالتی، هر نسل بخشی از مسیر ساخت نسل بعدی را سریع‌تر می‌کند و همین چرخه می‌تواند سرعت پیشرفت را افزایش دهد.

این موضوع لزوماً به معنای آن نیست که هوش مصنوعی به‌یک‌باره کنترل همه‌چیز را در دست می‌گیرد. مسئله اصلی، سرعت تغییر است. اگر سرعت پیشرفت مدل‌ها از توان انسان برای ارزیابی، آزمایش و تدوین چارچوب‌های ایمنی بیشتر شود، فاصله میان «ساخت فناوری» و «فهمیدن پیامدهای آن» روزبه‌روز بیشتر خواهد شد.

به همین دلیل است که پاچوکی شرایط فعلی را دوره‌ای می‌داند که باید با احتیاط بیشتری طی شود.

چرا حتی سازندگان هوش مصنوعی هم کاملاً نمی‌دانند داخل مدل‌ها چه می‌گذرد؟

یکی از عجیب‌ترین ویژگی‌های مدل‌های هوش مصنوعی مدرن این است که برخلاف نرم‌افزارهای کلاسیک، نمی‌توان تمام رفتار آن‌ها را به‌سادگی از روی دستورالعمل‌های نوشته‌شده توضیح داد.

مدل‌های بزرگ بیشتر از آنکه مستقیماً برنامه‌ریزی شوند، آموزش می‌بینند. پژوهشگران معماری، الگوریتم و روش آموزش را طراحی می‌کنند، اما بسیاری از الگوهای پیچیده‌ای که در طول آموزش در شبکه شکل می‌گیرد، از قبل به‌صورت مشخص برای مدل تعریف نشده است.

به زبان ساده‌تر، پژوهشگر می‌داند مدل چگونه آموزش دیده، اما همیشه نمی‌داند چرا مدل در یک شرایط خاص تصمیمی مشخص گرفته است.

دانشمندان می‌توانند بخشی از سازوکارهای درونی شبکه‌های عصبی را بررسی کنند و ارتباط میان بعضی بخش‌های مدل را تشخیص دهند؛ اما شناخت چند جزء پراکنده با درک کامل رفتار یک سیستم عظیم تفاوت زیادی دارد.

این مشکل با افزایش توانایی مدل‌ها پیچیده‌تر می‌شود. ممکن است مدلی در یک آزمون مشخص عملکرد بسیار خوبی داشته باشد، اما ارزیابی ویژگی‌هایی مانند صداقت، قضاوت اخلاقی یا رفتار درست در شرایطی کاملاً جدید، بسیار سخت‌تر باشد.

نکته مهم این است که هوش مصنوعی لازم نیست در تمام زمینه‌ها از انسان بهتر باشد تا بتواند تأثیر بزرگی بر جهان بگذارد. کافی است در چند حوزه کلیدی عملکردی فراتر از توان انسان پیدا کند؛ مثلاً در برنامه‌نویسی، تحلیل اطلاعات، امنیت سایبری یا طراحی سیستم‌ها.

هرچه تعداد این حوزه‌ها بیشتر شود، پاسخ دادن به یک سؤال هم سخت‌تر خواهد شد: واقعاً این سیستم چقدر قدرتمند شده است؟

چالش هم‌راستایی؛ چگونه ارزش‌های انسانی را به ماشین منتقل کنیم؟

یکی از مهم‌ترین دغدغه‌های پژوهشگران ایمنی هوش مصنوعی، موضوع «هم‌راستایی» است. منظور از هم‌راستایی این است که سیستم نه‌فقط دستور انسان را اجرا کند، بلکه آن را به شکلی تفسیر کند که با هدف و ارزش مورد انتظار انسان سازگار باشد.

پاچوکی میان دو نوع هم‌راستایی تفاوت قائل می‌شود: هم‌راستایی اهداف و هم‌راستایی ارزش‌ها.

در هم‌راستایی اهداف، مسئله این است که مدل دستور ما را درست متوجه شود و اولویت‌های مختلف را تشخیص دهد. برای مثال، اگر از یک ایجنت بخواهیم کاری را انجام دهد، باید بداند کدام بخش از دستور مهم‌تر است و در صورت وجود چند خواسته، چگونه میان آن‌ها تصمیم بگیرد.

اما هم‌راستایی ارزش‌ها پیچیده‌تر است. اینجا دیگر مسئله فقط اجرای دستور نیست. سیستم باید بتواند اصولی مانند صداقت، یکپارچگی و احترام به منافع انسان را در شرایطی رعایت کند که هیچ پاسخ از پیش تعیین‌شده‌ای برای آن وجود ندارد.

مشکل زمانی جدی می‌شود که مدل وارد محیطی شود که شبیه داده‌های آموزشی آن نیست. ممکن است سیستمی در شرایط معمول رفتار مطلوبی داشته باشد، اما زمانی که برای رسیدن به هدف با مانع مواجه می‌شود، راهی پیدا کند که از نظر فنی موفقیت‌آمیز است ولی با ارزش مورد انتظار انسان سازگار نیست.

این موضوع یکی از محدودیت‌های مهم سیستم‌های پاداش‌دهی و یادگیری تقویتی است. مدل ممکن است یاد بگیرد که چگونه رفتاری را نشان دهد که از نظر معیارهای تعریف‌شده مطلوب به نظر برسد، اما در موقعیتی متفاوت همان قواعد را به شکلی دیگر تفسیر کند.

وقتی نظارت بر «افکار» مدل‌ها دیگر کافی نیست

در مدل‌های استدلالی، پژوهشگران تلاش کرده‌اند بخشی از روند حل مسئله را مشاهده کنند تا بتوانند نشانه‌های رفتارهای ناسازگار را زودتر شناسایی کنند.

تصور ساده این بود که اگر مدل پیش از ارائه پاسخ نهایی، فرایند استدلال خود را نشان دهد، می‌توان متوجه شد که آیا در حال برنامه‌ریزی برای یک رفتار مخرب است یا مسیر نادرستی را دنبال می‌کند.

اما مدل‌های جدید پیچیده‌تر شده‌اند.

آن‌ها با انسان‌ها و سایر مدل‌ها تعامل دارند، از ابزارهای متعدد کمک می‌گیرند و بخشی از محاسبات خود را به شکلی انجام می‌دهند که لزوماً به زبان طبیعی قابل مشاهده نیست. در نتیجه، آنچه ناظر می‌بیند ممکن است تمام چیزی نباشد که واقعاً در فرایند تصمیم‌گیری مدل اتفاق افتاده است.

این مسئله یک چالش بنیادی برای نظارت ایجاد می‌کند. هرچه مدل قدرتمندتر شود، اتکا به خروجی قابل مشاهده به‌تنهایی می‌تواند تصویر ناقصی از فرایند واقعی تصمیم‌گیری به ما بدهد.

پاچوکی معتقد است ترکیب بررسی زنجیره استدلال با روش‌هایی که فعالیت‌های درونی شبکه را تحلیل می‌کنند، ممکن است بتواند بخشی از این مشکل را حل کند؛ اما هم‌زمان هشدار می‌دهد که افزایش توانایی مدل‌ها احتمالاً نظارت بر رفتار آن‌ها را دشوارتر خواهد کرد.

آیا برای مقابله با هوش مصنوعی خطرناک، به هوش مصنوعی قدرتمندتر نیاز داریم؟

یکی از استدلال‌های مهم در حمایت از ادامه توسعه مدل‌های پیشرفته این است که همین فناوری می‌تواند برای مقابله با خطرهای ناشی از خودش مورد استفاده قرار گیرد.

هوش مصنوعی در حوزه امنیت سایبری به نقطه‌ای رسیده که می‌تواند بخشی از کارهایی را که پیش‌تر به متخصصان انسانی نیاز داشت، با سرعت بسیار بیشتری انجام دهد. همین قابلیت در دست افراد یا سیستم‌های مخرب می‌تواند خطرناک باشد، اما در طرف مقابل، برای پیدا کردن آسیب‌پذیری‌ها، مقاوم‌تر کردن زیرساخت‌ها و واکنش سریع‌تر به حملات نیز کاربرد دارد.

در آینده، ایجنت‌هایی ممکن است بتوانند بدون داشتن بدن فیزیکی، از طریق دسترسی به رایانه‌ها، شبکه‌ها و سرویس‌های آنلاین روی دنیای واقعی تأثیر بگذارند.

در چنین شرایطی، مرز میان «هوش مصنوعی مورد استفاده یک مهاجم» و «هوش مصنوعی که رفتار پیش‌بینی‌نشده‌ای از خود نشان می‌دهد» می‌تواند مبهم‌تر شود.

پاچوکی همچنین به خطرهای احتمالی در حوزه زیست‌فناوری اشاره می‌کند؛ جایی که مدل‌های قدرتمند می‌توانند دانش و توانایی بیشتری برای طراحی یا تحلیل عوامل زیستی در اختیار کاربران قرار دهند. البته همان ابزارها می‌توانند برای کشف آسیب‌پذیری‌ها و توسعه روش‌های دفاعی نیز به کار گرفته شوند.

به همین دلیل، او معتقد است فرصت محدودی داریم تا مدل‌های قدرتمند و هم‌راستا را برای تقویت امنیت سیستم‌های حیاتی به کار بگیریم.

سه راهکار پیشنهادی برای کنترل این مسیر

پاچوکی برای مدیریت این شرایط سه مسیر اصلی را پیشنهاد می‌کند.

راهکار اول، ساخت چیزی شبیه یک محقق هوش مصنوعی خودکار است؛ سیستمی که بتواند همگام با نسل‌های جدید مدل‌ها، روش‌های تازه‌ای برای حل مشکلات ایمنی و هم‌راستایی پیدا کند.

راهکار دوم، ایجاد استانداردهای حداقلی ایمنی و نظارت مستقل است. از این دیدگاه، شرکت‌های فناوری نباید تنها نهادهایی باشند که عملکرد و ایمنی مدل‌های خود را ارزیابی می‌کنند؛ بلکه حسابرسان مستقل یا نهادهای دولتی نیز باید نقش جدی‌تری داشته باشند.

راهکار سوم، کاهش داوطلبانه سرعت توسعه است. به این معنی که شرکت‌های بزرگ فناوری تا زمان شکل‌گیری چارچوب‌های ایمنی مشترک، بخشی از شتاب توسعه مدل‌های قدرتمندتر را کنترل کنند.

هوش مصنوعی فقط یک تهدید نیست

هشدارهای پاچوکی به این معنا نیست که آینده هوش مصنوعی الزاماً تاریک خواهد بود. برعکس، او به فرصت‌های بزرگی اشاره می‌کند که این فناوری می‌تواند ایجاد کند.

مدل‌های پیشرفته می‌توانند به پژوهشگران برای سرعت بخشیدن به کشف‌های علمی کمک کنند، مسیر توسعه داروهای جدید را کوتاه‌تر کنند، بهره‌وری را افزایش دهند و بسیاری از کارهای روزمره را ساده‌تر کنند.

مسئله اصلی، پیدا کردن تعادل میان این فرصت‌ها و ریسک‌های احتمالی است.

چالش زمانی جدی‌تر می‌شود که قدرت انجام کارهای پیچیده به تعداد محدودی از شرکت‌ها و سیستم‌های بسیار بزرگ منتقل شود. در چنین شرایطی، مسئله فقط ایمنی مدل نیست؛ بلکه تمرکز قدرت، دسترسی به فناوری و میزان اختیار انسان نیز اهمیت پیدا می‌کند.

آیا قانون‌گذاری از هوش مصنوعی عقب مانده است؟

یکی از انتقادهای مطرح‌شده این است که قوانین فعلی با سرعت توسعه هوش مصنوعی همگام نیستند.

قانون‌گذاری معمولاً فرایندی زمان‌بر است، درحالی‌که مدل‌های جدید می‌توانند در فاصله‌ای کوتاه‌تر از چرخه‌های معمول قانون‌گذاری توسعه پیدا کنند. حتی اگر یک چارچوب قانونی در یک کشور دقیق و سخت‌گیرانه باشد، همچنان ممکن است مدل‌هایی در نقاط دیگر جهان توسعه پیدا کنند و از همان ابزارها برای حمله یا سوءاستفاده استفاده شود.

منتقدان OpenAI نیز می‌گویند صرفاً توسعه سیستم‌های هوش مصنوعی بیشتر برای حل مشکلات ناشی از هوش مصنوعی، پاسخ کاملی به دغدغه‌های امنیتی نیست.

برخی متخصصان همچنین بر شفافیت بیشتر شرکت‌های فعال در این حوزه تأکید دارند. از نگاه آن‌ها، هشدار درباره خطرات هوش مصنوعی زمانی اعتماد بیشتری ایجاد می‌کند که شرکت‌ها اطلاعات دقیق‌تری درباره آنچه در آزمایشگاه‌هایشان مشاهده می‌کنند با جامعه علمی و نهادهای نظارتی به اشتراک بگذارند.

آیا هنوز می‌توان کنترل آینده هوش مصنوعی را در دست داشت؟

شاید مهم‌ترین بخش هشدار پاچوکی این نباشد که هوش مصنوعی روزی از انسان باهوش‌تر می‌شود؛ مسئله مهم‌تر، سرعتی است که این اتفاق ممکن است با آن رخ دهد.

اگر مدل‌ها بتوانند در توسعه نسل‌های بعدی خود نقش داشته باشند، اگر توانایی انسان برای تفسیر رفتار آن‌ها کاهش پیدا کند و اگر تصمیم درباره سرعت توسعه همچنان در اختیار تعداد محدودی از شرکت‌های بزرگ باشد، فاصله میان توانایی فناوری و ظرفیت نظارت انسان می‌تواند بیشتر شود.

هنوز فرصت برای تعیین قواعد این مسیر وجود دارد، اما هیچ تضمینی نیست که این فرصت همیشه باقی بماند.

هشدار پاچوکی در نهایت یک پیام ساده اما مهم دارد: قرار نیست از توسعه هوش مصنوعی صرف‌نظر کنیم؛ باید یاد بگیریم هم‌زمان با ساخت سیستم‌های قدرتمندتر، توانایی خودمان برای نظارت، کنترل و ایمن‌سازی آن‌ها را نیز افزایش دهیم.

آینده هوش مصنوعی احتمالاً نه کاملاً متعلق به ماشین‌ها خواهد بود و نه کاملاً تحت کنترل انسان. آنچه مسیر این آینده را مشخص می‌کند، تصمیم‌هایی است که امروز درباره سرعت توسعه، ایمنی، شفافیت و نحوه استفاده از این فناوری می‌گیریم.

گارانتی آونگ؛ یک انتخاب مطمئن در دنیای تکنولوژی

هرچه فناوری پیچیده‌تر و پیشرفته‌تر می‌شود، اهمیت خدمات پس از فروش و پشتیبانی مطمئن هم بیشتر خواهد شد. هنگام خرید تجهیزات دیجیتال و محصولات تکنولوژی، فقط مشخصات فنی و امکانات دستگاه مهم نیست؛ اینکه در صورت بروز مشکل، چه مجموعه‌ای مسئول ارائه خدمات و پشتیبانی است نیز اهمیت زیادی دارد.

گارانتی آونگ با ارائه خدمات گارانتی و پشتیبانی پس از فروش برای محصولات تحت پوشش خود، تلاش می‌کند تجربه استفاده از تکنولوژی را برای کاربران مطمئن‌تر کند. انتخاب محصولی که از گارانتی معتبر برخوردار است، یعنی بخشی از دغدغه‌های بعد از خرید را هم از همان ابتدا مدیریت کرده‌اید.

در دنیایی که فناوری با سرعت زیادی تغییر می‌کند، داشتن یک پشتوانه قابل‌اعتماد می‌تواند به اندازه انتخاب خود محصول مهم باشد؛ آونگ، همراه مطمئن شما در دنیای تکنولوژی.