TL;DR
- 2 آوریل 2025 مسئولیت و ایمنی آنکا دراگان،.
- روهین شاه،.
- فور فلین و شین لگ ما در حال بررسی مرزهای AGI هستیم،.
چه اتفاقی افتاد
2 آوریل 2025 مسئولیت و ایمنی آنکا دراگان،. روهین شاه،.
فور فلین و شین لگ ما در حال بررسی مرزهای AGI هستیم،. آمادگی،.
ارزیابی ریسک فعال و همکاری با جامعه گستردهتر هوش مصنوعی را در اولویت قرار میدهیم. سالهای آینده.
AGI با قابلیتهای عاملی یکپارچه،. میتواند هوش مصنوعی را برای درک،.
استدلال،. برنامهریزی و اجرای مستقل اقدامات تقویت کند.
چنین پیشرفتهای تکنولوژیکی ابزارهای ارزشمندی را برای مقابله با چالشهای جهانی مهم،. از جمله کشف دارو،.
رشد اقتصادی و تغییرات آب و هوایی در اختیار جامعه قرار میدهد. برای مثال، با فعال کردن تشخیصهای پزشکی سریعتر و دقیقتر، میتواند مراقبتهای بهداشتی را متحول کند.
با ارائه تجارب یادگیری شخصی، میتواند باعث شود آموزش در دسترستر و جذابتر است. با تقویت پردازش اطلاعات، AGI میتواند به کاهش موانع نوآوری و خلاقیت کمک کند.
با دموکراتیک کردن دسترسی به ابزارها و دانش پیشرفته،. میتواند یک کوچک را قادر سازد تا با چالشهای پیچیدهای که قبلاً فقط توسط مؤسسات بزرگ و دارای.
بودجه خوب قابل رسیدگی بود،. مقابله کند.
پیمایش در مسیر AGI ما نسبت به پتانسیل AGI خوشبین هستیم. این قدرت را دارد که دنیای ما را متحول کند و بهعنوان یک کاتالیزور برای پیشرفت در بسیاری.
از زمینههای زندگی عمل کند. اما با هر فناوری به این قدرتمندی ضروری است که حتی یک احتمال کوچک آسیب را جدی گرفت.
و از آن جلوگیری کرد. کاهش چالشهای ایمنی AGI مستلزم برنامهریزی، آماده سازی و همکاری پیشگیرانه است.
پیش از این،. ما رویکرد خود را به AGI در مقاله چارچوب "سطوح AGI" معرفی کردیم که دیدگاهی در طبقه بندی.
قابلیتهای سیستمهای هوش مصنوعی پیشرفته،. درک و درک با مقایسه عملکرد آنها،.
ارزیابی خطرات بالقوه،. و سنجش پیشرفت به سمت هوش مصنوعی عمومیتر و توانمندتر.
امروز،. در حالی که در مسیر این فناوری تحولآفرین حرکت میکنیم،.
نظرات خود را در مورد ایمنی و امنیت AGI به اشتراک میگذاریم. این مقاله جدید،.
با عنوان رویکردی به ایمنی و امنیت AGI فنی،. نقطه شروعی برای گفتگوهای حیاتی با صنعت گستردهتر در مورد چگونگی نظارت بر پیشرفت AGI و اطمینان.
از توسعه ایمن و مسئولانه آن است. در این مقاله،.
نحوه اتخاذ یک رویکرد سیستماتیک و جامع برای ایمنی AGI،. بررسی چهار حوزه خطر نادرست،.
تصادفات و ساختارهای مخاطره آمیز را شرح میدهیم:. تمرکز عمیقتر بر سوء استفاده و ناهماهنگی.
درک و پرداختن به پتانسیل سوء استفاده سوء استفاده زمانی رخ میدهد که انسان عمداً از یک. سیستم هوش مصنوعی برای اهداف مضر استفاده میکند.
بینش بهبود یافته در مورد آسیبها و اقدامات کاهشی امروزی همچنان ادامه دارد. درک ما از آسیبهای شدید طولانیمدت و نحوه پیشگیری از آنها را افزایش دهیم.
برای مثال، سوء استفاده از هوش مصنوعی مولد امروزی شامل تولید محتوای مضر یا انتشار اطلاعات نادرست است. در آینده،.
سیستمهای هوش مصنوعی پیشرفته ممکن است این ظرفیت را داشته باشند که بهطور چشمگیری بر باورها و رفتارهای. عمومیتأثیر بگذارند به گونهای که میتواند منجر به پیامدهای ناخواسته اجتماعی شود.
شدت بالقوه چنین آسیبی مستلزم اقدامات پیشگیرانه ایمنی و امنیتی است. همانطور که در مقاله به جزئیات میپردازیم،.
عنصر کلیدی استراتژی ما شناسایی و محدود کردن دسترسی به قابلیتهای خطرناک است. اقدامات کاهشی برای جلوگیری از سوء استفاده از هوش مصنوعی پیشرفته این شامل مکانیسمهای امنیتی پیچیدهای است که.
میتواند مانع از دسترسی عوامل مخرب به وزنهای مدل شود که به آنها اجازه میدهد امنیت ما را. دور بزنند.
نردههای محافظ؛ اقدامات کاهشی که پتانسیل سوء استفاده را در هنگام استقرار مدل محدود میکند. و تحقیقات مدلسازی تهدید که به شناسایی آستانههای توانایی در مواردی که افزایش امنیت ضروری است کمک میکند.
علاوه بر این،. چارچوب ارزیابی امنیت سایبری ما که اخیراً راه اندازی شده است،.
این گام کاری را برای کمک به کاهش تهدیدات مبتنی بر هوش مصنوعی یک گام فراتر میبرد. حتی امروز،.
ما مرتباً پیشرفتهترین مدلهای خود مانند Gemini را برای قابلیتهای خطرناک بالقوه ارزیابی میکنیم. چارچوب ایمنی مرزی ما عمیقتر به چگونگی ارزیابی قابلیتها و به کارگیری اقدامات کاهشی،.
از جمله خطرات امنیت سایبری و امنیت زیستی میپردازد. چالش ناهماهنگی برای اینکه AGI واقعاً مکمل تواناییهای انسانی باشد، باید با ارزشهای انسانی همسو باشد.
ناهماهنگی زمانی اتفاق میافتد که سیستم هوش مصنوعی هدفی را دنبال میکند که با اهداف انسان. متفاوت است.
ما قبلاً با مثالهای خود نشان داده ایم که چگونه ناهماهنگی میتواند ایجاد شود. بازی با مشخصات،.
که در آن هوش مصنوعی راهحلی برای دستیابی به اهداف خود پیدا میکند،. اما نه به روشی که انسان به آن دستور میدهد،.
و هدف را نادرست تعمیم میدهد. برای مثال،.
یک سیستم هوش مصنوعی که از آن خواسته میشود بلیط یک فیلم را رزرو کند،. ممکن است تصمیم بگیرد که سیستم فروش بلیط را هک کند تا صندلیهای اشغال شده را بدست.
آورد - چیزی که شخصی که از او میخواهد صندلیها را بخرد،. ممکن است تحقیقات جدی را نیز در نظر نگیرد.
یعنی خطر آگاه شدن یک سیستم هوش مصنوعی از اینکه اهدافش با دستورالعملهای انسانی همسو نیست،. و عمداً تلاش میکند تا اقدامات ایمنی را که توسط انسانها برای جلوگیری از انجام اقدامات ناهنجار در.
نظر گرفته شده دور بزند. مقابله با ناهماهنگی هدف ما این است که سیستمهای هوش مصنوعی پیشرفتهای داشته باشیم که برای دنبال کردن.
اهداف درست آموزش دیده باشند،. بنابراین آنها دستورالعملهای انسانی بالقوه را به دقت دنبال میکنند تا از کوتاهبرهای آن جلوگیری کنند.
این از طریق نظارت تقویتشده،. یعنی قادر به تشخیص اینکه آیا پاسخهای هوش مصنوعی برای دستیابی به آن هدف خوب هستند یا بد.
اگرچه این کار اکنون نسبتاً آسان است،. اما زمانی که هوش مصنوعی دارای قابلیتهای پیشرفته باشد،.
میتواند چالش برانگیز شود. بهعنوان مثال،.
حتی کارشناسان Go متوجه نشدند که Move 37،. حرکتی که احتمال استفاده از آن 1 در 10000 بود،.
در زمانی بود که AlphaGo برای اولین بار آن را اجرا کرد،. چقدر خوب بود.
پاسخ خوب است،. ما میتوانیم از این برای ساخت یک سیستم هوش مصنوعی ایمن و هم تراز استفاده کنیم.
یک چالش در اینجا این است که بفهمیم سیستم هوش مصنوعی را بر روی چه مشکلات یا نمونه. هایی آموزش دهیم.
از طریق کار بر روی آموزش قوی،. تخمین عدم قطعیت و موارد دیگر،.
میتوانیم طیف وسیعی از موقعیتهایی را که یک سیستم هوش مصنوعی در سناریوهای دنیای واقعی با آن مواجه. میشود پوشش دهیم و هوش مصنوعی قابل اعتماد ایجاد کنیم.
از طریق موثر با نظارت و تدابیر امنیتی رایانهای ایجاد شده،. هدف ما کاهش آسیبهایی است که ممکن است در صورتی که سیستمهای هوش مصنوعی ما اهداف.
ناهماهنگی را دنبال کنند،. رخ دهد.
نظارت شامل استفاده از یک سیستم هوش مصنوعی به نام مانیتور برای شناسایی اقداماتی است که با اهداف. ما همسو نیستند.
این مهم است که مانیتور بداند چه زمانی از ایمن بودن یک عمل اطلاعی ندارد. هنگامیکه مطمئن نیست،.
باید یا اقدام را رد کند یا اقدام را برای بررسی بیشتر علامت گذاری کند. فعال کردن شفافیت اگر تصمیمگیری هوش مصنوعی شفافتر شود، همه اینها آسانتر میشود.
ما تحقیقات گستردهای را در زمینه تفسیرپذیری با هدف افزایش این شفافیت انجام میدهیم. برای تسهیل بیشتر این امر، سیستمهای هوش مصنوعی را طراحی میکنیم که درک آنها آسانتر است.
برای مثال،. هدف تحقیق ما در مورد بهینهسازی نزدیکبین با تأیید غیر نزدیکبین (MONA) این است که اطمینان حاصل شود.
که هر برنامهریزی بلندمدتی که توسط سیستمهای هوش مصنوعی انجام میشود برای انسان قابل فهم باقی بماند. این است به ویژه با پیشرفت فناوری مهم است.
کار ما روی MONA اولین کاری است که مزایای ایمنی بهینهسازی کوتاهمدت را در LLM نشان میدهد. ایجاد یک اکوسیستم برای آمادگی AGI به رهبری Shane Legg،.
یکی از بنیانگذاران و دانشمند ارشد AGI در Google DeepMind،. شورای ایمنی AGI ما (ASC) خطرات AGI و بهترین اقدامات ایمنی را تجزیه و تحلیل میکند.
ASC از نزدیک با شورای مسئولیت و ایمنی،. گروه بازبینی داخلی ما به ریاست مشترک لیلا ابراهیم و مدیر ارشد مسئولیت هلن کینگ،.
برای ارزیابی تحقیقات AGI،. پروژهها و همکاریها بر خلاف اصول هوش مصنوعی،.
مشاوره و مشارکت با تیمهای تحقیقاتی و محصول در مورد بالاترین تأثیرگذاری کار ما و تکمیل ایمنی AGI. همکاری میکند.
طیف گستردهای از مسائل،. از جمله محتوای مضر،.
سوگیری،. و شفافیت ما همچنین به استفاده از آموختههای خود از ایمنی در آژانسها،.
مانند اصل حضور یک انسان در حلقه برای بررسی اقدامات بعدی،. اطلاعرسانی به رویکرد خود برای ایجاد مسئولیتپذیری AGI ادامه میدهیم.
در خارج،. ما در تلاش هستیم تا همکاری با کارشناسان،.
صنعت،. دولتها،.
های غیرانتفاعی و های جامعه مدنی را تقویت کنیم،. و برای توسعه روشی آگاهانه با شرکای AGI تلاش کنیم.
های تحقیقاتی ایمنی هوش مصنوعی،. از جمله Apollo و Redwood Research،.
که در آخرین نسخه چارچوب ایمنی مرزی ما در مورد یک بخش ناهماهنگی اختصاصی مشاوره دادهاند. امیدواریم از طریق گفتوگوی مداوم با ذینفعان خطمشی در سطح جهان،.
به اجماع بینالمللی در مورد مسائل حیاتی امنیت و امنیت مرزها،. از جمله اینکه چگونه میتوانیم به بهترین شکل ممکن خطرات جدید را پیشبینی کنیم و آماده کنیم.
صنعت - از طریق هایی مانند فروم مدل مرزی - برای به اشتراک گذاشتن و توسعه بهترین شیوهها،. و همچنین همکاریهای ارزشمند با مؤسسات هوش مصنوعی در زمینه آزمایش ایمنی.
در نهایت،. ما معتقدیم که یک رویکرد هماهنگ بینالمللی برای حکمرانی برای اطمینان از بهرهمندی جامعه از سیستمهای هوش مصنوعی.
پیشرفته حیاتی است. آموزش محققان و کارشناسان هوش مصنوعی در مورد ایمنی AGI برای ایجاد یک پایه قوی برای توسعه آن.
ضروری است. به این ترتیب،.
ما یک دوره جدید در مورد ایمنی AGI برای دانشجویان،. محققان و متخصصان علاقهمند به این موضوع راهاندازی کرده ایم.
در نهایت،. رویکرد ما به ایمنی و امنیت AGI بهعنوان یک نقشه راه حیاتی برای رسیدگی به بسیاری از چالشهای.
باز باقی مانده است. ما مشتاقانه منتظر همکاری با جامعه تحقیقاتی گستردهتر هوش مصنوعی هستیم تا AGI را مسئولانه پیش ببریم و.
به ما کمک کنیم تا مزایای بیشمار این فناوری را برای همه باز کنیم.
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.