Anthropic در حال تامین بودجه ابتکاری برای توسعه استانداردهای جدید هوش مصنوعی شخص ثالث برای ارزیابی مدل‌های هوش مصنوعی است

آنتروپیک روز سه شنبه از ابتکار جدیدی برای توسعه استانداردهای جدید برای آزمایش قابلیت های مدل های پیشرفته هوش مصنوعی خبر داد. شرکت هوش مصنوعی این پروژه را تامین مالی خواهد کرد و از علاقه مندان درخواست کرده است. این شرکت گفت استانداردهای فعلی برای آزمایش کامل قابلیت ها و تاثیر مدل های زبان بزرگ جدیدتر کافی نیستند. به گفته آنتروپیک، در نتیجه، نیاز به توسعه مجموعه جدیدی از ارزیابی‌ها با تمرکز بر ایمنی هوش مصنوعی، قابلیت‌های پیشرفته و تأثیرات اجتماعی وجود دارد.

Anthropic برای تامین بودجه استانداردهای جدید برای مدل های هوش مصنوعی

در یک پست اتاق خبر، آنتروپیک بر نیاز به یک سیستم ارزیابی جامع شخص ثالث برای غلبه بر محدوده محدود استانداردهای فعلی تاکید کرد. این شرکت هوش مصنوعی اعلام کرد که از طریق ابتکار خود، سازمان‌های خارجی را که می‌خواهند ارزیابی‌های جدیدی از مدل‌های هوش مصنوعی ایجاد کنند که بر کیفیت و استانداردهای ایمنی بالا تمرکز می‌کنند، تامین مالی خواهد کرد.

برای Anthropic، حوزه‌های با اولویت بالا شامل وظایف و سوالاتی است که می‌تواند سطوح امنیتی هوش مصنوعی LLM (ASL)، قابلیت‌های پیشرفته در تولید ایده‌ها و پاسخ‌ها، و همچنین تأثیر اجتماعی این قابلیت‌ها را اندازه‌گیری کند.

تحت دسته ASL، این شرکت چندین معیار را برجسته کرد که شامل توانایی مدل‌های هوش مصنوعی برای کمک یا عمل مستقل در اجرای حملات سایبری، توانایی مدل‌ها برای کمک به ایجاد یا افزایش دانش در مورد خطرات شیمیایی، بیولوژیکی، رادیولوژیکی و هسته‌ای (CBRN) می‌شود. ایجاد و ارزیابی ریسک امنیتی ملی و موارد دیگر.

با توجه به قابلیت‌های پیشرفته، آنتروپیک تأکید کرد که استانداردها باید بتوانند پتانسیل هوش مصنوعی را برای تغییر تحقیقات علمی، مشارکت و رد کردن به سمت آسیب و قابلیت‌های چند زبانه ارزیابی کنند. علاوه بر این، شرکت هوش مصنوعی گفت که درک پتانسیل مدل هوش مصنوعی برای تأثیرگذاری بر جامعه ضروری است. برای این منظور، ارزیابی‌ها باید بتوانند مفاهیمی مانند «سوگیری‌های مضر، تبعیض، وابستگی بیش از حد، وابستگی، دلبستگی، تأثیر روانی، تأثیرات اقتصادی، همگنی، و سایر تأثیرات گسترده اجتماعی» را هدف قرار دهند.

علاوه بر این، شرکت هوش مصنوعی نیز برخی از اصول را برای ارزیابی خوب فهرست کرده است. او گفت که ارزیابی‌ها نباید در داده‌های آموزشی استفاده‌شده توسط هوش مصنوعی در دسترس باشند، زیرا اغلب به یک آزمون حفظی برای مدل‌ها تبدیل می‌شوند. همچنین حفظ بین 1000 تا 10000 کار یا سؤال برای آزمایش هوش مصنوعی را تشویق می کند. همچنین از سازمان‌ها خواست تا از کارشناسان موضوعی برای ایجاد وظایفی که عملکرد را در یک حوزه خاص آزمایش می‌کنند، استفاده کنند.