خبر

  • تک بورد - تلاش برای کاهش نژادپرستانه و وحشتناک بودن هوش مصنوعی مبتنی بر متن

    تلاش برای کاهش نژادپرستانه و وحشتناک بودن هوش مصنوعی مبتنی بر متن
    6 روز و 12 ساعت قبل

    محققان برای حل مسئله تقویت کلیشه های منفی روش های مختلفی را امتحان می کنند.
    در ژوئیه سال 2020 ، OpenAI GPT-3 ، یک مدل زبان هوش مصنوعی را که به سرعت از رایانه ها شعر ، مقالات خبری و کد برنامه نویسی می کند ، هیجان زده کرد. به همین سرعت ، بعضی اوقات بد دهان و سمی نشان داده شد. OpenAI گفت که در حال اصلاح است ، اما این شرکت اخیراً کشف کرده است که GPT-3 برای تولید پورنو کودکان استفاده می شود.

    اکنون محققان OpenAI می گویند که آنها راهی برای کاهش متن سمی GPT-3 با تغذیه برنامه تقریباً 100 نمونه دائرlopالمعارف مانند نوشتن توسط متخصصان انسانی در مورد موضوعاتی مانند تاریخ و فناوری بلکه سو but استفاده ، خشونت و بی عدالتی پیدا کرده اند.

    پروژه OpenAI نشان می دهد که چگونه صنعت فناوری در تلاش است جنبه تاریکی از فناوری را نشان دهد که پتانسیل زیادی را نشان می دهد اما همچنین می تواند اطلاعات نادرست را گسترش دهد و تعصبات را ادامه دهد. نتیجه بسیار زیادی است: شرکت های بزرگ فناوری به سرعت در حال ارائه خدمات مبتنی بر این مدل های بزرگ زبان هستند که می تواند متن را تفسیر یا تولید کند. گوگل آنها را در آینده جستجو فراخوانی می کند و مایکروسافت از GPT-3 برای برنامه نویسی استفاده می کند. در یک توسعه بالقوه شوم تر ، گروه ها در حال کار بر روی نسخه های منبع باز این مدل های زبان هستند که می توانند همان نقاط ضعف را نشان دهند و آنها را به طور گسترده تری به اشتراک بگذارند. بنابراین محققان به دنبال درک این هستند که چگونه موفقیت می یابند ، در کجاها کوتاه می آیند و چگونه می توانند پیشرفت کنند.

    ابوبکر آبید مدیرعامل استارت آپ آزمایش یادگیری ماشین Gradio است و از جمله اولین افرادی بود که به آنها توجه کرد تعصب GPT-3 در برابر مسلمانان. در طی کارگاهی در دسامبر سال 2020 ، Abid نحوه تولید متن درباره ادیان توسط GPT-3 را با استفاده از عبارت "Two ___ walk into a" بررسی کرد. با نگاهی به 10 پاسخ اول برای ادیان مختلف ، او دریافت كه GPT-3 خشونت هر كدام را برای یهودیان ، بودایی ها و سیك ها ، دو بار برای مسیحیان ، اما 9 مورد از 10 بار برای مسلمانان ذکر كرده است. در مقاله ای در اوایل سال جاری ، Abid و چند نویسنده نشان دادند كه تزریق متن مثبت درباره مسلمانان به یك الگوی بزرگ باعث كاهش تقریبا 40 درصد در موارد خشونت در مورد مسلمانان می شود.

    محققان دیگر در حال تلاش برای رویكردهای مختلف هستند. . امیلی دینان ، مهندس تحقیق در Facebook AI Research ، در حال آزمایش روش های از بین بردن متن سمی با ساخت بیشتر آن است. دینان پیمانکاران آمازون مکانیک ترک را استخدام می کند تا در مکالمه با مدل های زبانی حرف های افتضاحی بزنند تا آنها را تحریک کند تا سخنان نفرت ، فحش و توهین ایجاد کنند. سپس انسان ها خروجی ها را برچسب ایمن یا ناامن می زنند. این برچسب ها به آموزش AI برای شناسایی گفتار سمی کمک می کند.

    GPT-3 توانایی چشمگیری در درک و نوشتن زبان نشان داده است. این می تواند بهتر از اکثر افراد به سATالات قیاس SAT پاسخ دهد ، و بدون اینکه فهمیده شود توانست کاربران Reddit را گول بزند.

    اما حتی سازندگان آن نیز از گرایش GPT-3 برای ایجاد نژادپرستی و تبعیض جنسی مطلع بودند. OpenAI پیش از صدور مجوز برای توسعه دهندگان ، در ماه مه سال 2020 مقاله ای را منتشر کرد با آزمایشاتی که نشان داد GPT-3 نظر عموماً نسبت به سیاه پوستان دارد و تبعیض جنسی و سایر اشکال تعصبات را به نمایش می گذارد. علیرغم این یافته ها ، OpenAI اعلام کرد که یک ماه بعد قصد دارد این فناوری را تجاری کند. این یک تضاد شدید با نحوه استفاده OpenAI از نسخه قبلی مدل ، GPT-2 ، در سال 2019 است. سپس ، در ابتدا فقط نسخه های کوچک مدل را منتشر کرد. در همان زمان ، شرکای دانشگاهی مطالعات متعددی را در مورد چگونگی سو استفاده از مدل های بزرگ زبانی یا تأثیر سو ad بر آن در جامعه منتشر کردند.

    تبلیغات

    در مقاله اخیر که روش های کاهش سمیت GPT-3 را برجسته می کند ، OpenAI آزمایشات را فاش کرد نشان دادن نسخه پایه GPT-3 از برخی افراد به عنوان حیوان یاد می کند و افراد سفیدپوست را با اصطلاحاتی مانند "برتری" و "برتری" مرتبط می کند. چنین زبانی کلیشه های دیرینه را تداوم می بخشد و افراد غیر سفید پوست را از انسانیت دور می کند. GPT-3 همچنین شوخی های نژادپرستانه می کند ، تروریسم را تأیید می کند و مردم را به تجاوزگر متهم می کند.

    در آزمایشی دیگر ، Xudong Shen ، دانشجوی دکترای دانشگاه ملی سنگاپور ، مدل های زبان را بر اساس میزان کلیشه آنها ارزیابی کرد. با توجه به جنسیت یا اینکه آنها به عنوان کوئر ، تراجنسیتی یا غیر دودویی شناخته می شوند. وی دریافت که برنامه های بزرگتر هوش مصنوعی تمایل به کلیشه سازی بیشتر دارند. شن می گوید سازندگان مدل های بزرگ زبان باید این نقص ها را اصلاح کنند. محققان OpenAI همچنین دریافتند که مدل های زبانی با بزرگتر شدن سمی تر می شوند. آنها می گویند که دلیل این مسئله را نمی فهمند.

    متن تولید شده توسط مدل های بزرگ زبان هر چه بیشتر به زبانی نزدیک می شود که به نظر می رسد از نظر انسان به نظر می رسد یا به نظر می رسد از یک انسان سرچشمه می گیرد ، اما هنوز هم قادر به درک مواردی نیست که نیاز به استدلال دارند که تقریباً همه مردم آن را درک می کنند. به عبارت دیگر ، همانطور که برخی از محققان گفتند ، این هوش مصنوعی یک مزخرف خارق العاده است ، قادر است هم محققان هوش مصنوعی و هم افراد دیگر را متقاعد کند که ماشین کلمات تولید شده را درک می کند.

    استاد روانشناسی UC برکلی ، آلیسون گوپنیک ، نحوه مطالعه را مطالعه می کند کودکان نوپا و جوانان می آموزند که این درک را در محاسبات بکار گیرند. وی گفت ، كودكان بهترین یادگیرنده هستند و نحوه یادگیری زبان بچه ها عمدتا از دانش و تعامل آنها با دنیای اطرافشان ناشی می شود. برعکس ، مدل های بزرگ زبان هیچ ارتباطی با جهان ندارند و باعث می شود که تولید آنها در واقعیت کمتر باشد.

    "تعریف آزار و اذیت این است که شما زیاد صحبت می کنید و به نوعی قابل قبول به نظر می رسد ، اما هیچ عقیده مشترکی وجود ندارد. آن ، "Gopnik می گوید.

    یجین چوی ، دانشیار دانشگاه واشنگتن و رهبر گروهی که در موسسه آلن برای هوش مصنوعی تحصیل می کنند ، GPT-3 را از طریق ده ها آزمایش و آزمایش انجام داده است. برای مستند کردن اینکه چگونه می تواند اشتباه کند گاهی تکرار می شود. در سایر مواقع ، حتی در صورت شروع متنهای مضر و مضر به تولید زبان سمی تبدیل می شود.

    برای آموزش بیشتر هوش مصنوعی در مورد جهان ، چوی و تیمی از محققان PIGLeT را ایجاد کردند ، هوش مصنوعی در یک محیط شبیه سازی شده برای درک چیزها آموزش دیده است. در مورد تجربه فیزیکی که افراد در بزرگسالی یاد می گیرند ، مانند اینکه فکر بدی است که یک اجاق گاز را لمس کنید. این آموزش باعث شد که یک مدل نسبتاً کوچک زبان نسبت به دیگران در انجام وظایف استدلال منطقی بهتر عمل کند. او گفت ، این نتایج نشان می دهد که مقیاس تنها دستورالعمل برنده نیست و محققان باید روش های دیگری برای آموزش مدل ها در نظر بگیرند. هدف او: "آیا ما واقعاً می توانیم الگوریتمی برای یادگیری ماشین بسازیم که بتواند دانش انتزاعی در مورد چگونگی کار دنیا را بیاموزد؟"

    چوی همچنین در حال کار بر روی روش هایی برای کاهش سمیت مدل های زبانی است. در اوایل این ماه ، او و همکارانش الگوریتمی را ارائه دادند که از متن توهین آمیز یاد می گیرد ، شبیه رویکردی که Facebook AI Research در پیش گرفته است. آنها می گویند سمیت را بهتر از چندین روش موجود کاهش می دهد. او می گوید: مدل های بزرگ زبانی می توانند به دلیل وجود انسان سمی باشند. "این زبانی است که وجود دارد."

    تبلیغات

    به طور انحرافی ، برخی از محققان دریافته اند که تلاش برای تنظیم دقیق و حذف تعصب از مدل ها می تواند به افراد حاشیه ساز آسیب برساند. در مقاله ای که در ماه آوریل منتشر شد ، محققان دانشگاه UC Berkeley و دانشگاه واشنگتن دریافتند كه سیاه پوستان ، مسلمانان و افرادی كه خود را به عنوان LGBT معرفی می كنند به ویژه از محروم هستند.

    نویسندگان می گویند این مسئله تا حدودی ناشی می شود ، از انسانهایی که برچسب داده ها را قضاوت می کنند که آیا زبان سمی است یا نه. این امر منجر به تعصب در برابر افرادی می شود که متفاوت از سفیدپوستان از زبان استفاده می کنند. نویسندگان این مقاله می گویند که این می تواند منجر به لکه بینی و آسیب روانی شود و همچنین مردم را مجبور به تغییر کد کند. محققان OpenAI در مقاله اخیر خود به این موضوع نپرداخته اند.

    جسی داج ، دانشمند تحقیقاتی در موسسه آلن برای هوش مصنوعی ، به نتیجه مشابهی رسید. وی به دنبال كاهش كلیشه های منفی همجنسگرایان و لزبین ها با حذف از متن آموزش مدل زبان بزرگ هر متنی بود كه حاوی واژه های "همجنسگرا" یا "لزبین" باشد. وی دریافت که چنین تلاش هایی برای فیلتر کردن زبان می تواند منجر به مجموعه داده هایی شود که افراد با این هویت را به طور مثر پاک می کند ، و باعث می شود مدل های زبانی توانایی مدیریت متن نوشته شده توسط یا در مورد آن گروه از افراد را نداشته باشند.

    Dodge بهترین راه را می گوید مقابله با تعصب و نابرابری به منظور تلاش برای حذف تعصب پس از واقعیت ، بهبود داده های مورد استفاده برای آموزش مدل های زبان است. وی توصیه می کند که منبع داده های آموزش بهتر ثبت شود و محدودیت های متن خالی از وب را شناسایی کنید ، که ممکن است بیش از حد افرادی که توانایی دسترسی به اینترنت را دارند و وقت لازم برای ایجاد یک وب سایت یا ارسال نظر را دارند ، بیش از حد نمایان شود. او همچنین اصرار دارد که چگونه فیلتر محتوای مورد نظر را فیلتر کرده و از استفاده پنهان از لیست های مسدود کننده برای فیلتر کردن محتوای خراشیده شده از وب جلوگیری کند.

    Dodge برای پیاده سازی استانداردها و ایجاد کار بر روی دیگران ، یک چک لیست برای محققان با حدود 15 نقطه داده ایجاد کرد. . تاکنون بیش از 10000 بار از چک لیست استفاده شده است تا محققان را ترغیب به درج اطلاعات ضروری برای بازتولید نتایج خود کند. مقالاتی که بیشتر موارد چک لیست را داشتند با احتمال بیشتری در کنفرانسهای تحقیقاتی یادگیری ماشین پذیرفته می شدند. داج می گوید بیشتر مدل های بزرگ زبان فاقد برخی موارد در لیست چک هستند ، مانند پیوند به کد منبع یا جزئیات مربوط به داده های مورد استفاده برای آموزش یک مدل هوش مصنوعی. از هر سه مقاله منتشر شده یک پیوند برای کدگذاری برای تأیید نتایج به اشتراک نمی گذارد.

    اما Dodge همچنین شاهد موارد سیستماتیک بیشتری در کار است. وی می گوید ، فشار فزاینده ای برای انتقال سریع هوش مصنوعی از تحقیقات مربوط به تولید وجود دارد ، که به گفته وی می تواند محققان را به انتشار کارهایی در مورد چیزهای مرسوم ، مد روز و بدون مستندات مناسب ادامه دهد.

    در مطالعه اخیر دیگری ، محققان مایکروسافت با 12 فناوری مصاحبه کارگران با استفاده از فن آوری زبان AI و دریافتند که تیم های محصول برنامه ریزی کمی برای چگونگی اشتباه الگوریتم ها انجام می دهند. نمونه سازی اولیه ویژگی هایی مانند کمک نوشتاری که متن یا تکمیل جستجو را پیش بینی می کند ، تمرکز خود را بر روی سناریوهایی قرار می دهد که م theلفه هوش مصنوعی کاملاً کار می کند. پروژه ای که باید در اولین مراحل در مورد شکست فناوری متن AI فکر و طراحی شود. در حال آزمایش در داخل مایکروسافت است تا بتواند آن را به ابزاری استاندارد برای تیم های تولیدی تبدیل کند. متیو هونگ ، محقق دانشگاه واشنگتن که با سه همکار در حالی که در مایکروسافت بود ، روی این مطالعه کار کرد ، می گوید این مطالعه نشان می دهد که چگونه فناوری زبان AI از برخی جهات سریعتر از فرهنگ صنعت نرم افزار تغییر کرده است. او می گوید: "رشته ما در تلاش است تا AI را در محصولات مختلف ادغام كند ، دردهای زیادی را تجربه می كند." "مردم به سختی می توانند [و] پیش بینی یا برنامه ریزی کنند تا شکستهای هوش مصنوعی را جبران کنند."





خبرهای دیگر از علوم پایه