خبر

  • تک بورد - مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبانی جهان را تا به امروز خلق کرده اند ، اما هنوز مغرضانه است

    مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبانی جهان را تا به امروز خلق کرده اند ، اما هنوز مغرضانه است
    6 روز و 12 ساعت قبل

    هزینه های مربوط به آموزش مدل هوش مصنوعی بین سالهای 2017 تا 2019 بیش از 100 بار کاهش یافته است ، با این حال تا به امروز برای اکثر استارتاپ ها همچنان گران است. این به طور طبیعی به نفع شرکت های بزرگی مانند انویدیا و مایکروسافت است که از استعداد و سرمایه مهندسی باور نکردنی برای ایجاد مدل های هوش مصنوعی بزرگتر و تواناتر برای استفاده در پردازش زبان طبیعی ، افزایش نتایج موتورهای جستجو ، بهبود فناوری خودر

    انویدیا و مایکروسافت روز دوشنبه اعلام کردند که روی چیزی به نام "مدل تولید زبان طبیعی مگاترون تورینگ" همکاری می کنند. این دو شرکت ادعا می کنند که بزرگترین و تواناترین "مدل یکپارچه زبان ترانسفورماتور جهان" را آموزش داده اند.

     https://techbord.com مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبانی جهان را تا به امروز خلق کرده اند ، اما هنوز تعصبی ندارد

    برای اینکه بدانید چقدر بزرگ است است ، GPT-3 معروف که در چند سال گذشته خبرهای زیادی را منتشر کرده است ، در حال حاضر 175 میلیارد پارامتر دارد. در مقایسه ، مدل جدید MT-NLG دارای 105 لایه است و کمتر از 530 میلیارد پارامتر ندارد.

    MT-NLG جانشین مدلهای Turing NLG 17B و Megatron-LM است و توانست نشان دهد " دقت بی نظیر "در انواع وظایف زبان طبیعی مانند درک خواندن ، استدلال عقل سلیم ، پیش بینی تکمیل ، ابهام زدایی از کلمه و استنباط های زبان طبیعی.

     https://techbord.com مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبانی دنیا را تا به امروز خلق کرده اند ، اما هنوز تعصب دارد

    تصویر : GPU A100 Nvidia

    Nvidia و مایکروسافت این مدل هوش مصنوعی بزرگ را در یک ابررایانه به نام Selene آموزش داده اند. این سیستم شامل 560 سرور Nvidia DGX A100 است که هریک دارای هشت پردازنده گرافیکی A100 مجهز به 80 گیگابایت VRAM است که از طریق رابط NVLink و NVSwitch متصل می شوند. مایکروسافت توجه دارد که این پیکربندی شبیه معماری مرجع مورد استفاده در ابر رایانه های Azure NDv4 ابر است.

    جالب است که Selene همچنین از پردازنده های AMD EPYC 7742 پشتیبانی می کند. با توجه به افرادی که در The Next Platform حضور دارند ، هزینه ساخت Selene 85 میلیون دلار است-اگر 75٪ تخفیف برای تجهیزات مرکز داده در نظر بگیریم.

    مایکروسافت می گوید MT-NLG بر روی 15 مجموعه داده شامل بیش از 339 میلیارد توکن مجموعه داده ها از منابع وب انگلیسی زبان ، مانند مجلات دانشگاهی ، انجمن های آنلاین مانند ویکی پدیا و Stack Exchange ، مخازن کد مانند GitHub ، وب سایت های خبری و موارد دیگر گرفته شده است. بزرگترین مجموعه داده The Pile نام دارد و 835 گیگابایت وزن دارد. مجموعه داده های شمع 4.4 2.9 1.8 مجموعه داده ویکی پدیا 4.2 4.8 3.2 مجموعه داده Gutenberg (PG-19) 2.7 0.9 0.9 0.9 0.9 0.9 0.9 0.9 مجموعه داده GitHub Pile 24.3 1.6 0.2 CC-2020-50 تصویر معمولی Crawl (CC) 68.7 13.0 0.5 CC-2021-04 عکسبرداری مشترک Crawl (CC) 82.6 15.7 0.5 RealNews RealNews 21.9 9.0 1 .1 داستانهای CC-Stories Common Crawl (CC) 5.3 0.9 0.5

    به طور کلی ، پروژه نشان داد که مدلهای بزرگتر هوش مصنوعی برای عملکرد خوب به آموزش کمتری نیاز دارند. با این حال ، مشکلی که همچنان حل نشده است ، سوگیری است. به نظر می رسد که حتی در صورت استفاده از داده های متنوع و واقعی از دنیای واقعی ، مدلهای غول پیکر سوگیری ، کلیشه ها و انواع سمیت را در طول فرآیند آموزش نشان می دهند.

    درمان می تواند به برخی اما سالهاست که شناخته شده است که مدلهای هوش مصنوعی تمایل دارند تا سوگیری در داده هایی که در آنها وارد می شود را تقویت کنند. این به این دلیل است که مجموعه داده ها از منابع مختلف آنلاین جمع آوری شده است که در آن تعصبات جسمی ، جنسیتی ، نژادی و مذهبی به سرعت در حال تبدیل شدن به یک پدیده رایج هستند. بزرگترین چالش در حل این مشکل ، تعیین میزان سوگیری است ، که کار کوچکی نیست و هنوز هم در حال پیشرفت است ، صرفنظر از اینکه چه مقدار منابع به آن توجه شود.

     https://techbord.com مایکروسافت و انویدیا بزرگترین و قدرتمندترین مدل زبانی جهان را تا به امروز خلق کرده اند ، اما هنوز مغرضانه

    < p> برخی از شما ممکن است یک آزمایش قبلی مایکروسافت را به یاد آورید که در آن یک چت چت توییتری با نام Tay منتشر شد. تنها چند ساعت طول کشید تا Tay بتواند بدترین ویژگی هایی را که بشر می تواند به آن بیاموزد ، به دست آورد و شرکت ردموند مجبور شد آن را کمتر از 24 ساعت پس از راه اندازی حذف کند.

    انویدیا و مایکروسافت هر دو گفتند آنها متعهد به رسیدگی به این موضوع هستند و تمام تلاش خود را برای حمایت از تحقیقات در این راستا انجام خواهند داد. در عین حال ، آنها هشدار می دهند که سازمان هایی که می خواهند از MT-NLG در تولید استفاده کنند باید اطمینان حاصل کنند که اقدامات مناسب برای کاهش و به حداقل رساندن آسیب احتمالی به کاربران اعمال شده است. مایکروسافت خاطرنشان کرد که هرگونه استفاده از هوش مصنوعی باید از اصول قابلیت اطمینان ، امنیت ، حریم خصوصی ، شفافیت و پاسخگویی پیروی کند که در راهنمای "مسئول هوش مصنوعی " آن ذکر شده است.





خبرهای دیگر از مایکروسافت