خبر

  • تک بورد - آزمایش تیتر هوش مصنوعی ما ادامه دارد: آیا ما دستگاه را شکسته ایم؟

    آزمایش تیتر هوش مصنوعی ما ادامه دارد: آیا ما دستگاه را شکسته ایم؟
    5 روز و 10 ساعت قبل

    در بخش سه از چهار ، ما به آنچه که درست رفته است و آنچه رفته است ... کمتر از درست نگاه می کنیم.
    ما اکنون در مرحله سه پروژه یادگیری ماشین هستیم - یعنی ما از انکار گذشته ایم و عصبانیت ، و ما اکنون به سمت چانه زنی و افسردگی در می آییم. من موظف شده ام از مجموعه داده های Ars Technica حاصل از پنج سال آزمون تیتر ، که دو ایده را با یکدیگر در یک آزمون "A / B" جفت می کند استفاده کنم تا به خوانندگان اجاز

    من همچنین چند دلار در محاسبه زمان خدمات وب آمازون برای کشف این موضوع هزینه کردم. آزمایش می تواند کمی گران باشد. (نکته: اگر بودجه دارید ، از حالت "AutoPilot" استفاده نکنید.)

    ما چند روش برای تجزیه مجموعه 11000 عنوان خود را از 5،500 آزمون تیتر اول - نیمی از برندگان ، امتحان کرده ایم. ، نیمه بازنده. اول ، ما کل مجموعه را به شکل مقدار جدا شده با کاما گرفته بودیم و یک "سلام مری" (یا ، همانطور که در گذشته می بینم "Leeroy Jenkins") را با ابزار Autopilot در استودیوی SageMaker AWS آزمایش کردیم. این با نتیجه صحت در اعتبارسنجی 53 درصدی برگشت. بعید به نظر می رسد که این اتفاق بد نیست ، زیرا وقتی من از مدلی استفاده کردم که مخصوص پردازش به زبان طبیعی است - AWS 'BlazingText - نتیجه 49 درصد دقت ، یا حتی بدتر از پرتاب سکه بود. (به هر حال ، اگر بیشتر اینها به نظر بیهوده می آید ، من توصیه می کنم که قسمت 2 را مرور کنید ، جایی که من با جزئیات بیشتری از این ابزارها استفاده می کنم.)

    تبلیغات

    هم کمی راحت بود و هم کمی دلسرد کننده جولین سایمون ، بشارت دهنده AWS نیز با داده های ما از همین اقبال کمبود برخوردار بود. با استفاده از یک مدل جایگزین با مجموعه داده های ما در حالت طبقه بندی باینری ، فقط حدود 53 تا 54 درصد از دقت بدست آمده است. بنابراین اکنون وقت آن رسیده است که بفهمیم چه خبر است و آیا می توانیم با چند تغییر در مدل یادگیری آن را برطرف کنیم. در غیر این صورت ، ممکن است زمان آن باشد که رویکردی کاملاً متفاوت را در پیش بگیریم.





خبرهای دیگر از فناوری اطلاعات