خرید و دانلود ترجمه فارسی مقاله آیا دوره‌های LLM می‌توانند جایگزین حاشیه‌نویسی دستی مصنوعات مهندسی نرم‌افزار شوند؟

چکیده

Experimental evaluations of software engineering innovations, e.g., tools and processes, often include human-subject studies as a component of a multi-pronged strategy to obtain greater generalizability of the findings. However, human-subject studies in our field are challenging, due to the cost and difficulty of finding and employing suitable subjects, ideally, professional programmers with varying degrees of experience. Meanwhile, large language models (LLMs) have recently started to demonstrate human-level performance in several areas. This paper explores the possibility of substituting costly human subjects with much cheaper LLM queries in evaluations of code and code-related artifacts. We study this idea by applying six state-of-the-art LLMs to ten annotation tasks from five datasets created by prior work, such as judging the accuracy of a natural language summary of a method or deciding whether a code change fixes a static analysis warning. Our results show that replacing some human annotation effort with LLMs can produce inter-rater agreements equal or close to human-rater agreement. To help decide when and how to use LLMs in human-subject studies, we propose model-model agreement as a predictor of whether a given task is suitable for LLMs at all, and model confidence as a means to select specific samples where LLMs can safely replace human annotators. Overall, our work is the first step toward mixed human-LLM evaluations in software engineering.

چکیده به فارسی (ترجمه ماشینی)

ارزیابی های تجربی نوآوری های مهندسی نرم افزار ، به عنوان مثال ، ابزارها و فرآیندها ، اغلب شامل مطالعات مربوط به انسان به عنوان مؤلفه ای از یک استراتژی چند جانبه برای به دست آوردن تعمیم پذیری بیشتر یافته ها است.با این حال ، مطالعات موضوع انسان در زمینه ما به دلیل هزینه و دشواری در یافتن و استفاده از موضوعات مناسب ، از نظر ایده آل ، برنامه نویسان حرفه ای با درجات مختلف تجربه ، چالش برانگیز است.در همین حال ، مدل های بزرگ زبان (LLMS) اخیراً نشان داده اند که عملکرد سطح انسان را در چندین زمینه نشان می دهد.در این مقاله به بررسی امکان جایگزینی افراد پر هزینه انسانی با نمایش داده های ارزان تر LLM در ارزیابی کد و مصنوعات مربوط به کد می پردازیم.ما این ایده را با استفاده از شش LLM پیشرفته در ده کار حاشیه نویسی از پنج مجموعه داده ایجاد شده توسط کار قبلی ، مانند قضاوت در مورد صحت خلاصه یک روش طبیعی از یک روش یا تصمیم گیری در مورد تغییر کد ، تجزیه و تحلیل استاتیک را مطالعه می کنیم.هشدارنتایج ما نشان می دهد که جایگزینی برخی از تلاش های حاشیه نویسی انسانی با LLMS می تواند توافق نامه های بین المللی را برابر یا نزدیک به توافق انسان ایجاد کند.برای کمک به تصمیم گیری در مورد زمان و چگونگی استفاده از LLMS در مطالعات-موضوع انسان ، ما توافق مدل مدل را به عنوان پیش بینی کننده اینکه آیا یک کار داده شده برای LLM ها به هیچ وجه مناسب است ، پیشنهاد می کنیم و اعتماد به نفس را به عنوان ابزاری برای انتخاب نمونه های خاص در جایی که LLM ها با خیال راحت می توانند مدل کنند ، مدل می کنیم.حاشیه نویسی های انسانی را جایگزین کنید.به طور کلی ، کار ما اولین قدم به سمت ارزیابی های مختلط انسانی در مهندسی نرم افزار است.