[fg-arc] Studie zu von LLM generierten Systemanforderungsspezifikationen

[Sabau, Alex]

Liebe KollegInnen der Fachgruppe Architekturen (FG-ARC),

 

wir, vom Lehr- und Forschungsgebiet Informatik 3 (Softwarekonstruktion) der
RWTH Aachen, führen derzeit eine Umfrage durch, mit der wir evaluieren
möchten, für wie realistisch Softwareexperten
Systemanforderungensspezifikationen (SyRS) (in der Studie „Software
Scenarios“ genannt) halten, die von einem blackbox-LLM generiert wurden.

 

Wir hoffen mit dieser Studie Rückschlüsse darüber ziehen zu können, ob
blackbox-LLMs wie ChatGPT mittels Prompt Engineering Techniken genutzt
werden können, um technisch korrekte und sinnvolle SyRS generieren zu
können, die u.a. für Testzwecke und Benchmarks verwendet werden könnten.
Darüber hinaus versuchen wir ebenso zu beobachten, welchen Effekt
Eigenschaften von LLMs wie Hallucination und Overconfidence auf
Expertenbewertungen von durch LLMs generierte Daten haben.

 

Den Fragebogen finden Sie in Englischer Sprache bis zum 15.06. unter
folgendem Link: https://www.soscisurvey.de/evaluation-ai-software-scenarios/

 

Eine Teilnahme dauert ca. 10 bis 15 Minuten und findet völlig anonym statt.
Wir empfehlen zur Gewährleistung der Qualität der erhobenen Daten den
Fragebogen in einer ruhigen Umgebung auszufüllen, und sich währenddessen
keinen anderen Aktivitäten zu widmen.

 

Ihre Eignung zur Teilnahme an der Studie wird zu Beginn des Fragebogens
ermittelt. 

 

Jede Teilnahme unterstützt unsere Studie sehr!

 

Bitte teilen Sie den Umfragelink auch mit technischen und fachlichen
Softwareexperten in Ihrem Netzwerk!

 

Wir danken Ihnen für Ihre Unterstützung!

 

Herzliche Grüße,

Alex R. Sabau

 

 

--

Alex R. Sabau

Research Assistant

 

Faculty of Mathematics, Computer Science and Natural Sciences

SWC - Computer Science 3 Research Group Software Construction

RWTH Aachen University

Ahornstraße 55

D-52074 Aachen, Germany

phone: +49 241 80-21366

fax: +49 241 80-621331

 <mailto:alex.sabau at swc.rwth-aachen.de> alex.sabau at swc.rwth-aachen.de

 <http://www.swc.rwth-aachen.de/> http://www.swc.rwth-aachen.de

room: 4105a (building E1, 1st floor)

 

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.uni-paderborn.de/pipermail/fg-arc/attachments/20250528/d0da99d5/attachment.htm>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: smime.p7s
Type: application/pkcs7-signature
Size: 6885 bytes
Desc: not available
URL: <http://lists.uni-paderborn.de/pipermail/fg-arc/attachments/20250528/d0da99d5/attachment.bin>