Od vydání ChatGPT v roce 2022 se instruktoři obávali, jak by se studenti mohli obejít učením využitím chatového bota k dokončení domácích úkolů a dalších úkolů. V průběhu let umožnil model velkého jazyka AI rozšířit svou databázi a schopnost odpovědět na složitější otázky, ale může to úplně nahradit úsilí studenta?
Postgraduální studenti na University of Illinois na Urbana-Champaign’s College of Engineering integrovali model velkého jazyka do vysokoškolského kurzu Aerospace Engineering vyhodnotit jeho výkon ve srovnání s průměrnou prací studenta.
Vědci, Gokul Puthumanaillam a Melkior Ornik, zjistili, že Chatgpt získal v kurzu absolvování absolvování bez velkého inženýrství, ale chatovací bot neprokázal porozumění nebo porozumění konceptům na vysoké úrovni. Jejich práce ilustrující jeho schopnosti a omezení byla Publikováno Na platformě s otevřeným přístupem ARXIV, provozovanou společností Cornell Tech.
Pozadí: LLMS může řešit různé úkoly, včetně kreativního psaní a technické analýzy, což vybízí obavy o studenty Akademická integrita ve vysokoškolském vzdělávání.
Značný počet studentů přiznává pomocí generativní umělé inteligence na Dokončete své úkoly (a profesoři Přiznejte k používání generativní AI k poskytnutí zpětné vazby, Vytvořte kurzové materiály a akademická práce). Podle průzkumu 2024 z Wiley, většina studentů tvrdí, že se stane Snadnější podváděníDíky AI.
Vědci se snažili pochopit, jak by student investoval minimální úsilí v kurzu tím, že by odložil práci do Chatgpt.
Hodnocená třída, Aerospace Control Systems, která byla nabízena na podzim 2024, je pro studenty leteckého inženýrství požadovaným juniorským kurzem. Během funkčního období studenti předkládají přibližně 115 výstupů, včetně problémů s domácími úkoly, dvou zkoušek středního období a tří programovacích projektů.
„Struktura kurzu zdůrazňuje progresivní složitost jak v teoretickém porozumění, tak v praktické aplikaci,“ napsali autoři výzkumu ve svém příspěvku.
Zkopírovali a vložili otázky nebo nahráli snímky otázek do bezplatné verze bota chatu bez dalších pokynů a napodobovali studenta, který investuje minimální čas do jejich kurzu.
Výsledky: Na konci termínu ChatGPT dosáhl třídy B (82,2 procenta), což je mírně pod průměrem třídy 85 procent. Ale to vůbec nevyniklo typů přiřazení.
Pokud jde o praktické problémy, LLM vydělala průměr 90,4 procenta (ve srovnání s průměrem třídy 91,4 procenta), což vedlo k nejlepšímu na Otázky s výběrem z více možností. ChatGPT obdržel vyšší průměr na zkoušce (89,7 procenta) ve srovnání s třídou (84,8 procenta), ale na psaných sekcích zachránil mnohem více než na autogradované komponenty.
ChatGPT prokázal svůj nejhorší výkon v programovacích projektech. I když to mělo zdravé matematické uvažování teoretických otázek, vysvětlení modelu bylo rigidní a podobné šabloně, které se nepřizpůsobily specifickým nuancím problému, napsali vědci. Podle článku také vytvořila neefektivní nebo příliš složitá řešení programování a postrádala „optimalizaci a robustnost úvah, které charakterizují vysoce kvalitní podání studentů“.
Zjištění ukazují, že AI je schopna absolvovat přísný vysokoškolský kurz, ale že systémy LLM mohou dosáhnout pouze rozpoznávání vzorů než hluboké porozumění. Výsledky také naznačily vědcům, že dobře navržené kurzy mohou hodnotit schopnosti studentů ve strojírenství.
No a co? Na základě svých zjištění doporučují vědci členové fakulty integrovat práci projektu a otevřené návrhové výzvy k vyhodnocení porozumění a technických schopností studentů, zejména v syntetizaci informací a provádění praktických úsudků.
Ve stejném duchu navrhli, aby fakulta navrhovala otázky, které vyhodnocují lidské odborné znalosti tím, že budou mít studenty, aby vysvětlili své odůvodnění nebo odůvodnili svou odpověď, spíše než jen dospěli ke správné odpovědi.
ChatGPT také nemohl pochopit integraci systému, robustnost a optimalizaci před základní implementací, takže zaměření na tyto požadavky by poskytlo lepší metriky hodnocení.
Vědci také poznamenali, že proto, že Chatgpt je schopen odpovídat na problémy s praxí, by se měla výuka méně zaměřit na rutinní technickou práci a více na inženýrské koncepty vyšší úrovně a dovednosti pro řešení problémů. „Výzva dopředu spočívá v prevenci používání umělé inteligence, ale ve vývoji vzdělávacích přístupů, které tyto nástroje využívají a zároveň kultivují skutečné inženýrské odborné znalosti,“ napsali vědci.
