加州律師考試顧問被指用ChatGPT設計考題
根據一份於週二晚間提交給加州最高法院的請願書指出，加州律師考試的測試顧問公司ACS Ventures Inc.，在今年二月份的律師資格考試中，利用OpenAI的ChatGPT創作了200道多項選擇題中的29題。該公司是加州律師公會（State Bar）委託負責考試分析和評分的承包商。
請願書表示，ACS Ventures根據律師公會入學部門提供的題目範疇，設計指令並透過ChatGPT生成相應的多選題。律師公會原本計劃只使用Kaplan及“初級律師考試”（俗稱“baby bar”）的題目，但由於這兩個來源無法涵蓋所有必要科目，最終加入了由ACS利用AI生成的題目。
律師公會提交請願書給最高法院的時間比原定遲了一天，因為法官要求律師公會解釋AI在考試開發中的角色。法官們表示，直到律師公會4月21日發佈新聞稿才得知AI被用於考試設計。律師公會仍在爭取法院批准其評分方法，以便於預計5月2日左右公布考試成績。
今年2月的律師考試因系統多次故障，導致考生無法完成考試，事件引發訴訟及調查。律師公會希望通過調整評分，讓通過率與以往考試相符，但對考題本身的有效性質疑重重，令其努力蒙上陰影。
舊金山大學法學院教授Katie Moran在電郵中表示，律師公會的請願書未能解答法院對AI使用的疑問。她指出，文件未說明起草者及律師公會為保護考生採取了哪些措施，也沒提及是否有防止侵犯全國律師考試委員會（NCBE）版權的相關手段；此外，為何選擇使用開源AI而非專有AI平台，及律師公會內是否有人知悉AI的使用，這些問題也未被回答。
律師公會、ACS Ventures及律師考試委員會暫未對相關查詢作出回應。
考題來源與評分調整
請願書指出，初步數據顯示該考試適度衡量了最低能力標準，並且今年2月考生的表現與以往同期考試相當甚至更好。律師公會原計劃從評分中剔除約25題多選題，最終實際剔除29題。
經過可靠性分析後，29題AI輔助的ACS題目中有6題被剔除。而Kaplan提供的117題中有17題被剔除，來自“baby bar”的54題中有6題被剔除。
請願書透露，律師公會在2024年9月首次邀請ACS參與考試題目開發，當時ACS負責製作11月實驗性多選考試中約四分之一的題目。11月實驗考中表現最佳的14題中，有11題被選用到今年2月的正式考試中。
請願書同時提到，律師公會入學部門在決定讓ACS參與考題開發時，未有清晰通知律師公會高層，相關部門已進行結構調整以解決這個溝通問題。
—
評論與啟示
今次加州律師考試事件揭示了人工智能技術在專業考試設計中的複雜挑戰。雖然利用ChatGPT等AI工具能加速題目生成，節省成本，但這種做法同時帶來透明度不足、版權風險及考試公平性的疑慮。律師公會未能清楚說明AI使用的詳情，反映出監管機構對新技術的掌握尚不成熟，甚至在內部溝通方面存在漏洞。
此外，AI生成的考題質量如何保證仍是疑問。雖然部分AI題目被剔除，但是否足夠嚴謹和符合專業標準？這需要更嚴格的審核機制和公開透明的評估程序。考生和公眾對考試的信任是法律職業入門的基石，若這種信任受損，將影響整個法律體系的公信力。
從更廣泛角度看，這事件提醒我們，當AI滲透到教育和專業評估領域時，監管框架必須同步更新。如何平衡創新效率與公平公正，避免技術濫用和版權糾紛，成為各界必須面對的課題。未來，或許需要成立專門監督AI在考試中應用的獨立機構，確保技術使用符合道德和法律標準。
總結而言，AI在律師考試中的應用是一把雙刃劍，既帶來便利，也引發風險。加州律師公會需以此為鑑，強化內部管理和外部監督，建立更透明和負責任的AI使用制度，才能真正讓科技助力法律專業的發展，而非成為信任危機的源頭。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
