Сүүлийн үед Хиймэл Оюун гэж юу болох, түүний одоогийн хөгжлийн түвшин ямар хэмжээнд байгааг ихэнх хүмүүс хэтрүүлэн ойлгож байгаа мэт санагддаг. Тиймээс Gary Marcus-н бичсэн An Epidemic of AI Misinformation нийтлэлийг орчуулан хүргэж байна.
[ОРЧУУЛГЫН ЭХЛЭЛ]
Хэвлэл, мэдээллийн хэрэгсэл Хиймэл Оюун эсвэл нанотехнологи зэрэг салбаруудад гарч буй жижиг дэвшлүүдийг удахгүй бидний ертөнцийг үндсээр нь өөрчлөх том нээлт мэтээр ихэвчлэн бичдэг. Мэдээжийн хэрэг хааяа шинэ ололтууд дутуу мэдээлэгдэх тохиолдлууд байдаг. Жишээ нь, анх транзистор буюу хүлээн авагч бий болоход хүчтэй нөлөө үзүүлж чадаагүй, мөн интернетийг эхлээд маш цөөхөн хүн бүрэн боломжийг нь ойлгож байсан гэх мэт. Гэхдээ транзистор болон интернет шиг ололт бүрт мянга, арван мянган жижиг үр дүнгүүд хэтрүүлэн мэдээлэгддэг, хэзээч бодитоор хэрэгжээгүй бүтээгдэхүүн/ санаанууд, дахин ашиглагдаагүй Cold fusion шиг дэвшлүүд анхны сүр дуулиантай хөрөнгө оруулалтаасаа цаашаа явж чадаагүй туршилтууд эцэст нь дэлхийг өөрчилж чаддаггүй.
Энэхүү буруу мэдээллийн замнал бий болдгийн нэг шалтгаан нь олон нийт хувьсгал хийсэн шинэчлэлд дуртай, багахан хэмжээний нэмэлт буюу incremental дэвшлүүдийг сонирхолгүй гэж хүлээн авдагт байдаг. Судлаачид үүнд томоохон нөлөө үзүүлдэг ба судалгааны үр дүнг олон нийтэд хүргэсэн байдал, нэр хүнд нь тэдний судалгааны ажлын санхүүжилт болон цалингийн хэмжээнд ихээхэн нөлөөлдөг тул тэд энэхүү байдлыг ашиглан санхүүжилт бий болгодог. Ихэнх тохиолдолд хэвлэл, мэдээллийн хэрэгсэл болон дийлэнх судлаачид судалгааны үр дүнг эхлээд хэтрүүлэн магтаж дараа нь чимээгүйхэн мартагддаг энэхүү байдалтай аль хэдийн дасан зохицсон байдаг.
Сүүлийн хэдэн долоо хоногт хэвлэгдсэн 3 судалгааны үр дүнг хэвлэл мэдээлэл хэрхэн буруу ойлголт өгөх байдлаар мэдээлснийг харъя.
- 2019 оны 11-р сарын 24-нд The Economist сэтгүүл Нээлттэй Хиймэл Оюуны (OpenAI) GPT-2 гэдэг өгүүлбэр бүтээдэг систем-ийн тухай ярилцлагад GPT-2-н хариултуудыг засварлаагүй гэж бичсэн ч бодит байдал дээр нийтлэгдсэн хариултууд нь уялдаа холбоо, хошигнолоор нь шүүсэн 5 өгүүлбэрүүдээс сонгосон хариулт байсан байна. Энэ нь ярих чадвартай Хиймэл Оюуныг бүтээх нь бидний бодож байснаас ойр байгаа гэсэн утгыг олон нийтэд хүргэж байгаа ба энэ хэтрүүлсэн байдлыг Хиймэл Оюуны мэргэжилтэн Erik Bryjngjolffson “сэтгэл хөдөлгөм”, “хүн шиг хариулт өгч байсан” зэргээр бичсэн нь энэхүү буруу ойлголтыг улам дэврэгсэн явдал болсон байна. Хиймэл Оюуны хариулт уялдаа холбоотой байсан нь (a) хүний бичсэн асар их хэмжээний өгөгдөл (corpus)-с тухайн систем нь сурсан, (б) уялдаа холбоо бүхий өгүүлбэрийн шүүлтүүр нь сэтгүүлч хүнээр хийгдсэнтэй холбоотой. Brynjjolffson дараа нь өөрийн бичсэн зүйлээ зөв болгож бичсэн боловч түүний анхны твит нь зөв болгосон твитээс 75 дахин их рэ-твитлэгдсэн явдал нь андуу, ташаа буруу мэдээлэл бодит мэдээнээс хурдан тархдагийн баталгаа болсон юм.
- Нээлттэй Хиймэл Оюун (OpenAI) нь робот Рубик-н шоог эвлүүлж сурах хос neural network загваруудыг бий болгон, үүнийхээ үр дүнг буруу ойлголт өгөхөөр видео, блог -г олон нийтэд цацсан нь шоог эвлүүлэхэд ашигладаг хүний танин мэдэхүйн мэдрэмжийг систем сурсан гэсэн ойлголтыг олон хүнд өгсөн. Үнэн хэрэгтэй тухайн систем нь хүний танин мэдэхүйн мэдрэмжийг сурсандаа биш 1992 онд рубик шоог эвлүүлэх шийдлийн алгоритмыг ашиглан шоог эвлүүлсэн хэрэг. Олон нийтэд тавигдсан видеонд Bluetooth сенсор ашигласан мөн нийт бүрэн хольсон шоонуудын 20%-г л эвлүүлсэн зэрэг нь тодорхой бус байсан нь медиа энэ бүх нуансуудыг анзаарахгүй өнгөрөөх хандлагатайг харуулж байна. Washington Post сонин жишээлбэл OpenAI-н судлаачид машиныг тухайн асуудлыг шийдэх нээлттэй програмчлал хийгээгүй гэж бичсэн нь тодорхойгүй бус байдлыг үүсгэсэн. Дараа нь сониндоо “Засвар: OpenAI нь судалгаагаа Рубик-н шоонд роботон гараар биет хувиргалт хийхэд төвлөрснөөс биш Рубикийн оньсого, таавар (puzzle)-г тайлахад төвлөрөөгүй…” гэсэн засварыг нийтэлсэн ч энэ засварыг уншсан хүний тоо анхны түүхийг уншсан хүний тооноос бага байсан нь мэдээж.
- Физикт neural networks-н хэрэглээтэй холбоотой сүүлд нийтлэгдсэн хоёр судалгааг мөн хэтрүүлэн тайлагнасан, бүр нэр хүндтэй Technology Review хүртэл ингэж тайлагнасан байна. Энэ хоёр тохиолдолд neural networks нь маш комплекс асуудлын маш жижиг, тоглоомон хувилбарын асуудлыг тайлсан байдаг. Жишээлбэл, уламжлалт аргатай харьцуулбал “Neural network дээр байгаа зурган дээр байгаа the three-body асуудлыг 100 сая дахин хурдан шийдэж чадна” гэж тайлагнасан боловч үнэндээ үндсэн асуудлыг шийдсэн бус асуудлыг ойролцоогоор тооцоолсон, энэ ойролцоолол нь 2 чөлөөний зэрэгтэй (яг үндсэн нь 10 чөлөөний зэрэгтэй), ижил масстай обьектын асуудлыг шийдсэн явдал юм. Энэ түүх нь интернетээр маш өргөн тархсан бөгөөд дараа нь нийтлэгдсэн Ernest Davis and myself in Nautilus-н нарийвчилсан шүүмжлэл бүхий бодит нийтлэл нь хүмүүсийн анхаарлыг маш их татсан ч мэдээжийн хэрэг анхны амьдралгүй түүх ба илүү нарийн анализыг уншсан хүний тоо дахин твит хийгдсэн байдлаас харахад 75:1 байсан байна.
Харамсалтай нь AI-г хэтэрхий сурталчилах асуудал нь зөвхөн хэвлэл, мэдээлэл медианы асуудал биш юм. Олон арван жилийн турш, AI үүссэн цагаас эхлэн энэ салбарын гол төлөөлөгчид гал руу тос нэмсээр ирсэн. Анхны төлөөлөгчид нь хиймэл ерөнхий ухаан — artificial general intelligence (AGI)-г хэдэн арван жилийн дараа хүрэх асуудал гэж бодож байлаа. 1966 онд MIT-н Хиймэл Оюуны лаб Gerald Sussman-г харааны асуудлыг (компьютерийн хараа — computer vision) нэг зуны хугацаанд шийдэхээр томилж байсан авч энэ асуудал нь 50 жилийн дараа ч бүрэн тайлагдаагүй байгаа. IGA нь одоог хүртэл хэдэн арван жилийн дараа бий болох боломжтой мэт санагддаг.
Энэ хандлага одоо үе хүртэл үргэлжилсэн хэвээр байна. Орчин үеийн төлөөлөгчдийн жишээг хүргэе.
- Guardian сэтгүүлд 2015 онд гарсан “Google компани нь хүн шиг оюун ухаантай машиныг хөгжүүлэхэд нэг алхам ойртлоо” ярилцагад “Гүн сургалтын загалмайлсан эцэг” Geoff Hinton нь (Guardian сэтгүүлийн бичсэнээр) Google-ийн ашиглах шинэ арга нь “хиймэл оюунд тулгардаг 2 гол асуудлыг шийдэхэд туслана: ярианы хэлийг бүрэн сурах ба логиктой шийдвэр гаргах” ингэснээр “Google нь логиктой харилцан яриа хийх, бүр сээтгэнэх чадвартай алгоритм бүтээх ирмэг дээр байгаа” гэж хэлсэн байна. Үүнээс хойш 4 жилийн дараа хүний оролцоогүйгээр уялдаа холбоотой харилцан яриа өрнүүлэх чадвартай машин болон биет ертөнцийн тухай хэлэлцэх чадвартай систем бий болоогүй л байна.
- Бараг жилийн дараа Hilton дүрс оношлогооны эмч нарыг “хүүхэлдэйн кинонд гардаг Wile E. Coyote-ын хадны ирмэгээс давуулан алхаад, агаар дээр зогсож буй”-тай адилтгасан буюу “Бид дүрс оношлогооны эмч нарыг бэлдэхээ болих хэрэгтэй. Дараагийн таван жил гүн сургалт нь эдгээр эмч нараас илүү сайн байх нь тодорхой байна” гэж хэлсэн аж. Энэ яриагаа мөн 2017 онд NewYorker сэтгүүлд өгч байсан ярилцлагадаа ч бас хэлж байжээ. Энэ хугацаанд зуу зуун дүрс оншлолын гүн сургалтын компаниуд бий болсон ч нэг ч жинхэнэ дүрс оношлогооны эмчийг машин солиогүй ба үүнээс үзэхэд гүн сургалт нь дүрс оношлогооны эмчид туслахаас биш бүрэн солихгүй бололтой. Hilton-ий хэлсэн үг нилээдгүй дүрс оношлогооны хэлтэс, газрыг айлгасан ба энэ нь сөрөг үр дагавартай ч байсан байж болох юм. Өдгөө дэлхийн олон оронд дүрс оношлогооны эмч хомсдолтой байгаа.
- 2016 оны 11-р сард Harvard Business Review сэтгүүлийн хуудаснаа гүн сургалтын нэр хүндтэй төлөөлөгчдийн нэг Andrew Ng бичихдээ “Хэрэв энгийн нэг хүн ямар нэг оюуны даалгаврыг 1 секундэд бодоод хийж чадаж байвал, бид энэ даалгаврыг ойрын ирээдүйд хиймэл оюуныг ашиглан автоматжуулах боломжтой” гэжээ. Энийг илүү бодитоор бодоод үзвэл ямар нэг зүйлийг автоматжуулах нь тухайн асуудлын шинж чанар, тухайн асуудалтай холбоотой өгөгдөл цуглуулагдаж болох эсэх болон энэ 2-ийн хоорондын харилцаанаас хамаарна. Шатар зэрэг шийдэл нь тодорхой (closed-end) асуудлуудыг шийдэхийн тулд асар их хэмжээний өгөгдөл симуляци, загварчлалын үр дүнд цуглуулагдаж байж бий болдог байхад харилцан яриаг ойлгох зэрэг шийдэл нь нээлттэй (open-end) асуудлуудыг бүрэн байдлаар симуляци хийх боломжгүй бөгөөд түүний хэлсэн зүйл нь буруу байсан гэдгийг үүгээр нотолж байна. Бизнесийн удирдлагууд, бодлого боловсруулагчид ямар нэг асуудлыг одоогийн техник, арга хэрэгслийг ашиглан шийдвэрлэх боломжтой, боломжгүйн ялгааг ойлгодог байх хэрэгтэй, гэвч Andrew Ng энэ ялгааг ойлгомжгүй болгочихож байгаа юм. (Rebooting AI дээр нэмэлт ярилцлага бий)
Судалгааны ажлыг нь буруу мэдээллэсэн, тайлбарласан мэргэжилтэн, шинжээчүүд ихэнхдээ энэ тал дээр чимээгүй байдаг. Open AI-н Chief Scientist llya Sutskever нь “ Economist сэтгүүлийн GPT-2-н талаарх ярилцлага зөв байна” гэж твит бичсэн ба би түүнээс Economist сэтгүүлийн ярилцлага нь судалгааны үр дүнгээс хамгийн сонирхолтойг нь л нийтэлсэн нь үнэн үү гэж асуухад тэрээр хариулаагүй юм.
Сар гаруйгийн өмнө OpenAI-н технологи хариуцсан гүйцэтгэх захирал (CTO) Gre Brockman нь “GPT-2-н бичсэн эссе Economist сэтгүүлийн залуучуудын эссений тэмцээнд оролцсон … Нэг шүүгч (энэ эссег Хиймэл Оюун бичсэн гэдгийг мэдээгүй байсан) хэлэхдээ: “Маш хүчтэй үгийн сонголттой, илэрхийлж буй зүйлээ баримтаар баталгаажуулсан боловч санаа нь бол анхдагч, оригналь биш юм” ” гэж твит бичсэн байна. Brockman энэ твитдээ ихэнх шүүгчид сөрөг сэтгэгдэлтэй байсан гэдгийг дурьдаагүй, жишээлбэл, шүүгч 2 — “Санаагаа шууд илэрхийлээгүй, санаа гэдэг нь өгүүллэг биш, хэтэрхий ерөнхий, илүү үг ихтэй, хэтэрхий их хоосон асуулт ихтэй”, шүүгч 6 — “Энэ эссе нь үндсэн асуултанд хариулт өгч чадаагүй, өгүүллэгийн нэг ч санааг гаргаж ирээгүй, хүчтэй үгийн сонголтгүй, бүтэц, бичлэг нь сайн биш. Мөн одоогийн байгаа цаг агаарын бодлого болон IPCC-ийн шинжлэх ухааны нийтлэлүүдийн талаар ямар ч ойлголтгүй” гэх зэргээр эссег шүүмжилсэн байна. Нийтлэлийн линкээр нь орж бүтэн нийтлэлийг нь уншаагүй хүн Brockman-ий бичсэн твитыг уншаад ийм их сөрөг шүүмж байсан гэдгийг мэдэхгүй.
Шинжлэх ухааны судалгааны коммюнити энэхүү “Хиймэл Оюун маш ойрхон ирсэн” гэдэг буруу ойлголтыг улам лавшруулдаг. Жишээлбэл, DeepMind-ийн бичсэн судалгааны ажлуудыг тухайн ажлын потенциалыг гайхширал төрүүлэхээр бичдэг ч шинжлэх ухааны ажлын хамгийн чухал хэсэг болох дүгнэлт хэсэгт энэ ажлын хязгаарлагдмал байдлын тухайн ховор бичдэг. Оронд нь тэдний шийдэх гэж байгаа асуудал маш хүнд асуудал учир бусад томоохон асуудлуудыг шийдэж буй аргуудыг ашиглан шийдэх боломжтой гэсэн утгаар дүгнэлт бичдэг. Бусад арга аргачлал нь тухайн асуудлыг шийдэхэд тохиромжтой эсэх жишээлбэл, байгалийн хэлний боловсруулалт нь тэдний төвлөрөн ажилладаг тоглоомоос тэс ондоо гэдгийг хяналт шалгалт хийхгүйгээр биччихдэг. Тэдний AlphaGo болон StarCraft дээр бичсэн Nature сэтгүүл дээр хэвлүүлсэн өгүүллэгүүд нь мөн энэ стратегийг дагасан байдаг ба хязгаарлагдмал байдлын тухай огтхон ч дурьдаагүй байдаг юм.
Аз болоход хүн болгон өөрсдийнхөө ажлыг хэтрүүлэн өгүүлдэггүй. Сүүлийн нэг жилийн хугацаад би Pieter Abbeel, Yoshua Bengio зэрэг гүн сургалт ба гүн хүч нэмэгдүүлсэн сургалт (deep reinforcement learning) юуг хийж чадах, ямар асуудлууд тулгарч байгаа, бид хэр хол явах хэрэгтэй вэ зэрэг дээр маш тэнцвэртэй хийсэн яриануудыг сонссон. (Abbeel роботтой холбоотой лабораторийн ажил ба бодит байдлын зөрүү, Bengio харилцан хамаарлыг гүн сургалтын загваруудад тусгах өгөх шаардлагатайг ярьсан). Ийм төрлийн яриа нь онцгой зүйл биш энгийн зүйл байгаасай гэж би боддог. Бодлого боловсруулагч болон олон нийт дутуу биш хэтрүүлэн өгүүлж буй байдлаас болон төөрөгдөх, ирээдүйд оршин тогтнох боломжгүй Хиймэл Оюуны төрлөөс (ажлыг нь орлох хиймэл оюун) айж эхэлж байна.
Судлаачид, мэргэжилтнүүдэд энэ яагаад хамааралтай вэ? Хиймэл Оюунтай холбоотой хэтрүүлэг нь бүгдэд нь ашигтай биш гэж үү? Олон нийтийн урам зориг, итгэл нь илүү их судалгааны төсөв бий болгох, олон хүмүүсийг Хиймэл Оюунаар ажиллах боломжтой болгоно. Мөнгө болон хүн хүч их байх нь хиймэл ерөнхий ухааныг илүү хурдан бий боломжтой биш гэж үү. Ямар аюул байгаа юм бэ?
Ийм төрлийн үзлийг би олон нийтийн эмгэнэлийн нэг төрөл гэж хардаг, жишээлбэл, олон хүн усны нэг хэсэгт загасчилбал, богино хугацаанд их загас барих ч, загасны тоо багасахад бүгд зовох болно. Хиймэл Оюуны хувьд эрсдэл нь: хэрэв, хэзээ нэг цагт олон нийт, засгийн газар, хөрөнгө оруулагчид Хиймэл Оюуны бодит бус, бодит байдалтай нийцэхгүй давуу болон сул талын төсөөллөөр тэжээгдэж байсан гэдгээ ойлговол шинэ Хиймэл Оюуны өвөл бий болох болно. Өмнө нь болсон хэд хэдэн зүйлс энэ үр дүнг зөгнөж байж болно:
- Чатботууд: 2015 онд Facebook хувийн туслахыг орвонгоор нь өөрчлөх “М” нэртэй системийг амалж байсан. Хиймэл Оюуныг ашиглан тухайн үед байгаагүй зүйлийг бүтээхийг хүссэн энэ төсөл нь өгөгдлийн тоглоом байдлаар бүтээгдэхээр байв. Хүмүүс эхлээд тодорхой хэдэн асуултанд хариулсны дараа гүн сургалт үлдсэнийг нь хийнэ гэж бодож байв. 2018 онд энэ төсөл нь цуцлагдсан юм. Ерөнхийд нь хэлбэл, 2015 онд чатботын тухай хөөрөгдөл их байсан ба одоо харин Хиймэл Оюун нь хязгаарлагдмал харилцааг хянах боломжтой гэдгийг ойлгосон. Олон амлалтууд өгсөн ч тэрэндээ хүрээгүйгийн жишээ.
- Эмнэлзүйн онош: IBM Watson нь бүр маш их хэтрүүлэн амалсан бүтээгдэхүүн бөгөөд эцэст нь MD Andersen-ий Хавдрын Институт зэрэг хамтрагчид нь гонсойлгосон үр дүнгээс нь болж төслөөс гарсан байдаг юм. Watson-ийг эмнэлзүйн онош тавьдаг болгохоор өөрчлөх төсөл нь маш ихээр хэтрүүлэн амалсан байсныг бид одоо харж болно. Анх олон хүн DeepMind-г өгөгдөлд хандах эрхтэй, асар их бодолт хийх болон оюуны чадамж, эх үүсвэр байгаа тул эмнэлзүйн онош тавих хэсэг рүү орно гэж хүлээж байсан байх. Гэвч үнэндээ ямар нэг амжилттай үр дүн хараахан гараагүй (DeepMind-н эмнэлзүйн бүтээгдэхүүнүүд Google рүү шилжсэн) байна. Бодож дүгнэлт хийхээс илүүтэй танин мэдэхүйн чадвар шаардсан, байгалийн хэлний ашиглалт багатай дүрс оношилгоо зэрэг хамгийн энгийн эмнэлзүйн ажилд лабораторт бүтээгдсэн бүтээгдэхүүн нь практикт ашиглахад хүндрэлтэй гэдэг нь батлагдсаар байна.
- Хуурамч мэдээ тодорхойлогч: 2018 онд Mark Zuckerberg Конгрессд хиймэл оюун нь дараагийн таваас арван жилд биднийг аварна гэж хэлж байсан, гэхдээ 2019 оны 5-р сард технологийн дэд захирал (CTO) Mike Schroepfer нь ойрын хугацаанд ахиц гаргах амлалтаа буцаасан байна. (Davis бид хоёр зарим техникийн асуудлуудын талаар энд ярилцсан байгаа.)
- Жолоочгүй машин: Олон хүн ийм төрлийн машиныг 2020 он гэхэд (Elon Musk-н амласнаар) гарна гэж хүлээж байсан. Гэхдээ энэ салбарынхан бүрэн автомат, бие даасан жолоодлого (хязгаарлагдмал нөхцөл байдалд жишээлбэл маш таатай цаг агаар, явган хүн багатай байх, нарийвчилсан газрын зурагтай байх зэрэгт биш бол) нь ихэнх хүний бодсоноос хэцүү, дахиад нилээн хэдэн жил хэрэгтэй гэдэг ерөнхий зөвшилцөлд хүрсэн байдаг.
Одоогийн байдлаар засгийн газрууд, томоохон корпораци, хөрөнгө оруулагчид Хиймэл Оюунд ялангуяа гүн сургалтад асар их хэмжээний хөрөнгө оруулалт хийж байгаа. Хэрэв тэд хэтрүүлэн амласан гэдгийг ойлговол, энэ салбар асуудалд орох болно. Хэрэв жолоочгүй машин, бүрэн харилцах чадвартай ботууд нэг, хоёр жилийн дараа гараад ирвэл асуудалгүй, харин гаргах эцсийн хугацаа нь өөрчлөгдөөд байвал шинэ Хиймэл Оюуны өвөл ирэх эрсдэл үүснэ.
Дүгнэхэд, Хиймэл Оюунтай холбоотой буруу мэдээлэл маш нийтлэг байдаг. Хэдийгээр хэтрүүлэн тайлагнах нь хаа сайгүй, бүр гол медиа сувгууд заримдаа үр дүнг буруу мэдээлдэг ч, компани, корпорацийн сонирхол ихэнхдээ энэ асуудалд мөн нөлөөлдөг. Хувь судлаачид, зарим нэр хүндтэй судлаачид хүртэл заримдаа буруу мэдээлдэг, нилээдгүй хүмүүс тэдний ажлын үр дүнг буруу мэдээллэхэд олон нийтэд тодруулга хийхгүй чимээгүй байдаг.
Буруу мэдээлэл нь хаа сайгүй байдаг биш ээ — зарим судлаачид хязгаарлагдмал байдлын тухай нээлттэй байж, зарим нийтлэлүүд зөв тайлагнадаг ч ерөнхий хандлага нь нэмэлт ололт амжилтыг хувьсгал хийх ололт мэтээр тайлбарлах нь өргөн тархсан.
Эцсийн дүнд нийт үр дагавар нь салбарын хүчийг сулруулах, олон нийтийн сонирхлыг бий болгосон ч логикийн зөрчилдөөн бий болгон Хиймэл Оюуны өвлийг бий болгож болно.
Rebooting AI-д Ernie Davis бид хоёр уншигч, сэтгүүлч, судлаачдад судалгааны шинэ үр дүнг үнэлэхэд зориулсан асуултуудыг асуун судалгааны өгүүллэгийн хэлэлцүүлэг бүлгийн хязгаарлагдмал байдал хэсэгт оруулахад туслах 6 зөвлөж бичсэн байгаа.
- Хоосон, уран яруу хэллэгүүдийг хасахад энэ Хиймэл Оюуны систем нь яг юу хийх чадвартай вэ? “Унших систем” жинхнээсээ уншдаг уу?
- Үр дүн нь хэр ерөнхий вэ? (Phoenix-д ажиллаж байгаа жолоодлогын систем нь Mumbai-д ажиллаж чадах уу? Рубикийн шоог тайлах систем нь лонхны таглааг онгойлгож чадах уу? Хэр хэмжээний дахин сургалт шаардлагатай вэ?)
- Уншигчид өөрсдөө туршиж үзэх демо, загвар байгаа юу?
- Хэрэв Хиймэл Оюуны систем нь хүмүүсээс дээр юм бол ямар хүнээс дээр, хэр хэмжээгээр дээр вэ? (Хамгийн доод цалин авдаг хүнтэй харьцуулах нь хүний чадварын хязгаартай харьцуулж буй гэсэн үг биш болов уу)
- Жинхэнэ Хиймэл Оюуныг бүтээхэд одоогийн үзүүлсэн амжилт нь биднийг хэр урагшлуулж байгаа вэ?
- Энэ систем нь хэр тогтвортой вэ? Маш их хэмжээний дахин сургалт хийхгүйгээр бусад өгөгдөл, датасет дээр зүгээр ажиллах уу? AlphaGo нь 19х19 хөлөг дээр зүгээр ажилладаг гэхдээ төгш өнцөгт хөлөг дээр ажиллахад дахин сургах хэрэгтэй нь шилжүүлэн хөрвөх байдал мууг хэлж байна.
Судалгаа болон медиа тайлан, мэдээллийн эцэст багахан ч гэсэн өөрийн ажлыг шүүмжилж бичих нь хүлээлтийг бодит байлгахад туслах болно.