กลยุทธ์การขายของ Samsung สำหรับการขายทีวีในปี 2020 นั้นง่ายมากคือ 8,000 หรือน้อยกว่า ในขณะที่ยอดขายทีวี 4K งบประมาณ QLED ถูกใช้โดยทีวี 4K ราคาประหยัด แต่ Samsung ก็วางแผนที่จะย้ายตลาดอีกครั้งไปยังรูปแบบที่มีคู่แข่งน้อยมาก (จนถึงขณะนี้) แต่ยังมีเนื้อหาเนทีฟน้อยมาก
อย่างไรก็ตามอย่างที่เราเห็นใน 4K เทียบกับ 8K เมื่อต้นปีนี้คุณไม่จำเป็นต้องใช้ภาพวิดีโอความละเอียด 780 × 4320 (8K) เพื่อถ่ายภาพเต็มล้านพิกเซลเหล่านี้ - ทีวี Samsung 8K ใช้การแปลงกลับเพื่อแปลงภาพใด ๆ ประเภทของวิดีโอ (SD ที่ 4K และอื่น ๆ ) ที่ความละเอียด 8K
แน่นอนว่าการเพิ่มขึ้นของระดับไม่ใช่เรื่องใหม่ หลายปีที่ผ่านมาทีวี 4K และแม้แต่ HD ได้ค้นพบวิธีที่จะยืดเนื้อหาที่มีความละเอียดต่ำเพื่อให้พอดีกับอัตราส่วนพิกเซล / นิ้วที่สูงขึ้นของทีวีสมัยใหม่ แต่เนื่องจากทีวี 8K ต้องใช้สี่พิกเซล 4K วิธีการแปลงแบบเดิมจึงไม่ได้ผลด้วยเหตุผลที่เราจะพูดถึงในภายหลัง
หลังจากเยี่ยมชมห้องปฏิบัติการ QA ของ Samsung ในนิวเจอร์ซีย์และพูดคุยกับวิศวกรของพวกเขาแล้วเรามีความคิดที่ดีขึ้นว่า Samsung ใช้ปัญญาประดิษฐ์และการเรียนรู้ของเครื่องเพื่อให้มีลักษณะเช่นนี้ได้อย่างไร เป็นไปได้หรือไม่ที่จะขยายขนาด 8K และเทคนิคของปัญญาประดิษฐ์เทียบกับความพยายามในช่วงแรก ๆ ของผู้ผลิตได้อย่างไร
เหตุใดการอัพเกรดแบบเดิมจึงดูแย่มาก?
ก่อนปี 1998 การออกอากาศทางโทรทัศน์มีความละเอียด 720x480 และภาพยนตร์ที่บันทึกด้วยคุณภาพสูงกว่าจะถูกบีบอัดให้พอดีกับรูปแบบนั้น นั่นคือเนื้อหา 345,600 พิกเซล ซึ่งกินพื้นที่เพียงหน้าต่างเล็กๆ บนทีวีสมัยใหม่ที่มีอัตราส่วน PPI (พิกเซลต่อนิ้ว) ที่สูงกว่า เนื้อหา SD นี้? โดยจะต้องขยายให้ครอบคลุมมากกว่า 2 ล้านพิกเซลในความละเอียดสูง, มากกว่า 8 ล้านพิกเซลสำหรับ 4K หรือมากกว่า 33 ล้านพิกเซลสำหรับ 8K
พื้นฐานสำหรับการปรับขนาดคือการรักษาอัตราส่วนพิกเซลที่ถูกต้องผ่านการคูณอย่างง่าย ในการแปลงจาก HD เป็น 4K โปรเซสเซอร์ของทีวีจะต้องใช้ประโยชน์จากพิกเซล HD หนึ่งพิกเซลเพื่อใช้พื้นที่สี่พิกเซลบนหน้าจอที่มีความละเอียดสูงกว่า หรือ 16 พิกเซลเมื่อแปลง HD-8K
(เครดิตรูปภาพ: Sony)
โดยไม่มีการประมวลผลภาพใด ๆ ภาพก็จบลงโดยอ้างถึงโทลคีน "อย่างใดก็ยืดออกเหมือนเนยขูดบนขนมปังมากเกินไป" ข้อมูลแต่ละชิ้นจะกลายเป็นสี่เหลี่ยมจัตุรัสอย่างผิดปกติโดยไม่มีการไล่ระดับสีตามธรรมชาติระหว่างรายละเอียดและสี สิ่งนี้ทำให้เกิดการอุดตันหรือเสียงรบกวนรอบ ๆ วัตถุต่างๆบนหน้าจอ
คุณอาจจะเห็นสิ่งที่เรียกว่า "เสียงยุง" ในการบีบอัดวิดีโอให้ทำงานกับแบนด์วิดท์อินเทอร์เน็ตที่ จำกัด ผู้แพร่ภาพกระจายเสียงและเว็บไซต์จะต้องดำเนินการสตรีมข้อบกพร่องของสีโดยเจตนาหรือ "สิ่งประดิษฐ์การบีบอัด" พิกเซลที่มีตำหนิโดยเจตนาจะจับกลุ่มรอบ ๆ พื้นที่ของหน้าจอซึ่งพบความเปรียบต่างที่คมชัดเช่นสะพานสีน้ำตาลกับท้องฟ้าสีฟ้าในภาพด้านบน
คณิตศาสตร์ที่อยู่เบื้องหลังการเคลื่อนไหวที่หรูหรา
เมื่อเผชิญกับปัญหาเหล่านี้ผู้จัดรายการโทรทัศน์ได้สอนให้โทรทัศน์วิเคราะห์และประมวลผลภาพแบบดิจิทัลแบบเรียลไทม์เพื่อเติมเต็มหรือซ่อมแซมพิกเซลที่ขาดหายไปหรือเสียหาย และพวกเขาก็ทำได้โดยใช้ฟังก์ชันทางคณิตศาสตร์ซึ่งคุณสามารถบอกคนที่คุณรักได้ในครั้งต่อไปที่พวกเขาบอกว่าโทรทัศน์มากเกินไปทำให้สมองของคุณเน่าเสีย
โดยเฉพาะวิศวกรได้สอนให้โปรเซสเซอร์ของโทรทัศน์แก้ไขค่าสีของแต่ละพิกเซลที่หายไปโดยพิจารณาจากพิกเซลที่อยู่รอบ ๆ ในการทำเช่นนี้เขาต้องกำหนดแกนหลัก: ฟังก์ชันที่กำหนดลำดับความสำคัญของสีให้กับเพื่อนบ้านของพิกเซลตามความใกล้ชิด
แกนพื้นฐานที่สุดที่ใช้ในโทรทัศน์คือแกนที่ใกล้เคียงที่สุดซึ่งจะคำนวณว่าพิกเซลใดใกล้เคียงกับพิกเซลที่ว่างเปล่ามากที่สุดและวางข้อมูลสีเดียวกันลงในพิกเซลที่ว่างเปล่า วิธีนี้ทำให้รูปภาพมีรูปแบบซิกแซกหรือนามแฝงที่มีขอบจาง ๆ ลองนึกภาพตัวอักษรสีดำ "A" บนหน้าจอสีขาว พิกเซลที่หายไปที่ด้านนอกของตัวอักษรอาจเต็มไปด้วยสีดำในขณะที่พิกเซลที่ขอบของตัวอักษรอาจปรากฏเป็นสีขาว ผลลัพธ์จะเป็นหยดสีเทารอบตัวอักษรหรือบันไดสีดำและสีขาวที่ไม่สม่ำเสมอซึ่งขึ้นและลง
กราฟนี้แสดงกระบวนการคำนวณพิกเซลว่าง (จุด "P" สีเขียว) ตามการแก้ไขทวิภาคี
(เครดิตรูปภาพ: สาธารณสมบัติ)
การแก้ไขทวิภาคีต้องใช้พลังในการประมวลผลมากกว่า แต่มีประสิทธิภาพมากกว่า ในวิธีนี้พิกเซลว่างจะถูกเปรียบเทียบกับเพื่อนบ้านที่อยู่ใกล้ที่สุดสองตัวเพื่อสร้างการไล่ระดับสีเชิงเส้นระหว่างกันซึ่งจะช่วยเพิ่มความคมชัดของภาพ สิ่งนี้ให้ภาพที่นุ่มนวลขึ้น แต่อาจไม่สอดคล้องกัน ดังนั้นโทรทัศน์เครื่องอื่นจึงใช้การแก้ไขแบบไบคิวบิกซึ่งถ่ายได้ใกล้เคียงที่สุด 16 พิกเซลในทุกทิศทาง แม้ว่าวิธีนี้จะช่วยให้ได้สีที่แม่นยำที่สุด แต่ก็ยังให้ภาพที่กระจายออกไปมากขึ้น แต่รูปทรงจะได้รับเอฟเฟกต์รัศมีที่น่ารำคาญ
คุณอาจเดาปัญหาได้ในตอนนี้: ทีวีเหล่านี้จะเติมพิกเซลตามสูตรทางคณิตศาสตร์ที่มีแนวโน้มในทางสถิติที่จะให้ภาพที่ถูกต้อง แต่ไม่มีทางตีความรูปลักษณ์ตามธีมตามสิ่งที่แสดงบนหน้าจอจริง
ดังนั้นหลังจากอธิบายว่าอัลกอริทึมเหล่านี้ไม่ประสบความสำเร็จอย่างสม่ำเสมอได้อย่างไรทีม Samsung จึงอธิบายว่าปัญญาประดิษฐ์ของพวกเขาเอาชนะข้อเสียเหล่านี้ได้อย่างไร
ความลับของ Samsung: การเรียนรู้ของเครื่องการจดจำวัตถุและตัวกรอง
(เครดิตรูปภาพ: Samsung)
อาวุธลับของ Samsung คือเทคนิคที่เรียกว่า machine learning super resolution (MLSR) ระบบที่ขับเคลื่อนด้วย AI นี้ใช้สตรีมวิดีโอที่มีความละเอียดต่ำกว่าและปรับขนาดให้พอดีกับความละเอียดของหน้าจอที่ใหญ่ขึ้นด้วยอัตราส่วน PPI ที่สูงขึ้น เป็นคู่หูสมัยเก่าของนักวิทยาศาสตร์คอมพิวเตอร์ที่ซูมเข้าและ "ปรับปรุง" ภาพที่พร่ามัวเพียงแค่กดปุ่มยกเว้นว่าจะทำโดยอัตโนมัติและแทบจะในทันที
ตัวแทนของ Samsung อธิบายวิธีที่พวกเขาวิเคราะห์เนื้อหาวิดีโอจำนวนมากจากแหล่งต่างๆ (แหล่งที่มาของ YouTube คุณภาพสูงและคุณภาพต่ำ DVD และ Blu-Rays ภาพยนตร์และการแข่งขันกีฬา) และสร้างฐานข้อมูลสองฐานข้อมูล ภาพหนึ่งสำหรับภาพหน้าจอที่ไม่ดีและอีกภาพหนึ่งสำหรับภาพหน้าจอคุณภาพสูง
จากนั้นเขาต้องฝึก AI ของเขาเพื่อดำเนินกระบวนการที่เรียกว่า "การย่อยสลายแบบย้อนกลับ" โดยภาค AI ขั้นแรกต้องใช้ภาพที่มีความละเอียดสูงและปรับลดรุ่นให้มีความละเอียดต่ำลงติดตามข้อมูลภาพที่สูญหาย จากนั้นคุณต้องย้อนกระบวนการและฝึก AI ของคุณเพื่อเติมเต็มข้อมูลที่ขาดหายไปจากภาพความละเอียดต่ำเพื่อสะท้อนภาพที่มีความละเอียดสูง
ทีม Samsung เรียกกระบวนการนี้ว่า "สูตร" โปรเซสเซอร์ 8K ประกอบด้วยธนาคารสูตรที่มีฐานข้อมูลของสูตรสำหรับวัตถุต่างๆเช่นแอปเปิ้ลหรือตัวอักษร "A" เมื่อโปรเซสเซอร์รับรู้แอปเปิ้ลที่เลือนลางในมือของนักแสดงระบบจะคืนค่าขอบของแอปเปิ้ลซ่อมแซมส่วนที่บีบอัดและทำให้แน่ใจว่าพิกเซลที่ว่างเปล่าจะเปลี่ยนเฉดสีแดงที่ถูกต้องตามสี ลักษณะของแอปเปิ้ลและไม่อยู่ในอัลกอริทึมทางสถิติที่คลุมเครือ . นอกจากนี้พร้อมกับการฟื้นฟูวัตถุที่เฉพาะเจาะจงปัญญาประดิษฐ์จะปรับการไหลของมันตามสิ่งที่เห็น
จากข้อมูลของ Samsung มี "ฟิลเตอร์" ต่างๆมากมายที่เปลี่ยนระดับการสร้างรายละเอียดการลดสัญญาณรบกวนและการคืนค่าขอบสำหรับสตรีมที่กำหนดขึ้นอยู่กับว่าคุณกำลังดูกีฬาประเภทภาพยนตร์หรือประเภทภาพยนตร์ ภาพยนตร์.
ภาพที่ 1 จาก 5
(เครดิตรูปภาพ: Michael Hicks)
ปีนสู่การปฏิบัติ
ภาพที่ 2 จาก 5
(เครดิตรูปภาพ: Michael Hicks)
ภาพที่ 3 จาก 5
(เครดิตรูปภาพ: Michael Hicks)
ภาพที่ 4 จาก 5
(เครดิตรูปภาพ: Michael Hicks)
ภาพที่ 5 จาก 5
(เครดิตรูปภาพ: Michael Hicks)
วิศวกรของ Samsung กล่าวว่าการเรียกคืนรูปทรงที่นำเสนอในการนำเสนอสไลด์ก่อนหน้านี้ซึ่งเป็นข้อความจำนวนมากอย่างไม่น่าเชื่อในการกู้คืนแบบเรียลไทม์ไม่ใช่งานที่ยากที่สุดสำหรับปัญญาประดิษฐ์ แต่การจำลองพื้นผิวที่เหมาะสมของวัตถุในแบบเรียลไทม์ยังคงเป็นความท้าทายที่ยากลำบาก พวกเขาต้องตรวจสอบให้แน่ใจว่าโปรเซสเซอร์ช่วยเพิ่มรูปลักษณ์ของวัตถุโดยไม่ทำให้วัตถุผิดธรรมชาติ
สิ่งที่โปรเซสเซอร์จะไม่ทำ (ตามข้อมูลของ Samsung) คือการจัดประเภทวัตถุไม่ถูกต้อง “ มันจะไม่เปลี่ยนแอปเปิ้ลให้กลายเป็นมะเขือเทศ” วิศวกรคนหนึ่งยืนยันกับเรา แต่ไม่ได้ให้รายละเอียด เป็นไปได้มากว่าโปรเซสเซอร์ได้รับการฝึกฝนเพื่อหลีกเลี่ยงการเปลี่ยนแปลงที่รุนแรงหากไม่รู้จักว่าวัตถุคืออะไร
คุณจะไม่เห็นปัญญาประดิษฐ์ที่เปลี่ยนแปลงความตั้งใจของผู้สร้างภาพยนตร์ดังที่ทีมงาน Samsung ได้กล่าวไว้ ดังนั้นหากผู้กำกับใช้เอฟเฟ็กต์โบเก้ฉากหลังที่เบลอจะยังคงพร่ามัวในขณะที่ฉากหน้าจะถูกสร้างขึ้นด้วยความคมชัดสูงถึง 8K
พวกเขายังระบุด้วยว่าพวกเขาไม่ได้วิเคราะห์ฟีดที่เป็นที่นิยมมากที่สุดโดยเฉพาะสำหรับการจัดหมวดหมู่ออบเจ็กต์ของพวกเขา แต่มุ่งเน้นไปที่ปริมาณและความหลากหลายของเนื้อหาโดยรวมมากกว่า ดังนั้นจึงไม่ทราบว่าพวกเขามีสูตร "มังกร" หรือ "มนุษย์หมาป่า" สำหรับนาฬิกา Game of Thrones ที่บ้าคลั่ง
QLED TV รุ่นล่าสุด
(เครดิตรูปภาพ: Michael Hicks)
ทีวี Samsung 8K (และ 4K) ใหม่มาพร้อมกับธนาคารสูตรล่าสุดที่ติดตั้งจากนั้นข้อมูลวัตถุใหม่จะถูกเพิ่มผ่านการอัปเดตเฟิร์มแวร์ที่คุณต้องอนุมัติ ซัมซุงกล่าวว่าจะทำการวิเคราะห์สตรีมภาพใหม่ ๆ ต่อไปเพื่อขยายไลบรารีของวัตถุ แต่จะดำเนินการภายในเซิร์ฟเวอร์ของ Samsung ไม่วิเคราะห์ข้อมูลจากโทรทัศน์ส่วนบุคคล
คุณสะสมสูตรออบเจ็กต์ของ Samsung ได้กี่สูตรจากการวิเคราะห์โฟลว์ที่ไม่สิ้นสุด วิศวกรคนหนึ่งของพวกเขาให้จำนวนทันทีที่ดูเหลือเชื่อโดยบอกว่าโดยทั่วไปโปรเซสเซอร์จะจดจำวัตถุจำนวนมากบนหน้าจอได้ แต่เจ้าหน้าที่ฝ่ายประชาสัมพันธ์กลับเข้ามาและขอให้เราไม่พิมพ์หมายเลขดังกล่าวโดยบอกว่าพวกเขาต้องการให้ผู้บริโภคให้ความสำคัญกับคุณภาพการทำงานของ Samsung MLSR มากกว่าตัวเลขโดยพลการ
ปรับปรุง AI: ปกติใหม่?
Samsung ไม่ใช่ผู้ผลิตทีวีรายเดียวที่ใช้ปัญญาประดิษฐ์และการฟื้นฟูภาพสำหรับทีวี
หน้าโฆษณา 4K ของ Sony มีรายละเอียดที่รบกวนเกี่ยวกับโซลูชันการประมวลผลภาพ AI โทรทัศน์ 4K รุ่นใหม่ประกอบด้วยโปรเซสเซอร์ที่มี "ฐานข้อมูลคู่" การอ้างอิงภาพ "นับหมื่น" "ที่ปรับปรุงพิกเซลแบบไดนามิกในแบบเรียลไทม์"
(เครดิตรูปภาพ: Sony)
ก่อนงาน CES 2019 LG ยังประกาศว่าชิปทีวี a9 Gen 2 ใหม่จะรวมการประมวลผลภาพและการเรียนรู้ของเครื่องเพื่อปรับปรุงการลดสัญญาณรบกวนและความสว่างรวมถึงการวิเคราะห์แหล่งที่มาและประเภทสื่อและการปรับอัลกอริทึมของคุณให้สอดคล้องกัน
อย่างไรก็ตามนอกเหนือจากองค์ประกอบของปัญญาประดิษฐ์ดูเหมือนว่าโปรเซสเซอร์โทรทัศน์เหล่านี้ยังคงพึ่งพาอัลกอริทึมอัตโนมัติอยู่เล็กน้อย ในการสัมภาษณ์ครั้งก่อนของเรากับ Gavin McCarron หัวหน้าฝ่ายการตลาดด้านเทคนิคและการวางแผนผลิตภัณฑ์ที่ Sony Europe เกี่ยวกับการประมวลผลภาพ AI บนทีวี Sony เขามีสิ่งต่อไปนี้ที่จะพูด:
"เมื่อคุณเปลี่ยนจาก Full HD เป็น 4K มีการคาดเดามากมายและสิ่งที่เราพยายามทำเพื่อกำจัดการคาดเดาให้ได้มากที่สุด (โปรเซสเซอร์ของเรา) ไม่ได้มองแค่การแยกพิกเซล แต่ดูที่พิกเซล รอบ ๆ และทุกเส้นทแยงมุมและยังค้นหาพิกเซลในหลาย ๆ เฟรมเพื่อให้คุณภาพของภาพมีความสม่ำเสมอ "
มีความเป็นไปได้สูงที่ Sony เช่นเดียวกับ LG และ Samsung กำลังใช้อัลกอริทึมแบบทวิภาคีหรือไบคิวบิกเป็นระบบแปลงสัญญาณ จากนั้นพวกเขาจะวิเคราะห์เนื้อหาใกล้เคียง 4K และพิจารณาว่าพิกเซลใดที่ต้องเพิ่มขึ้นด้วยการประมวลผลภาพและจำเป็นต้องลบออกเป็นจุดรบกวน
ในเรื่องนี้ผู้ผลิตทีวีส่วนใหญ่ค่อนข้างใกล้ชิดกันเพื่อแย่งชิงปัญญาประดิษฐ์ระดับสูง ข้อยกเว้นคือ Samsung ซึ่งใช้เทคนิคเดียวกัน แต่เติมจำนวนพิกเซลที่หายไปสี่เท่าเพื่อให้พอดีกับหน้าจอ 8K เราจะต้องรอดูว่าความพยายามด้านปัญญาประดิษฐ์ของผู้ผลิตรายอื่นจะทำให้พวกเขาเข้าสู่ตลาด 8K ได้หรือไม่