คู่มือหน่วยกระจายความเย็น: CDU ทำงานอย่างไรในศูนย์ข้อมูล

หน่วยกระจายความเย็นทำหน้าที่อะไรจริงๆ

แร็คเซิร์ฟเวอร์ระบายความร้อนด้วยของเหลวทุกตัวต้องมีลูปน้ำสองลูปที่ไม่เคยปะปนกัน วงจรสิ่งอำนวยความสะดวกจะลำเลียงน้ำหรือน้ำผสมไกลคอลจากโรงงานผลิตเครื่องทำความเย็น เครื่องทำความเย็นแบบแห้ง หรือหอทำความเย็นไปยังแถวของชั้นวาง วงจรเทคโนโลยีซึ่งบางครั้งเรียกว่าวงจรรอง จะหมุนเวียนของเหลวที่สะอาดกว่ามากและควบคุมอย่างเข้มงวดโดยตรงผ่านแผ่นเย็นที่ติดตั้งบน CPU, GPU และหน่วยความจำ ที่ หน่วยกระจายความเย็นอยู่ระหว่างสองลูปนี้ และทำสี่งานพร้อมกัน

ขั้นแรก ระบบจะแลกเปลี่ยนความร้อนจากวงรองไปยังวงโรงงานผ่านตัวแลกเปลี่ยนความร้อนแบบแผ่น โดยที่ของเหลวทั้งสองไม่ได้สัมผัสกัน ประการที่สอง ปั๊มของเหลวทุติยภูมิผ่านท่อร่วมเซิร์ฟเวอร์ด้วยอัตราการไหลที่ควบคุม ซึ่งปกติจะวัดเป็นลิตรต่อนาทีต่อแร็ค ประการที่สาม จะกรองอนุภาคออกจากลูปรองเพื่อปกป้องช่องแคบภายในแผ่นความเย็น ซึ่งอาจมีขนาดเล็กถึง 0.3 มิลลิเมตร ประการที่สี่ จะตรวจสอบและรายงานอุณหภูมิ ความดัน การไหล และสถานะการรั่วไหลกลับไปยังระบบการจัดการอาคารของศูนย์ข้อมูล

เนื่องจากลูปรองถูกปิดผนึกและมีปริมาตรน้อยเมื่อเทียบกับลูปสิ่งอำนวยความสะดวก จึงสามารถทำงานที่อุณหภูมิที่เข้มงวดกว่าและคาดการณ์ได้ดีกว่าน้ำดิบในอาคาร ซึ่งเป็นสาเหตุที่การระบายความร้อนด้วยแผ่นเย็นสามารถรองรับตัวเลขกำลังการออกแบบการระบายความร้อนของชิปที่การระบายความร้อนด้วยอากาศไม่สามารถเข้าถึงได้ ชั้นวางที่ต้องการการไหลเวียนของอากาศหลายพันลูกบาศก์ฟุตต่อนาทีเพื่อให้อยู่ในอุณหภูมิการทำงานที่ปลอดภัย สามารถระบายความร้อนด้วยของเหลวหมุนเวียนไม่กี่สิบลิตรต่อนาทีแทน ซึ่งเป็นส่วนสำคัญว่าทำไมการระบายความร้อนด้วยของเหลวจึงถือเป็นเบรกเกอร์เพดานที่ใช้งานได้จริงสำหรับความหนาแน่นของตัวเร่งความเร็ว

ควรระบุให้ชัดเจนว่า CDU ไม่ใช่อะไร ไม่ใช่เครื่องทำความเย็น มันไม่ได้สร้างอุณหภูมิที่เย็นจากสิ่งใดเลย และไม่ได้แทนที่โรงงานเครื่องจักรกล เป็นอุปกรณ์ถ่ายโอนและควบคุมที่วางอยู่ระหว่างโรงงานและชั้นวาง และหน้าที่ของมันคือทำให้แน่ใจว่าของเหลวที่สัมผัสกับชิปอยู่ภายในแถบแคบและมั่นคง ไม่ว่าลูปสิ่งอำนวยความสะดวกกำลังทำอะไรอยู่ที่อีกด้านหนึ่งของเครื่องแลกเปลี่ยนความร้อน

ประวัติโดยย่อว่า CDU เข้าถึง Data Hall ได้อย่างไร

หน่วยกระจายความเย็นไม่ได้เริ่มทำงานในศูนย์ข้อมูลเชิงพาณิชย์ การออกแบบหลัก ซึ่งเป็นวงจรทุติยภูมิแบบปิดผนึกที่แยกได้จากแหล่งจ่ายน้ำในโรงงานผ่านตัวแลกเปลี่ยนความร้อนแบบแผ่น มีต้นกำเนิดในห้องปฏิบัติการคอมพิวเตอร์ประสิทธิภาพสูงและการประยุกต์ใช้การทำความเย็นในกระบวนการทางอุตสาหกรรมเมื่อหลายสิบปีก่อน โดยที่อุปกรณ์ที่มีความละเอียดอ่อนต้องการน้ำที่สะอาดและควบคุมด้วยสารเคมี แทนที่จะเป็นสิ่งที่ออกมาจากตัวยกน้ำเย็นของอาคาร ศูนย์ซูเปอร์คอมพิวเตอร์นำแนวทางนี้มาใช้ตั้งแต่เนิ่นๆ เนื่องจากโปรเซสเซอร์ทำงานร้อนกว่าและหนาแน่นกว่าสิ่งใดในห้องเซิร์ฟเวอร์องค์กรทั่วไป

ในขณะที่การประมวลผลที่ใช้ GPU ย้ายจากกลุ่มการวิจัยไปสู่คลาวด์กระแสหลักและโครงสร้างพื้นฐานระดับองค์กร หลักการแยกเดียวกันนี้จึงได้รับการบรรจุใหม่เป็นหมวดหมู่ผลิตภัณฑ์ที่มุ่งเป้าไปที่ผู้ให้บริการศูนย์ข้อมูลที่ไม่เคยสัมผัสกับวงจรของเหลวมาก่อน สิ่งที่เคยเป็นลื่นไถลที่ออกแบบเป็นพิเศษซึ่งสร้างขึ้นสำหรับการติดตั้งซูเปอร์คอมพิวเตอร์เพียงเครื่องเดียว กลายมาเป็นผลิตภัณฑ์มาตรฐาน ติดตั้งบนชั้นวางหรือตั้งพื้นได้ โดยมีระดับความจุที่กำหนดไว้ ท่อร่วมแบบ Plug-and-Play และการตรวจสอบระยะไกลที่ติดตั้งมาจากโรงงาน การกำหนดมาตรฐานดังกล่าวเป็นเหตุผลหลักที่ทำให้การทำความเย็นด้วยของเหลวกลายเป็นเรื่องที่เป็นไปได้ในเชิงพาณิชย์ แทนที่จะคงไว้ซึ่งเครื่องมือเฉพาะทางสำหรับห้องปฏิบัติการระดับชาติ

เปรียบเทียบประเภท In-Row, In-Rack และ Sidecar

โดยทั่วไปหน่วยจำหน่ายระบบทำความเย็นมีจำหน่ายในรูปแบบทางกายภาพสามรูปแบบ และตัวเลือกดังกล่าวจะส่งผลต่อทุกอย่างตั้งแต่พื้นที่บนพื้นไปจนถึงการเดินสายเคเบิล ไปจนถึงการวางแผนระบบสำรอง

ยูนิตในชั้นวางมีความน่าสนใจสำหรับการปรับปรุงเพิ่มเติม เนื่องจากต้องใช้พื้นที่ลูปรองที่เล็กที่สุด และสามารถเพิ่มลงในตู้เดียวโดยไม่ต้องสัมผัสส่วนที่เหลือของแถว แต่จะทวีคูณจำนวนปั๊ม ตัวกรอง และเครื่องแลกเปลี่ยนความร้อนที่ต้องได้รับบริการเป็นระยะทั่วทั้งห้องโถง ยูนิตในแถวถือเป็นจุดกึ่งกลางที่ผู้ให้บริการโคโลเคชั่นหลายรายชื่นชอบ เนื่องจากความล้มเหลวของยูนิตเดียวจะส่งผลต่อตู้เพียงไม่กี่ตู้ แทนที่จะเป็นทั้งพ็อด และโดยปกติสามารถดึงและให้บริการยูนิตจากด้านหน้าได้โดยไม่รบกวนชั้นวางข้างเคียง

รถไซด์คาร์และยูนิตระดับห้องกลายเป็นตัวเลือกที่ใช้กันทั่วไปมากขึ้นสำหรับคลัสเตอร์การฝึกฝน AI ใหม่ เนื่องจากการปั๊มแบบรวมศูนย์และการแลกเปลี่ยนความร้อนจะช่วยลดจำนวนชิ้นส่วนที่เคลื่อนไหวต่อแร็ค และลดความซับซ้อนของโซนการตรวจจับการรั่วไหล แม้ว่าจะต้องใช้การเดินท่อแบบลูปรองที่ใหญ่กว่าและการปรับสมดุลแรงดันอย่างระมัดระวังในเครือข่ายการกระจายที่ยาวกว่าก็ตาม ผู้ปฏิบัติงานที่ย้ายไปยังตู้ฝึกอบรมที่มีความหนาแน่นสูงมาก ซึ่งมักจะอยู่ในช่วง 100 kW ขึ้นไปต่อชั้นวาง มีแนวโน้มที่จะหันไปหารูปแบบนี้ เนื่องจากช่วยให้ทีมออกแบบกลไกมุ่งความสนใจไปที่การเข้าถึงการบำรุงรักษา อะไหล่ และการตรวจสอบในที่เดียว แทนที่จะกระจายไปทั่วหน่วยระดับตู้หลายสิบเครื่อง

สถาปัตยกรรม CDU จากของเหลวสู่ของเหลวเทียบกับสถาปัตยกรรม CDU จากของเหลวสู่อากาศ

นอกเหนือจากรูปแบบทางกายภาพแล้ว CDU ยังมีวิธีปฏิเสธความร้อนที่แตกต่างกันอีกด้วย CDU จากของเหลวเป็นของเหลว ซึ่งเป็นการกำหนดค่าทั่วไปในโครงสร้างใหม่ แลกเปลี่ยนความร้อนโดยตรงกับน้ำเย็นในโรงงานหรือวงจรน้ำคอนเดนเซอร์ผ่านตัวแลกเปลี่ยนความร้อนแบบแผ่น CDU จากของเหลวสู่อากาศจะปฏิเสธความร้อนที่ส่งไปยังอากาศในห้องผ่านทางหม้อน้ำและชุดพัดลม ซึ่งหมายความว่าไม่จำเป็นต้องต่อน้ำในโรงงานเลย

ข้อดีของของเหลวถึงของเหลว

สถาปัตยกรรมนี้ปรับขนาดตามความหนาแน่นที่สูงกว่ามาก เนื่องจากน้ำนำความร้อนต่อหน่วยการไหลได้มากกว่าอากาศ และแยกวงจรทุติยภูมิออกจากสภาพอากาศในห้องโดยสิ้นเชิง ซึ่งทำให้ประสิทธิภาพสามารถคาดเดาได้มากขึ้น เป็นตัวเลือกมาตรฐานสำหรับสิ่งอำนวยความสะดวกใดๆ ที่มีโรงงานผลิตน้ำเย็นหรือระบบทำความเย็นแบบแห้งที่แถวชั้นวางอยู่แล้ว

ข้อดีของของเหลวสู่อากาศ

สถาปัตยกรรมนี้มีประโยชน์ในสถานการณ์การติดตั้งเพิ่มเติม ซึ่งการเดินท่อน้ำเย็นใหม่เป็นแถวไม่สามารถทำได้ หรือในไซต์ขอบที่เล็กกว่าซึ่งไม่มีวงจรน้ำในโรงงานเลย ข้อดีข้อเสียคือหน่วยของเหลวสู่อากาศยังคงขึ้นอยู่กับอุณหภูมิอากาศในห้องเพื่อการปฏิเสธความร้อนขั้นสูงสุด ดังนั้นความสามารถและประสิทธิภาพจึงลดลงบ้างในห้องที่มีอากาศร้อน และจะส่งความร้อนกลับเข้าไปในห้องเพิ่มเติมซึ่งระบบปรับอากาศของห้องจะต้องกำจัดออก

โดยที่หน่วยกำลังไฮดรอลิก DC พอดีกับลูป

ความสับสนที่ผู้ซื้อพบเจอมาจากการผสมหน่วยพลังงานไฮดรอลิกที่สร้างขึ้นสำหรับเครื่องจักรอุตสาหกรรมกับแพ็คเกจปั๊มภายในหน่วยกระจายความเย็น ก หน่วยพลังงานไฮดรอลิก DC ในบริบทของการทำความเย็น หมายถึงชุดประกอบปั๊ม-มอเตอร์-อ่างเก็บน้ำขนาดกะทัดรัดที่ทำงานบนกระแสตรง โดยทั่วไปคือ 24V หรือ 48V และขับเคลื่อนการไหลเวียนของของไหลสำหรับรางระบายความร้อนด้วยของเหลวที่มีขนาดเล็กกว่าหรือติดตั้งที่ขอบ โดยที่แพ็คเกจปั๊ม AC สามเฟสแบบเต็มอาจมีขนาดใหญ่เกินไปหรือไม่พร้อมใช้งาน

โมดูลปั๊มที่ขับเคลื่อนด้วย DC ปรากฏขึ้นบ่อยที่สุดในสามสถานการณ์: ตู้ขอบโทรคมนาคมที่มีโรงไฟฟ้า DC ในสถานที่เท่านั้น ศูนย์ข้อมูลแบบคอนเทนเนอร์หรือแบบแยกส่วนที่สร้างขึ้นสำหรับสถานที่ห่างไกลซึ่งไม่มีแหล่งจ่ายไฟสามเฟสที่เสถียร และชุดปั๊มสำรองสำรองที่ต้องรักษาของเหลวที่ไหลเวียนในระหว่างการถ่ายโอนพลังงานไฟฟ้ากระแสสลับชั่วขณะ ในกรณีเหล่านี้ หน่วยกำลังไฮดรอลิก DC ทำหน้าที่เป็นกล้ามเนื้อภายใน CDU โดยจะเคลื่อนสารหล่อเย็นผ่านท่อร่วมและแผ่นเย็น ในขณะที่แผงควบคุมของ CDU จะจัดการตำแหน่งวาล์ว การผสมบายพาส และค่าที่ตั้งไว้ของอุณหภูมิ

โดยทั่วไปแล้ว CDU ที่ได้รับการออกแบบมาอย่างดีซึ่งสร้างขึ้นโดยใช้สถาปัตยกรรมปั๊ม DC จะมีแบตเตอรี่ขนาดเล็กหรือบัฟเฟอร์ซุปเปอร์คาปาซิเตอร์ ดังนั้นการปั๊มไม่หยุดแม้จะใช้เวลาสองสามร้อยมิลลิวินาทีก็ตาม โดยต้องใช้สวิตช์ถ่ายโอนอัตโนมัติเพื่อย้ายระหว่างฟีดยูทิลิตี้ เนื่องจากการหยุดชะงักของปั๊มเพียงช่วงสั้นๆ ก็สามารถทำให้เกิดฮอตสปอตเฉพาะจุดบนแผ่นเย็น GPU ที่โหลดเต็มได้ โดยเฉพาะอย่างยิ่งผู้ให้บริการโทรคมนาคมต้องพึ่งพาโรงงาน 48V DC สำหรับอุปกรณ์ทั้งหมดในตู้มาเป็นเวลานาน และการขยายบัส DC เดียวกันนั้นไปยังปั๊มทำความเย็น หลีกเลี่ยงความจำเป็นในการป้อน AC แยกต่างหากเพียงเพื่อใช้ฮาร์ดแวร์ทำความเย็นเท่านั้น

การปรับขนาดหน่วยกำลังไฮดรอลิก DC สำหรับการระบายความร้อน

การกำหนดขนาดเป็นไปตามหลักฟิสิกส์เดียวกันกับการเลือกปั๊ม: อัตราการไหลที่ต้องการต่อแรงดันตกของระบบจะกำหนดกำลังของมอเตอร์ที่ต้องการ จากนั้นแรงดัน DC และกระแสดึงจะมาจากค่ากำลังนั้น ขอบระบายความร้อนขนาดเล็กที่รองรับชั้นวางเดียวอาจต้องใช้ปั๊ม DC ที่ดึงออกมาต่ำกว่า 150 วัตต์ ในขณะที่ยูนิตคาร์ขนาดใหญ่ที่สร้างขึ้นรอบๆ บัส DC สำหรับพ็อดเต็มอาจต้องใช้ปั๊มจำนวนมากและอ่างเก็บน้ำที่ใหญ่กว่ามาก ซึ่ง ณ จุดนี้ผู้ปฏิบัติงานหลายคนประเมินว่าสถาปัตยกรรม DC ยังคงสมเหตุสมผลหรือไม่เมื่อเทียบกับปั๊มไฟฟ้ากระแสสลับสามเฟสมาตรฐาน

ข้อควรพิจารณาด้านความน่าเชื่อถือเฉพาะสำหรับโมดูลปั๊ม DC

เนื่องจากหน่วยกำลังไฮดรอลิก DC มักถูกใช้งานที่ไซต์ Edge ที่ไม่มีคนควบคุมหรือมีพนักงานไม่มาก ความซ้ำซ้อนและการวินิจฉัยระยะไกลจึงมีความสำคัญมากกว่าในศูนย์ข้อมูลที่มีพนักงานประจำ มองหาหัวปั๊มสำรองคู่ที่ใช้อ่างเก็บน้ำเดียว การตรวจสอบกระแสที่สามารถแจ้งแบริ่งมอเตอร์ที่ชำรุดก่อนที่จะเกิดข้อผิดพลาดโดยสิ้นเชิง และผู้ควบคุมที่สามารถรายงานสถานะผ่านอินเทอร์เฟซมาตรฐาน แม้ว่าไซต์งานจะไม่มีเจ้าหน้าที่ไอทีในสถานที่เพื่อตรวจสอบตัวเครื่องก็ตาม

ส่วนประกอบหลักภายใน CDU สมัยใหม่

• แผ่นแลกเปลี่ยนความร้อน: ถ่ายเทความร้อนระหว่างสิ่งอำนวยความสะดวกและเทคโนโลยีโดยไม่ต้องผสมของไหล โดยทั่วไปจะเป็นเหล็กสแตนเลสหรือแผ่นไทเทเนียมที่ประสาน
• ปั๊มสำรอง: ใช้งานได้เกือบทุกครั้งในการกำหนดค่า ยังไม่มีข้อความ 1 ดังนั้นปั๊มตัวเดียวที่ขัดข้องจึงไม่รบกวนการระบายความร้อน
• ตัวกรองอนุภาคที่ได้รับการจัดอันดับให้ดักจับเศษขยะได้ละเอียดถึง 25 ถึง 50 ไมครอน ก่อนที่ของเหลวจะไปถึงช่องแผ่นเย็น
• วาล์วปรับสามทางที่ผสมผสานของไหลย้อนกลับกับของไหลจ่ายเพื่อให้บรรลุอุณหภูมิลูปเทคโนโลยีคงที่ โดยไม่คำนึงถึงความผันผวนของน้ำในโรงงาน
• มิเตอร์วัดการไหลและเซ็นเซอร์ความดันแตกต่างในแต่ละสาขาของชั้นวางเพื่อตรวจจับการอุดตันตั้งแต่เนิ่นๆ
• สายเคเบิลตรวจจับการรั่วหรือเซ็นเซอร์จุดที่วางไว้ที่จุดต่ำสุดของกรอบหุ้มและใต้การเชื่อมต่อท่อร่วม
• ถังขยายหรือกระเพาะปัสสาวะเพื่อดูดซับการขยายตัวทางความร้อนของลูปทุติยภูมิที่ปิดสนิท
• คอนโทรลเลอร์ที่มีการเชื่อมต่อเครือข่าย ซึ่งมักจะเป็น Modbus TCP หรือ SNMP สำหรับการผสานรวมกับสแตกการตรวจสอบของศูนย์ข้อมูล
• วาล์วแยกทั้งด้านสิ่งอำนวยความสะดวกและด้านเทคโนโลยี เพื่อให้สามารถซ่อมบำรุงหรือเปลี่ยนเครื่องได้โดยไม่ต้องระบายออกทั้งแถว
• แผงอินเทอร์เฟซสำหรับมนุษย์ในตัวเครื่อง ซึ่งโดยปกติจะเป็นหน้าจอสัมผัสขนาดเล็ก สำหรับการปรับจุดที่กำหนดในสถานที่ทำงานและการตรวจสอบสัญญาณเตือน

แต่ละองค์ประกอบเหล่านี้มีบทบาทที่แตกต่างกันในด้านความน่าเชื่อถือโดยรวม และการข้ามองค์ประกอบใดองค์ประกอบหนึ่งเพื่อลดต้นทุนมีแนวโน้มที่จะแสดงในภายหลังว่าเป็นปัญหาในการบำรุงรักษาหรือการหยุดทำงาน แทนที่จะเป็นการประหยัดล่วงหน้า โดยเฉพาะอย่างยิ่งวาล์วแยกส่วนมักถูกมองข้ามในการออกแบบงบประมาณ และการไม่มีวาล์วแยกดังกล่าวจะทำให้การเปลี่ยนปั๊มเป็นประจำกลายเป็นเหตุการณ์ที่ต้องมีการระบายและเติมลูปรองทั้งหมดสำหรับแถว

การปรับขนาดหน่วยจ่ายความเย็นอย่างถูกต้อง

การลดขนาด CDU เป็นข้อผิดพลาดที่พบบ่อยที่สุดและมีราคาแพงที่สุด เนื่องจากหน่วยที่ดูเพียงพอบนกระดาษที่โหลดการออกแบบมักจะไม่สามารถรับมือกับการเพิ่มพลังงานชั่วคราวที่กลุ่ม GPU สมัยใหม่สร้างขึ้นระหว่างการฝึกซ้อมต่อเนื่อง ตัวเลขสามตัวมีความสำคัญมากที่สุดเมื่อปรับขนาด

โหลดความร้อนทั้งหมดเทียบกับความจุพิกัด

เพิ่มพลังการออกแบบการระบายความร้อนของส่วนประกอบระบายความร้อนด้วยของเหลวทุกตัวในแถว จากนั้นใช้ระยะขอบด้านความปลอดภัยอย่างน้อย 20 เปอร์เซ็นต์สำหรับการอัพเกรดแร็คในอนาคต หน่วยที่ได้รับการจัดอันดับที่โหลดในปัจจุบันจะไม่เหลือช่องว่างเมื่อลูกค้าเปลี่ยนเครื่องเร่งกำลังวัตต์ที่สูงกว่ารุ่นในอีกสิบแปดเดือนต่อมา และการติดตั้ง CDU ภายหลังจากข้อเท็จจริงจะก่อกวนมากกว่าการระบุส่วนต่างพิเศษตั้งแต่เริ่มต้น

อุณหภูมิเข้าใกล้

นี่คือความแตกต่างของอุณหภูมิระหว่างน้ำในโรงงานที่เข้าสู่เครื่องแลกเปลี่ยนความร้อนและเทคโนโลยีวนน้ำที่ปล่อยออกมา อุณหภูมิเข้าใกล้ที่เข้มงวดมากขึ้น โดยทั่วไปคือ 2 ถึง 3 องศาเซลเซียสในหน่วยที่ได้รับการออกแบบมาอย่างดี หมายความว่า CDU สามารถส่งน้ำเย็นไปยังชิปได้แม้ว่าน้ำในโรงงานจะอุ่นขึ้น ซึ่งมีความสำคัญอย่างมากในสภาพอากาศหรือฤดูกาลที่เครื่องทำความเย็นแบบแห้งไม่สามารถผลิตน้ำเย็นมากได้ ในทางตรงกันข้าม อุณหภูมิทางเข้าที่กว้างขึ้น จะทำให้โรงงานต้องทำงานเย็นลงเพื่อชดเชย ซึ่งจะเพิ่มการใช้พลังงานของเครื่องทำความเย็นทั่วทั้งอาคาร

อัตราการไหลต่อแร็ค

ผู้ผลิตแผ่นเย็นส่วนใหญ่ระบุอัตราการไหลที่ต้องการต่อตัวเร่งความเร็ว ซึ่งมักจะอยู่ในช่วง 1 ถึง 3 ลิตรต่อนาทีต่อ GPU คูณค่านี้ด้วยจำนวนตัวเร่งความเร็วในชั้นวาง จากนั้นยืนยันว่าเส้นโค้งปั๊มพิกัดของ CDU สามารถรักษาอัตราการไหลเทียบกับแรงดันตกของท่อร่วม ท่อ และข้อต่อแบบปลดเร็วทั้งหมดได้ เนื่องจากการปลดการเชื่อมต่ออย่างรวดเร็วเพียงอย่างเดียวสามารถทำให้เกิดส่วนแบ่งการสูญเสียแรงดันของระบบทั้งหมดอย่างมีนัยสำคัญ เป็นเรื่องปกติสำหรับทีมที่จะปรับขนาดปั๊มโดยเทียบกับแรงดันตกคร่อมแผ่นเย็นเพียงอย่างเดียว และลืมที่จะเพิ่มการสูญเสียท่อร่วมและข้อต่อ ซึ่งจะแสดงว่ามีอัตราการไหลต่ำกว่าที่คาดไว้เมื่อระบบถูกสร้างขึ้นอย่างสมบูรณ์

พฤติกรรมการโหลดบางส่วน

คลัสเตอร์ไม่ค่อยทำงานที่กำลังไฟเต็มพิกัดอย่างต่อเนื่อง ช่วงรอบเดินเบา ช่องว่างในการจัดกำหนดการงานเป็นชุด และช่วงเวลาการบำรุงรักษาล้วนสร้างสภาวะโหลดบางส่วน และ CDU ที่มีปั๊มแบบปรับความเร็วได้สามารถลดความเร็วลงในช่วงเวลาเหล่านี้เพื่อประหยัดพลังงานแทนที่จะทำงานที่การไหลเต็มโดยไม่คำนึงถึงภาระความร้อนจริง การออกแบบปั๊มความเร็วคงที่จะสิ้นเปลืองพลังงานในปริมาณที่วัดได้เมื่อเปรียบเทียบกับการออกแบบที่ปรับความเร็วได้เมื่อคำนึงถึงรูปแบบการใช้งานจริง

ข้อกำหนดทางเคมีของของไหลและการกรอง

ของเหลวในลูปทุติยภูมิไม่ใช่แค่น้ำประปาเท่านั้น ผู้ปฏิบัติงานส่วนใหญ่ใช้น้ำปราศจากไอออนพร้อมแพ็คเกจยับยั้งการกัดกร่อน หรือผสมโพรพิลีนไกลคอล เมื่อจำเป็นต้องมีการป้องกันการแข็งตัวในการใช้งานกลางแจ้งหรือบริเวณขอบ ของเหลวที่ไม่ผ่านการบำบัดหรือกรองไม่ดีเป็นสาเหตุหลักของความล้มเหลวของแผ่นทำความเย็นก่อนเวลาอันควร เนื่องจากการสะสมของตะกรันและการเติบโตทางชีวภาพจะลดเส้นผ่านศูนย์กลางของช่องภายในเมื่อเวลาผ่านไป และเพิ่มความต้านทานความร้อนระหว่างชิปและสารหล่อเย็น

โดยทั่วไปแล้ว ผู้ปฏิบัติงานจะทดสอบของเหลวลูปทุติยภูมิเป็นรายไตรมาสสำหรับค่า pH การนำไฟฟ้า และออกซิเจนละลายน้ำ และผู้จำหน่าย CDU หลายรายในปัจจุบันได้รวมเซ็นเซอร์วัดค่าการนำไฟฟ้าแบบอินไลน์ไว้ซึ่งจะแจ้งเมื่อของเหลวจำเป็นต้องเปลี่ยนก่อนที่ประสิทธิภาพการทำความเย็นจะลดลง วงจรที่ได้รับการบำรุงรักษาอย่างดีพร้อมการกรองอย่างต่อเนื่องสามารถทำงานได้เป็นเวลาสามถึงห้าปีระหว่างการเปลี่ยนของเหลวทั้งหมด ตามคำแนะนำที่เผยแพร่โดยผู้ผลิตอุปกรณ์ทำความเย็น และได้รับการยืนยันในข้อมูลภาคสนามที่แบ่งปันโดยผู้ดำเนินการโคโลเคชั่นที่ใช้พ็อด GPU หนาแน่น

ประเภทของของไหลทั่วไปที่ใช้ในลูปรอง

แนวทางปฏิบัติที่ดีที่สุดในการกรอง

วิธีการกรองแบบหลายชั้นทำงานได้ดีที่สุดในทางปฏิบัติ: เครื่องกรองหยาบที่ทางเข้า CDU เพื่อดักจับเศษขยะขนาดใหญ่ ตัวกรองอนุภาคที่ละเอียดกว่าพิกัดประมาณ 25 ถึง 50 ไมครอน ซึ่งวางอยู่ในตำแหน่งก่อนที่ของไหลจะไปถึงท่อร่วม และห่วงกรองบายพาสที่ขัดกระแสของเหลวด้านข้างเล็กๆ อย่างต่อเนื่องแม้ในขณะที่ห่วงหลักกำลังทำงานอยู่ วิธีการแบบหลายชั้นนี้จับการปนเปื้อนได้มากที่สุดก่อนที่จะไปถึงแผ่นเย็น ซึ่งช่องภายในที่แคบทำให้แม้แต่อนุภาคขนาดเล็กก็เสี่ยงต่อการอุดตันอย่างแท้จริง

โมเดลความซ้ำซ้อนสำหรับการปรับใช้ CDU

ความซ้ำซ้อนของปั๊มภายในแชสซี CDU เดียวเป็นการพิจารณาที่แยกจากความซ้ำซ้อนระดับหน่วยข้ามแถว และข้อกำหนดส่วนใหญ่ในขณะนี้กำหนดให้ต้องใช้ทั้งปั๊มภายในแบบคู่และสำรองหน่วย N 1 เป็นอย่างน้อยสำหรับการใช้งานที่รองรับการประมวลผลที่สร้างรายได้ ความแตกต่างมีความสำคัญเนื่องจากระบบสำรองภายในปั๊มป้องกันความล้มเหลวของปั๊มตัวเดียวในขณะที่ CDU เองก็ทำงานต่อไป ในขณะที่ระบบสำรองระดับยูนิตป้องกันความล้มเหลวของ CDU ทั้งหมด รวมถึงตัวแลกเปลี่ยนความร้อน ตัวควบคุม หรือชุดวาล์ว

สถาปัตยกรรม 2N ซึ่งทุกแถวมี CDU ที่ทำซ้ำโดยสมบูรณ์และเส้นทางท่ออิสระ มีความยืดหยุ่นมากที่สุด แต่ยังเพิ่มต้นทุนเงินทุนประมาณสองเท่าสำหรับชั้นกระจายการทำความเย็น ดังนั้นจึงมีแนวโน้มที่จะสงวนไว้สำหรับสิ่งอำนวยความสะดวกที่แม้แต่การหยุดชะงักของการทำความเย็นช่วงสั้น ๆ ก็ทำให้เกิดการสูญเสียงานฝึกอบรมระยะยาวหรือปริมาณงานการผลิตอย่างไม่อาจยอมรับได้

การตรวจสอบ การควบคุม และการบูรณาการกับระบบการจัดการอาคาร

CDU สมัยใหม่เป็นแหล่งข้อมูลพอๆ กับที่เป็นอุปกรณ์กลไก ทุกหน่วยที่คุ้มค่าในการใช้งานในปัจจุบันจะรายงานอัตราการไหล อุณหภูมิการจ่ายและส่งคืนบนทั้งสองลูป แรงดันส่วนต่าง ความเร็วของปั๊มและกระแสดึง สภาพตัวกรอง และสถานะการรั่วไหลกลับไปยังแพลตฟอร์มตรวจสอบส่วนกลาง การวัดและส่งข้อมูลทางไกลนี้จะป้อนเข้าสู่ซอฟต์แวร์การจัดการโครงสร้างพื้นฐานของศูนย์ข้อมูลของสถานที่ ซึ่งผู้ปฏิบัติงานสามารถเชื่อมโยงประสิทธิภาพการทำความเย็นกับโหลดของไอทีได้โดยตรง

เกณฑ์การเตือนที่คุ้มค่าในการกำหนดค่า

นอกเหนือจากการแจ้งเตือนอุณหภูมิสูงและต่ำแบบธรรมดาแล้ว สิ่งอำนวยความสะดวกที่ดำเนินงานอย่างดียังกำหนดค่าการแจ้งเตือนอัตราการเปลี่ยนแปลงที่ตรวจพบการเบี่ยงเบนไปอย่างช้าๆ ไปสู่ปัญหาก่อนที่จะข้ามเกณฑ์สัมบูรณ์ ตัวอย่างเช่น อัตราการไหลที่ค่อย ๆ ลดลงในช่วงหลายสัปดาห์ มักจะส่งสัญญาณว่าตัวกรองเข้าใกล้ความจุเป็นเวลานานก่อนที่จะส่งสัญญาณเตือนการไหลต่ำอย่างรุนแรง และการตรวจจับแนวโน้มนั้นตั้งแต่เนิ่นๆ จะช่วยหลีกเลี่ยงการเปลี่ยนแปลงตัวกรองโดยไม่ได้วางแผนในระหว่างช่วงระยะเวลาโหลดสูง

บูรณาการกับข้อมูลโหลดไอที

สิ่งอำนวยความสะดวกที่เชื่อมโยงการวัดและส่งข้อมูลทางไกลของ CDU เข้ากับข้อมูลการดึงพลังงานของเซิร์ฟเวอร์โดยตรงสามารถสร้างแบบจำลองเชิงคาดการณ์ที่คาดการณ์ความต้องการในการทำความเย็นก่อนปริมาณงานที่กำหนดเวลาไว้ แทนที่จะตอบสนองเฉพาะหลังจากที่อุณหภูมิสูงขึ้นเท่านั้น สิ่งนี้มีประโยชน์อย่างยิ่งสำหรับกลุ่มการฝึกอบรม AI ซึ่งการดึงพลังงานสามารถแกว่งได้อย่างมากภายในไม่กี่วินาทีในขณะที่งานเคลื่อนที่ระหว่างขั้นตอนการประมวลผลที่หนักหน่วงและขั้นตอนการสื่อสารที่หนักหน่วง และลูปควบคุม CDU ที่สามารถคาดการณ์การแกว่งเหล่านี้ทำงานได้ดีกว่าการวัดที่ตอบสนองต่ออุณหภูมิตามความเป็นจริงเท่านั้น

ประสิทธิภาพการใช้พลังงานและผลกระทบต่อการใช้พลังงานโดยรวมของโรงงาน

เนื่องจากการระบายความร้อนด้วยของเหลวจะถ่ายเทความร้อนได้อย่างมีประสิทธิภาพมากกว่าอากาศ สิ่งอำนวยความสะดวกที่เปลี่ยนภาระงานด้านไอทีที่สำคัญไปยังชั้นวางที่ให้บริการ CDU โดยทั่วไปจะเห็นการปรับปรุงที่วัดได้ในประสิทธิภาพการใช้พลังงานของสถานที่โดยรวม เนื่องจากโรงงานเครื่องจักรใช้พลังงานในการเคลื่อนย้ายอากาศน้อยลง และดึงพลังงานทั้งหมดไปสู่การประมวลผลโดยตรง ปั๊มแบบปรับความเร็วได้ภายใน CDU ยังช่วยลดการใช้พลังงานของปรสิตโดยการสูบเฉพาะการไหลเท่าที่ภาระความร้อนในปัจจุบันต้องการจริงๆ แทนที่จะใช้ความเร็วคงที่โดยไม่คำนึงถึงโหลด

สิ่งอำนวยความสะดวกที่จับคู่ CDU กับเครื่องทำความเย็นแบบแห้งหรือวงจรทำความเย็นแบบอิสระยังสามารถขยายจำนวนชั่วโมงต่อปีในระหว่างที่ไม่ต้องใช้เครื่องทำความเย็นแบบกลไกเลย เนื่องจากการควบคุมอุณหภูมิทางเข้าที่เข้มงวดของ CDU ช่วยให้การทำความเย็นมีประโยชน์แม้จะใช้น้ำในโรงงานที่มีอุณหภูมิอุ่นปานกลางก็ตาม ผู้ปฏิบัติงานในสภาพอากาศที่เย็นกว่าได้รายงานว่าการขยายชั่วโมงการทำความเย็นฟรีอย่างมีความหมายโดยการรวม CDU ที่มีอุณหภูมิต่ำเข้าถึงเข้ากับกลยุทธ์การควบคุมเครื่องทำความเย็นแบบแห้งที่ได้รับการปรับแต่งอย่างดี ตามกรณีศึกษาที่เผยแพร่โดยผู้ผลิตอุปกรณ์ทำความเย็นและนักวิจัยประสิทธิภาพของศูนย์ข้อมูลเชิงวิชาการ

ข้อผิดพลาดทั่วไปในการติดตั้งและการว่าจ้าง

1. ข้ามการทดสอบแรงดันไนโตรเจนในลูปรองก่อนที่จะเติมสารหล่อเย็น ซึ่งจะทำให้ตรวจไม่พบรอยรั่วเล็กๆ จนกว่าลูปจะทำงาน
2. ไม่สามารถล้างท่อใหม่ได้อย่างทั่วถึง ทิ้งเศษการผลิตที่อุดตันช่องแผ่นเย็นในภายหลัง
3. การวางเซ็นเซอร์ตรวจจับการรั่วที่ระดับพื้นเท่านั้น และไม่มีจุดหยดที่การเชื่อมต่อท่อร่วมเหนือศีรษะ
4. ลดขนาดถังขยาย ซึ่งทำให้เกิดแรงดันเพิ่มขึ้นเมื่อลูปร้อนขึ้นภายใต้ภาระการประมวลผลเต็มรูปแบบ
5. ไม่ตรวจสอบประสิทธิภาพของเส้นโค้งของปั๊มเทียบกับแรงดันตกคร่อมที่สร้างขึ้น แทนที่จะตรวจสอบการลดลงของการออกแบบทางทฤษฎี
6. การเชื่อมต่อข้อต่อแบบปลดเร็วในทิศทางที่ไม่ถูกต้อง ซึ่งอาจจำกัดการไหลหรือป้องกันการปิดผนึกแบบแห้งได้อย่างเหมาะสม
7. มองข้ามข้อกำหนดในการยึดเกาะและการต่อสายดินบนการเดินท่อโลหะ ซึ่งอาจนำไปสู่การกัดกร่อนของกัลวานิกที่ข้อต่อโลหะที่ไม่เหมือนกันเมื่อเวลาผ่านไป
8. ความล้มเหลวในการบันทึกการไหลพื้นฐานและการอ่านค่าแรงดันในการทดสอบเดินเครื่อง ซึ่งทำให้การวินิจฉัยการเลื่อนลอยของประสิทธิภาพทีละน้อยในภายหลังทำได้ยากขึ้นมาก

ตารางการบำรุงรักษาอย่างต่อเนื่องสำหรับ CDU ที่ดีต่อสุขภาพ

การแก้ไขปัญหาประสิทธิภาพทั่วไปของ CDU

อัตราการไหลที่ลดลงเมื่อเวลาผ่านไป

การลดลงอย่างค่อยเป็นค่อยไปของอัตราการไหลมักจะชี้ไปที่ตัวกรองที่กำลังเข้าใกล้ความจุหรือการสะสมตัวในระยะเริ่มต้นที่ไหนสักแห่งในลูป การตรวจสอบแรงดันแตกต่างทั่วทั้งตัวเรือนตัวกรองมักเป็นวิธีที่เร็วที่สุดในการยืนยันสาเหตุก่อนกำหนดเวลาการเปลี่ยนตัวกรอง

อุณหภูมิวิธีที่เพิ่มขึ้น

หากช่องว่างระหว่างอุณหภูมิการจ่ายสิ่งอำนวยความสะดวกและอุณหภูมิการจ่ายลูปเทคโนโลยีกว้างกว่าแนวทางที่กำหนดของหน่วย แผ่นแลกเปลี่ยนความร้อนมีแนวโน้มที่จะเปรอะเปื้อนทั้งด้านสิ่งอำนวยความสะดวกหรือด้านเทคโนโลยี หรือการไหลของสิ่งอำนวยความสะดวกไปยังยูนิตลดลงเนื่องจากวาล์วปิดบางส่วนที่อื่นในแถว

สัญญาณเตือนการรั่วไหลเป็นระยะๆ

สัญญาณเตือนการรั่วไหลที่น่ารำคาญมักเกิดจากการควบแน่นที่ก่อตัวบนท่อจ่ายความเย็นในห้องที่มีความชื้น แทนที่จะเป็นการรั่วไหลของของเหลวที่เกิดขึ้นจริง ฉนวนหุ้มท่อเย็นแบบเปิดโล่งและการยืนยันการควบคุมความชื้นในห้องมักจะแก้ไขปัญหานี้โดยไม่จำเป็นต้องเปิดลูปเลย

การปั่นจักรยานปั๊มที่ไม่คาดคิด

ปั๊มที่หมุนเวียนเปิดและปิดอย่างรวดเร็วแทนที่จะทำงานอย่างต่อเนื่องด้วยความเร็วที่ควบคุม มักจะบ่งชี้ว่ามีถังขยายที่มีขนาดเล็กกว่าปกติหรือช่องอากาศติดอยู่ในลูปที่ทำให้เกิดแรงดันแกว่งเกินแถบจุดตั้งค่าของตัวควบคุม

CDUs และ Immersion Cooling ทำงานร่วมกัน

ถังทำความเย็นแบบจุ่มซึ่งเซิร์ฟเวอร์ทั้งหมดจมอยู่ในของเหลวอิเล็กทริก ยังคงต้องการวิธีปฏิเสธความร้อนที่ของเหลวดูดซับ และหน่วยกระจายความเย็นมักใช้เพื่อจุดประสงค์นี้โดยเฉพาะ ในการกำหนดค่านี้ ลูปรองของ CDU จะหมุนเวียนของไหลอิเล็กทริกผ่านตัวแลกเปลี่ยนความร้อนที่เชื่อมต่อกับถัง แทนที่จะผ่านแผ่นทำความเย็น ในขณะที่ลูปหลักยังคงเชื่อมต่อกับแหล่งจ่ายน้ำของโรงงานในลักษณะเดียวกับที่ใช้กับการติดตั้งแผ่นเย็น

ข้อแตกต่างในการออกแบบหลักๆ คือของเหลวอิเล็กทริกโดยทั่วไปมีค่าการนำความร้อนต่ำกว่าและมีความหนืดสูงกว่าน้ำ ดังนั้นปั๊มและเครื่องแลกเปลี่ยนความร้อนที่มีขนาดสำหรับลูปแผ่นเย็นที่ใช้น้ำจึงไม่เหมาะสำหรับวงจรการแช่โดยอัตโนมัติ และโดยทั่วไปผู้จำหน่ายจะเสนอกลุ่มผลิตภัณฑ์รุ่น CDU แยกต่างหากที่ปรับแต่งสำหรับคุณสมบัติของของเหลวอิเล็กทริกโดยเฉพาะ

ปัจจัยด้านต้นทุนนอกเหนือจากราคาซื้อต่อหน่วย

ราคาสติกเกอร์ของหน่วยกระจายความเย็นเป็นเพียงส่วนหนึ่งของต้นทุนการใช้งานทั้งหมด การวางท่อ ท่อร่วม อุปกรณ์เชื่อมต่อแบบถอดเร็ว ฉนวน ถาดกักกันการรั่วไหล และแรงงานทดสอบระบบ มักทำให้มีส่วนแบ่งที่ใกล้เคียงกันหรือมากกว่าของค่าใช้จ่ายทั้งหมด โดยเฉพาะอย่างยิ่งในโครงการปรับปรุงที่พื้นยกสูงหรือทางเดินเหนือศีรษะไม่ได้ออกแบบโดยคำนึงถึงระบบท่อของเหลวเป็นหลัก ค่าใช้จ่ายอย่างต่อเนื่อง ได้แก่ การเปลี่ยนของเหลว วัสดุสิ้นเปลืองของตัวกรอง และไฟฟ้าที่ปั๊มดึงมาใช้เอง ซึ่งถือเป็นส่วนเล็กๆ ของกำลังไฟฟ้าทั้งหมดของโรงงาน แต่ก็ยังคุ้มค่าที่จะรวมไว้ในงบประมาณการดำเนินงานในระยะยาว

การวางแผนสิ่งอำนวยความสะดวกแบบหลายเฟสมักจะพบว่าการติดตั้ง CDU รถเทียมข้างรถจักรยานยนต์ขนาดใหญ่ที่มีพื้นที่ว่างสำหรับระยะในอนาคตนั้นประหยัดกว่าการติดตั้งยูนิตขนาดเล็กหลายๆ ยูนิตตามลำดับ เนื่องจากการวางท่อและการว่าจ้างแรงงานจะมีขนาดมากขึ้นตามจำนวนเหตุการณ์การติดตั้งแยกกัน มากกว่าขนาดทางกายภาพของยูนิตเดียว

ตลาดกำลังมุ่งหน้าไปที่ใด

การนำระบบระบายความร้อนด้วยของเหลวมาใช้ได้ย้ายอย่างรวดเร็วจากเครื่องมือคอมพิวเตอร์ประสิทธิภาพสูงเฉพาะกลุ่ม ไปสู่ข้อกำหนดหลักสำหรับการฝึกอบรม AI และโครงสร้างพื้นฐานการอนุมาน ซึ่งขับเคลื่อนโดยตรงจากตัวเลขกำลังการออกแบบตัวเร่งความร้อน ซึ่งปัจจุบันเกิน 700 ถึง 1,000 วัตต์ต่อชิปเป็นประจำ การเปลี่ยนแปลงนี้ได้ผลักดันผู้จำหน่ายหน่วยกระจายความเย็นไปยังรถเทียมข้างรถจักรยานยนต์ขนาดใหญ่และหน่วยระดับห้อง อุณหภูมิเข้าใกล้ที่เข้มงวดมากขึ้น และสถาปัตยกรรมปั๊ม รวมถึงโมดูลที่ขับเคลื่อนด้วย DC ซึ่งสามารถรวมเข้ากับแบตเตอรี่ในสถานที่และโครงสร้างพื้นฐานด้านพลังงานได้ง่ายขึ้น เพื่อการทำงานอย่างต่อเนื่องระหว่างการเปลี่ยนพลังงาน

สิ่งอำนวยความสะดวกที่เป็นมาตรฐานในการระบายความร้อนด้วยอากาศเมื่อสามปีที่แล้วกำลังปรับปรุงห้องเครื่องกลโดยเฉพาะเพื่อโฮสต์ CDU แถวแล้วแถวเล่า และพื้นที่พื้นซึ่งครั้งหนึ่งเคยสงวนไว้สำหรับเครื่องจัดการอากาศในห้องคอมพิวเตอร์ก็จะถูกจัดสรรให้กับโครงสร้างพื้นฐานการทำความเย็นด้วยของเหลวมากขึ้นแทน ผู้จำหน่ายยังมาบรรจบกันบนอินเทอร์เฟซต่างๆ ที่ได้มาตรฐานมากขึ้นและตัดการเชื่อมต่ออย่างรวดเร็ว ซึ่งช่วยลดภาระทางวิศวกรรมที่กำหนดเองทุกครั้งที่มีการเปิดตัวเซิร์ฟเวอร์รุ่นใหม่ และทำให้ผู้ปฏิบัติงานผสมฮาร์ดแวร์จากผู้ผลิตหลายรายภายในแถวระบายความร้อนด้วยของเหลวเดียวกันได้ง่ายขึ้น