แผนงานที่ 2.1 ระบบการตรวจจับการล้ม โดยใช้กล้องและการเรียนรู้เชิงลึก

ภาพรวมการทำงานของระบบ

ระบบจะประกอบด้วยสามส่วนประกอบที่สำคัญ 1. ระบบประมวลผล edge computing hardware, 2 ระบบการให้บริการเว็บพร้อมระบบคลาวด์ปัญญาประดิษฐ์ RESTful web service and AI Cloud และ 3 ระบบเว็บแอปพลิเคชันเพื่อใช้ในการแสดงผลดังแสดงในรูปที่ 1 โดยในโครงการวิจัยนี้ เราจะใช้ระบบประมวลผล NVIDIA Jetson Xavier NX เพื่อทำการประมวลผลทางวิดีโอเบื้องต้น โดยระบบจะดึงข้อมูลมาจากกล้องวงจรปิดที่ติดตั้งในบ้านของผู้เข้าร่วมโครงการ ระบบประมวลผลนี้จะสามารถค้นและติดตามบุคคลเพื่อหาเหตุการณ์การล้มและการเคลื่อนไหวที่ไม่มั่นคง เมื่อระบบค้นพบเหตุการณ์ดังกล่าวระบบจะส่งข้อมูลที่บันทึกได้ไปผ่าน RESTful web service เพื่อไปประมวลผลต่อไปบน AI Cloud หลังจากนั้นถ้าระบบ AI Cloud ยืนยันว่ามีเหตุการณ์เกิดจริง ระบบจะส่งข้อมูลแจ้งเตือนไปยังบุคคลที่เกี่ยวข้อง

โปรแกรมประมวลผลภาพ จะทำหน้าที่ในการตรวจจับและตามรอยบุคคลที่ปรากฏขึ้นมาในมุมกล้อง จากนั้นระบบจะส่งข้อมูลภาพบุคคลที่ตรวจจับได้ไปยังโมดูลการดึงข้อมูลโครงร่างของร่างกาย (skeleton extraction) เพื่อหาตำแหน่งข้อต่อต่าง ๆ ของร่างกาย ซึ่งข้อมูลเหล่านี้ถูกนำมาใช้ในการวิเคราะห์เพื่อแยกแยะประเภทท่าทางต่าง ๆ ของบุคคลแต่ละคนที่ปรากฏในมุมกล้อง หากระบบสามารถตรวจพบท่าทางการหกล้ม หรือการเคลื่อนไหวที่ไม่มั่นคง ระบบจะทำการส่งข้อความแจ้งเตือนไปยังบัญชี LINE ที่ลงทะเบียนไว้ในระบบ

ขอบเขตและกิจกรรมการดำเนินงาน

กิจกรรม

Y1

Y2

Y3

Q1

Q2

Q3

Q4

Q1

Q2

Q3

Q4

Q1

Q2

Q3

Q4

2.1 โดยใช้กล้องหรือแมชชีนวิชั่น (Machine Vision) และการเรียนรู้เชิงลึก (Deep Learning)

2.1.1 การขยายผลของการวิเคราะห์การเคลื่อนไหว และการวิเคราะห์การควบคุมการกระทำ

x

x

x

x

x

x

x

x

x

x

x

x

2.1.2 การติดตั้ง

x

x

x

x

x

2.1.3 การรวมแพ็กเกจฮาร์ดแวร์

x

x

x

x

x

x

x

x

x

x

x

x

2.1.4 Analytic integration

x

x

x

x

x

x

x

x

x

2.1.5 การประเมินผล

x

x

x

x

x

x

x

x

รายละเอียดเกี่ยวกับอุปกรณ์ฮาร์ดแวร์

ในงานวิจัยนี้ ระบบการประมวลผลทางวิดีโอจะมีจุดประสงค์เพื่อหาตำแหน่งของคนในภาพ การดึงภาพโครงของคน และการหากิจกรรมโดยทั้งหมดจะเป็นการประมวลผลบน NVIDIA Jetson Xavier NX 16GB ระบบ AI Cloud จะเป็นการใช้งานระบบคลาวด์ที่มีอยู่แล้วของทางมหาวิทยาลัย NVIDIA Jetson Xavier NX 16GB เป็นระบบประมวลผลที่สามารถประมวลผลด้าน AI ที่มีประสิทธิภาพที่มีขนาดเล็ก โดยสามารถประมวลผลถึง 14 พันล้านคำสั่งในหนึ่งวินาที (TOPs) โดยใช้ปริมาณไฟฟ้าเพียง 10 วัตต์ หรือ 21 พันล้านคำสั่งในหนึ่งวินาที (TOPs) โดยใช้ปริมาณไฟฟ้าที่ 20 วัตต์ ข้อดีของระบบที่มีขนาดเล็ก ความสามารถในการประมวลผล และประสิทธิภาพทำให้ระบบประมวลผล NVIDIA Jetson Xavier NX เป็นระบบที่เหมาะสมกับการใช้ในโครงการนี้ ดังดังแสดงรายละเอียดดังในตารางที่ 2

AI Performance	21 TOPS
GPU	384-core NVIDIA Volta™ GPU with 48 Tensor Cores
CPU	6-core NVIDIA Carmel ARM®v8.2 64-bit CPU 6MB L2 + 4MB L3
Memory	16 GB 128-bit LPDDR4x 59.7GB/s
Storage	16 GB eMMC 5.1
Power	10W | 15W | 20W
PCIe	1 x1 (PCIe Gen3) + 1 x4 (PCIe Gen4), total 144 GT/s*
CSI Camera	Up to 6 cameras (24 via virtual channels) 14 lanes (3×4 or 6×2 or 3×4 + 1×2 or 5×2 + 1×4) MIPI CSI-2 D-PHY 1.2 (up to 30 Gbps)
Video Encode	2x 4K60 | 4x 4K30 | 10x 1080p60 | 22x 1080p30 (H.265) 2x 4K60 | 4x 4K30 | 10x 1080p60 | 20x 1080p30 (H.264)
Video Decode	2x 8K30 | 6x 4K60 | 12x 4K30 | 22x 1080p60 | 44x 1080p30 (H.265) 2x 4K60 | 6x 4K30 | 10x 1080p60 | 22x 1080p30 (H.264)
Display	2 multi-mode DP 1.4/eDP 1.4/HDMI 2.0
DL Accelerator	2x NVDLA
Vision Accelerator	2x PVA
Networking	10/100/1000 BASE-T Ethernet

การเปรียบเทียบประสิทธิภาพของระบบประมวลผล

เนื่องจากเราวางแผนจะใช้ระบบประมวลผล NVIDIA Jetson Xavier NX เราจะทำการศึกษาประสิทธิภาพเพิ่มเติม เปรียบเทียบกับระบบประมวลผลในรุ่นที่ใกล้เคียงกัน โดยทำการเปรียบเทียบกับ Jetson Nao พบว่าความสามารถในการประมวลผลคิดเป็น ภาพต่อวินาทีบนฮารด์แวร์จริง ในโมเดล AI ที่จะนำมาใช้ในโครงการ พบว่า NVIDIA Jetson Xavier NX สามารถทำงานได้อย่างมีประสิทธิภาพมากกว่าเกือบ 10 เท่า ซึ่งจะทำให้ Jetson Xavier รองรับการทำงานหลายกล้อง

Model	Jetson Nano	Jetson Xavier
resnet18_baseline_att_224x224_A	22	251
densenet121_baseline_att_256x256_B	12	101

การเลือกกลุ่มตัวอย่างผู้สูงอายุ

ทางทีมผู้วิจัยได้ทำการติดต่อบ้านผู้สูงอายุ ที่สนใจเข้าร่วมโครงการ โดยได้ทำการติดต่อผ่านทางกรมควบคุมโรค กระทรวงสาธารณสุข เพื่อหาข้อมูลบ้านผู้สูงอายุที่มีประวัติการล้มซ้ำ หรือ มีเหตุปัจจัยเสี่ยงต่องการล้ม สำหรับการเลือกกลุ่มตัวอย่างผู้สูงอายุ เพื่อให้การทดสอบครอบคลุมกลุ่มตัวอย่างผู้สูงอายุที่อาจเกิดการหกล้มจากเหตุปัจจัยที่แตกต่างกัน ทีมวิจัยจะเลือกกลุ่มผู้สูงอายุที่เคยมีประวัติดังต่อไปนี้

1. ผู้สูงอายุที่เคยมีประวัติการหกล้ม (Falling history case)
2. ผู้สูงอายุที่มีประวัติความดันโลหิตสูง (High blood pressure case)
3. ผู้สูงอายุที่มีประวัติความดันโลหิตต่ำ (Low blood pressure case)
4. ผู้สูงอายุที่มีประวัติอัลไซเมอร์ หรือ โรคที่ใกล้เคียง (Alzheimer case)
5. ผู้ใช้วีลแชร์ หรือ ผู้สูงอายุที่ใช้วีลแชร์

อย่างไรก็ตามในกรณีที่ทีมวิจัยหาอาสาสมัครกลุ่มตัวอย่างประเภทดังกล่าวข้างต้นไม่ได้ ทีมวิจัยอาจจะต้องพิจารณากลุ่มตัวอย่างในประเภทอื่น ๆ แทน

ภาพตัวอย่างด้านล่างแสดงตัวอย่างรูปจากการติดตั้งกล้องในบ้านอาสาสมัครที่มีผู้สูงอายุอาศัยอยู่ด้วย

ตัวอย่างมุมกล้องที่ติดตั้งในบ้านอาสาสมัครดังกล่าว