Menu

สรุป 4 เทคนิคการทำ “Data Cleansing” ไม่อยากวิเคราะห์พลาด ต้องเริ่มจากทำความสะอาดข้อมูล

ท่ามกลางข้อมูลจำนวนมหาศาล มีทั้งข้อมูลที่ถูกและผิดปะปนกันอยู่ หากเราไม่คลีนทุกอย่างให้ดี อาจส่งผลต่อการวิเคราะห์หา Insight ไปจนถึงการสร้าง Machine Learning ที่ผิดพลาดได้เลย

ดังนั้น การทำความสะอาดข้อมูลหรือ Data Cleansing จึงเป็นสิ่งสำคัญที่ชาว Data ห้ามลืมเด็ดขาด เพราะจะช่วยให้ข้อมูลของเรามีประสิทธิภาพที่พร้อมต่อการพร้อมใช้งาน ซึ่งจะมีเทคนิคอะไรบ้าง แอดสรุปมาให้แล้ว ตามนี้เลย

1. เช็กข้อมูลเดิม เพื่อทำ Data Profiling

เริ่มจากกางข้อมูลที่มีอยู่ในมือออกมาให้หมด แล้วจัดทำ Data Profiling เพื่อเช็กดูว่าที่ผ่านมามีการเก็บข้อมูลในรูปแบบไหน องค์ประกอบอะไร หรือมีจุดผิดพลาดตรงไหนบ้าง จะได้รู้ต้นตอของปัญหา และแก้ไขให้ถูกจุด

2. ลบข้อมูลที่ซ้ำซ้อน ไม่ถูกต้อง และไม่เกี่ยวข้อง

เมื่อรู้ต้นตอของปัญหา ก็ต้องกำจัดทิ้งให้หมด ด้วยการลบข้อมูลซ้ำซ้อน ที่อาจเกิดจากการเก็บซ้ำกันหลายแหล่ง ข้อมูลที่ผิดพลาดแบบไม่ Make Sense เช่น ชั่วโมงการทำงานของพนักงานอยู่ที่ 80 ชม. ต่อวัน หรือข้อมูลที่ไม่เกี่ยวข้องกับจุดประสงค์ที่เราอยากรู้

3. แก้ไขสิ่งผิดพลาด สร้างมาตรฐานเดียวกันให้ชุดข้อมูล

นี่อาจเป็นเรื่องง่ายที่หลายคนมองข้าม เช่น การพิมพ์ชื่อเดียวกันด้วยภาษาอังกฤษบ้าง ไทยบ้าง บางครั้งก็ใช้ตัวพิมพ์เล็กพิมพ์ใหญ่ หรือหน่วยวัดทางคณิตศาสตร์ไม่เหมือนกัน เราจึงต้องเซตข้อมูลใหม่ให้อยู่ในมาตรฐานเดียวกัน เช่น รวมไมล์กับกิโลเมตรเข้าด้วยกัน เพื่อให้ผลลัพธ์คลาดเคลื่อนน้อยที่สุด

4. ตรวจสอบความถูกต้องของข้อมูลอีกครั้ง

เมื่อทำครบทุกขั้นตอนแล้ว ก็ถึงเวลามาเช็กแล้วล่ะว่าข้อมูลที่ได้ถูกต้องหรือยัง ถ้ายัง ก็วนลูปไปทำใหม่ตั้งแต่แรก ถ้าถูกต้องแล้ว ก็นำข้อมูลไปวิเคราะห์ต่อได้เลย ลุยยยยย

ถือว่า Data Cleansing เป็นกระดุมเม็ดแรกที่จะชี้ชะตาเลยว่า การวิเคราะห์ของเราถูกต้องหรือผิดพลาดหรือไม่ ยังไงก็ลองนำไปปรับใช้ดูนะฮะ และครั้งหน้าจะมีความรู้ดี ๆ อะไรมาฝากชาว Data อีกบ้าง รอติดตามกันด้วยน้า อะโฮฮฮ

Source : https://bit.ly/45zxIBb , https://bit.ly/3rVUaqx

Author

RELATED ARTICLES

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ นโยบายความเป็นส่วนตัว และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ ตั้งค่า

Privacy Preferences

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

Allow All
Manage Consent Preferences
  • Always Active

Save