데이터 처리 수치맺음법

   품질관리를 위한 데이터의 처리시에는 일반적으로 많은 실험치, 측정치, 계산치를 취급하는데 그런 수치들은 대개 적당한 자리수만을 남기고 끝수는 잘라버리거나 또는 끝올림을 한다.

그런데 남겨야 할 자리수를 결정하기 위해서는 그 특성, 성능 등을 나타내는 데 필요한 정도와 측정 가능한 정도의 양쪽을 고려해야 한다.

   수치의 끝수를 처리하는 방법으로는 단순처리에 의한 오차를 될 수 있는 대로 줄일 수 있는 처리방법이 KS A 0021(수치의 맺음법)에 규정되어 있다.

   어떤 수치를 유효숫자 n자리의 수치로, 또는 소숫점 이하 n자리까지 처리할 경우, (n+1)자리수 이하의 수치는 아래와 같이 정리한다.

   1. (n+1)자리수의 숫자가 5미만일 때는 버리고, 5를 넘을 때는 끝올림을 한다.
   2. (n+l)자리수의 숫자가 5일 경우
       1). 5 다음에 숫자가 없든가 혹은 전부 0일 때는 n자리수의 숫자가 0, 2, 4, 6, 8이면 버리고, 1, 3, 5, 7, 9이면 끝올림을 한다.
       2). 5의 다음에 숫자가 계속될 경우에는 끝올림을 한다.
       3). (n+1)자리수의 숫자가 5라고 하더라도 (n+1)자리수 이하의 숫자가 끝수가 처리된 것임을 (요약된 것임을) 알고 있을 경우는 1).의 방법에 의해 처리한다.

   이 처리방법은 숫자의 처리에 의한 오차를 될 수 있는 대로 줄이려는 것이므로 그 값을 끝올림한 값과 잘라버린 값 가운데 가까운 쪽의 값을 취하는 방법이다. 그 값이 5와 같을 때는 끝올림을 하거나 잘라 버리거나 그 오차는 같다. 따라서 그런 경우는 앞의 숫자가 짝수일 때는 버리고 홀수일 때는 끝올림하여 버리는 경우와 끝올림하는 경우를 같도록 한 것이다. 이와 같은 끝수의 처리방법은「4사 5입법」보다는 오차가 줄어져 보다 정확한 값을 얻게 된다.

데이터 처리를 위한 수치맺음법의 보기

   1. 1.23을 유효숫자 두 자리에서 처리하면 1.2 0.2967을 소수점 이하 세 자리에서 처리하면 0.297

   2. 1). 1.25를 유효숫자 두 자리에서 처리하면 1.2 0.095를 소수점 이하 두 자리에서 처리하면 0.10

       2). 1.2501을 유효숫자 두 자리에서 처리하면 1.3 ㉰ 2.35를 유효숫자 두 자리에서 처리하는 경우 이 수치가 2.347을 끝올림한 것임 을 알고 있을 경우에는 2.4로 하지 않고 2.3으로 한다 .