사람이 직접 고민한 것 같다는 느낌은 어디에서 오는 걸까? 저는 그 말을 점수 하나로 단정하기보다, 무엇을 보고 그렇게 느꼈는지 남기고 싶었습니다.
Human-made Feeling Bench는 그때 쓰려는 첫 검토용 평가표입니다. 사람이 만들었는지 판별하거나, 디자인의 질을 보편적으로 측정하는 도구는 아닙니다. 외부 검증이나 전환율 개선을 입증한 상태도 아닙니다.
기준 원본
아래 자료를 참고해 검토할 질문을 골랐습니다. 이 기관과 연구가 제 평가표를 검증하거나 승인했다는 의미는 아닙니다.
| 원본 | 여기서 참고하는 질문 |
|---|---|
| NIST Human-Centered AI | 사람의 사용 맥락과 신뢰, 영향을 어떻게 살필 것인가? |
| Microsoft HAX Toolkit | AI의 한계와 실패, 사용자 통제, 기대를 어떻게 다룰 것인가? |
| W3C WCAG 2.2 | 정보를 인식하고 조작하고 이해하는 데 장벽이 없는가? |
| ArtifactsBench | 생성 결과를 실제 화면과 상호작용에서 어떻게 확인할 것인가? |
| ArtifactsBenchmark 저장소 | 평가 대상, 기준, 실행과 점수의 범위를 어떻게 공개할 것인가? |
평가표 초안
각 항목은 0·1·2로 기록합니다. 0은 확인할 흔적이 없는 상태, 1은 일부만 확인한 상태, 2는 아래 조건이 분명하게 드러난 상태입니다. 적용되지 않는 항목은 억지로 점수를 주지 않고 이유와 함께 제외합니다.
| 항목 | 확인할 질문 | 2점으로 적기 위한 근거 |
|---|---|---|
| 판단의 흔적 | 무엇을 남기고 버렸는가? | 선택, 대안, 변경 이유가 결과물이나 옆 문서에 남아 있다 |
| 대상에 맞는 구성 | 실제 목적에 맞게 조정했는가? | 해당 사용자와 작업에 맞는 정보 순서가 있다 |
| 원본에 대한 충실함 | 무엇을 배웠고 어떻게 바꿨는가? | 출처, 적용 이유, 가져오지 않은 요소가 구분된다 |
| 상호작용의 명확함 | 다음 행동과 현재 상태를 알 수 있는가? | 입력·오류·빈 상태·복귀 경로를 실제 화면에서 확인했다 |
| 절제 | 표현이 판단을 가리지 않는가? | 불필요한 장식과 설명을 줄인 이유를 설명할 수 있다 |
| 접근성과 가독성 | 다른 환경에서도 읽고 조작할 수 있는가? | 작은 화면, 긴 문장, 키보드, 초점, 대체 텍스트 등 해당 항목을 검사했다 |
| 실패 기록 | 무엇이 안 됐는가? | 실패, 폐기 이유, 남은 문제와 다음 검증이 있다 |
| 출처와 주장 범위 | 이 결과로 무엇까지 말할 수 있는가? | 확인한 것과 외부 성과·운영 준비 등 미확인 주장을 구분했다 |
접근성 항목에서 2점을 줬다고 WCAG 2.2 전체에 적합하다는 뜻은 아닙니다. 적합성 주장을 하려면 그 범위에 맞는 별도의 평가가 필요합니다. 총점보다 낮은 점수의 이유를 먼저 봅니다.
사용 방식
평가할 결과물 하나와 버전을 고릅니다. 참고한 원본, 검사한 환경, 실제로 본 부분을 적은 뒤 항목을 채웁니다.
0점은 곧바로 실패 판정을 내리기 위한 것이 아닙니다. 확인하지 않은 것인지, 실제로 문제가 있는 것인지 나누고 다음 작업으로 바꿉니다.
예를 들어 출처는 잘 정리되어 있는데 키보드 이동을 검사하지 않았다면, 다음 확인은 설명문을 더 쓰는 일이 아니라 실제 이동 경로를 검사하는 일이 됩니다.
실패 신호
모든 정보가 같은 카드로 나오거나, 출처만 길게 나열하고 적용 이유가 없거나, 화면의 문제를 사용법 설명으로만 메우는 경우를 다시 봅니다.
모바일에서 무너지는 긴 문장, 확인되지 않은 완료 주장, 버린 대안이 전혀 없는 기록도 점검할 신호입니다. 다만 어느 하나가 보인다는 이유만으로 전체 품질을 단정하지는 않습니다.
Digital Factory와의 관계
내부의 Digital Factory 작업대에는 시각적 결과와 검수 실패를 다룬 기록이 있습니다. 그것이 이 평가표의 공개 검증은 아닙니다.
내부에서 한 작업, 공개할 수 있는 비교 화면, 외부 사람이 평가한 결과는 서로 다른 근거입니다. 실제 품질을 말하려면 공개 가능한 수정 전후, 평가 방식, 남은 한계가 더 필요합니다.
주장 범위
지금 말할 수 있는 것은 판단과 검수의 흔적을 확인하기 위한 작은 평가표를 정리했다는 것입니다.
보편적인 디자인 벤치마크, 외부 검증된 품질 지표, 전환율이나 고객 성과의 증거라고 부르지 않습니다. 사람의 검토를 대신하거나 내부 작업만으로 공개 품질이 검증되었다고 말하지도 않습니다.
다음 확인
공개 페이지 하나를 골라 실제로 평가하고, 부족한 항목을 수정하려 합니다. 수정 전후 화면, 버린 대안, 검사 명령, 남은 문제를 함께 남겨야 합니다.
평가표를 잘 만들었다는 생각보다, 이 표를 쓰고 무엇을 발견했는지부터 보여주고 싶습니다.