9.2. 콘텐츠 실험을 위한 강좌 설정하기

본 장에서는 콘텐츠 실험을 이용하기 위한 강좌 설정을 살펴본다.:

9.2.1. 콘텐츠 실험을 활성화하기

강좌에서 콘텐츠 실험을 활성화하기 위해, split_test 를 고급설정에서 고급 모듈 목록 에 추가한다.

split_test 는 콘텐츠 실험의 내부 K-MOOC 플랫폼 이름이다.

  1. 환경 메뉴에서 고급환경 을 선택한다.

  2. 고급환경 에서, 고급 모듈 목록 을 찾는다.

  3. 고급 모듈 목록 칸에, "split_test" 를 추가한다. 큰따옴표가 포함되었는지 확인한다.

    여러개의 값이 있다면, 쉼표로 분리한다 (,).

    예를 들어, 고급 모듈 목록 칸에 입력되는 텍스트는 다음과 같을 것이다:

    [
      "lti",
      "word_cloud",
      "split_test"
    ]
    
  4. 페이지 하단에 다시 저장 을 클릭한다.

9.2.2. 집단 설정 개관

콘텐츠 실험을 만들기 전에 강좌에서 최소한 1개의 집단을 설정해야 한다 .

집단 설정은 실험에 참여하는 집단의 수를 정한다. 콘텐츠 실험을 만들때, 이용하기 위한 집단 설정을 선택한다.

예를 들어, 강좌에서 다른 시기에 다른 2개의 실험을 원한다고 하자. 콘텐츠 실험에서, 학습자는 동영상을 보거나 읽기 과제를 한다. 어떤 집단이 자료를 더 잘 학습하였는지 확인하기 위해 문제를 추가할 수 있다. 콘텐츠 실험에서, 2개의 실험 그룹에 학생들을 배정하기 위해 집단 설정한다.

다른 콘텐츠 실험에서, 문제의 4개의 다른 유형을 이용하여 동일 질문을 보여 줄 수 있다. 이 콘텐츠 실험에서, 학습자들을 4개의 실험 집단에 배정하도록 집단을 설정한다.

9.2.2.1. 실험 집단에 학습자 배정하기

K-MOOC 플랫폼은 집단 설정에서 학습자를 각 실험 집단에 배정한다.

실험 집단 배정은:

  • 다이나믹하다

    K-MOOC 플랫폼은 학습자를 하나의 실험 집단에 우선 배정하면, 학습자는 집단 설정에 따른 콘텐츠 실험에 참여하게 된다.

  • 무작위이다

    학습자가 할당되는 실험집단은 조절할 수 없다.

  • 고르게 분포된다.

    K-MOOC 플랫폼은 실험 집단들의 크기를 계속 점검하고, 새로운 학습자를 집단에 고르게 배정한다. 예를 들어, 2개의 실험 집단이 설정에 되어 있다면, 각 집단은 강좌에 등록한 50%의 학습자를 포함하게 된다; 4개의 실험 집단이 있다면, 각 집단은 학습자의 25%씩 배정된다.

  • 영구적이다.

    동일한 집단 설정이 적용되는 콘텐츠 실험의 수를 고려하지 않고 학습자는 배정된 실험 집단에 남아 있게 된다.

9.2.3. Studio에서 실험 집단 설정하기

주석

집단을 설정하기 전에 콘텐츠 실험을 활성화하기 콘텐츠 실험을 활성화 해야 한다.

집단 설정을 하기 위해, 설정 메뉴에서, 집단 설정 을 선택한다. 집단 설정 페이지가 열린다.

이 페이지에서 집단 설정을 생성 , 편집 , 삭제 가 가능하다. 또한 집단 설정을 사용하는 실험들 보기 를 할 수 있다.

9.2.3.1. 실험 집단 설정 생성하기

항상 집단 설정을 생성할 수 있다.

  1. 집단 설정 페이지에서, 실험 집단 을 선택하고, 새 실험 집단 을 클릭한다. 다음 페이지가 나타난다:
Create a New Group Configuration page
  1. 집단 설정명 을 입력한다. 의미 있는 명칭을 이용 하는 것은 콘텐츠 실험을 만들때 집단 설정을 선택하기 때문이다. 학습자는 이 집단 설정명을 알지 못한다.
  2. 선택적으로, 새로운 집단 설정에 대한 설명을 입력한다.
  3. 기본적으로, 새로운 설정은 2개의 집단이 포함되어 있다. 집단을 수정하거나 필요에 따라 추가 혹은 삭제할 수 있다. 집단 설정은 최소 1개의 집단은 있어야 한다.
  • 집단 명을 필요한 만큼 수정한다. Studio의 학습 활동 페이지에서 집단 명을 볼 수 있다. 그러나, 집단명은 학습자는 볼 수 없다.
  • 설정에 또다른 집단을 추가하기 위해 다른 집단 추가 를 클릭한다.
  • 기존의 집단의 오른쪽에 X 를 클릭하여 설정으로부터 제거할 수 있다. 집단 설정에는 최소 1개의 집단이 있어야 한다.
  1. 생성 을 클릭하여 새 집단 설정을 저장한다.

그러면 집단 설정은 페이지에 나타난다. 설정에 포함된 집단의 수를 볼 수 있고, 설정이 강좌에서 사용되는지 여부를 볼 수 있다.:

The Group Configurations page with one group configuration

9.2.3.2. 집단 설정 편집하기

중요

집단 설정의 명칭은 언제든지 변경할 수 있다. 그러나 운영중인 강좌에 현재 이용되는 집단 설정의 성격을 변경하기 전에 집단 설정 수정을 위한 가이드라인 을 살펴본다.

  1. 집단 설정 페이지에서, 집단 설정으로 가서 편집 을 클릭한다.

    The Group Configurations page with Edit button

    그러면 다음 페이지가 열린다 :

    Edit a Group Configuration page
  2. 필요하다면 명칭과 설명을 수정한다.

  3. 필요하다면 설정에서 집단을 수정한다. 실험 집단 설정 생성하기 에 자세하게 안내되어 있다.

  4. 저장 을 클릭하여 변경사항을 저장한다.

9.2.3.3. 집단 설정 삭제하기

주석

콘텐츠 실험에서 현재 새용되지 않는 집단 설정을 삭제할 수 있다. 콘텐츠 실험에서 사용되고 있는 집단 설정은 삭제할 수 없다.

  1. 집단 설정 페이지에서, 집단 설정으로 이동하고 삭제 아이콘을 클릭한다.
Edit a Group Configuration page
  1. 삭제를 확인하기 위해 메세지가 나타날 때, 삭제 를 클릭한다.

9.2.3.4. 집단 설정을 이용하는 실험 보기

각 집단 설정을 사용하는 실험을 볼 수 있다.

집단 설정 페이지에서, 자세한 사항을 보기 위해 집단명을 클릭한다. 집단설정을 사용한 실험의 링크를 보게 된다.

A group configuration with the experiments using it circled

실험이 포함된 학습활동 페이지로 이동하기 위해 링크를 클릭한다.

9.2.3.5. 실험에서 집단 설정 보기

콘텐츠 실험을 작업에서, 두가지 방법으로 실험에 사용되는 집단 설정에 대해 볼 수 있다.

  • 콘텐츠 실험을 포함하는 학습활동에서, 콘텐츠 실험 블럭에서, 집단 설정명을 클릭한다.
Content experiment in the unit page with the group configuration link circled
  • 콘텐츠 실험페이지의 상단에, 집단 설명명을 클릭한다.
Content experiment page with the group configuration link circled

이제 집단 설정이 나타난다:

A Group Configuration with the experiments using it circled

콘텐츠 실험이 포함된 학습활동으로 돌아가기 위해 집단 설정에 있는 링크를 이용할 수 있다.

9.2.4. 집단 설정 수정을 위한 가이드라인

강좌가 시작한 후 집단 설정을 수정해야 한다면 다음 가이드라인을 본다. 이 가이드라인은 Studio 혹은 OLX에서 강좌에 적용한다.

9.2.4.1. 집단 설정 수정하기

강좌가 시작한 후, 다음은 금지 사항이다 :

  • 집단 설정 삭제.
  • 집단설정의 id 값 변경.

9.2.4.2. 실험 집단 수정하기

강좌가 시작한 후, 실험집단의 id 의 값을 변경하지 말아야 한다.

실험 집단명은 언제든지 수정할 수 있다.

9.2.4.3. 집단 설정에서 실험 집단 삭제하기

콘텐츠 실험이 실행되는 강좌가 운영을 시작한 후, 특정 실험 집단에서 학습자들은 콘텐츠 혹은 강좌내 경험에서 어려움을 겪을지 수 있다. 이 경우, 집단 설정에서 실험 집단을 삭제할 수 있다. 그러면 실험 집단을 위해 넣은 콘텐츠는 학습자에게 더이상 보이지 않는다.

삭제된 실험집단의 학습자는 집단 설정에서 다른 실험 집단 중 하나에 재배정한다. 제거된 실험 집단 콘텐츠에서 학습자들이 완료한 문제는 성적에 포함되지 않는다. 학습자들은 문제를 다시 풀어야 하고 재배당된 실험 집단 콘텐츠의 문제 풀이를 모두 완료 해야 한다. 실험 집단 삭제는 강좌의 이벤트 데이터에 영향을 준다. 강좌 결과를 평가하는 연구자들은 삭제한 실험 집단과 제거한 날짜를 알고 있어야 한다.

9.2.5. OLX 강좌의 집단 설정을 설정하기

OLX 강좌의 policies 디렉토리에서 policy.json 파일에서 집단 설정을 정의한다.

집단 설정을 하기 위해, user_partitions 의 정책키 값을 수정한다.

주석

user_partitions 은 집단 설정을 위한 내부의 K-MOOC 플랫폼명이다.

user_partitions 값은 집단 설정의 JSON 컬랙션며, 각 학습자의 실험집단을 정의한다.

주석

의미 있는 집단 설정명을 이용한다. 콘텐츠 실험을 추가할 때 집단 설정명의 목록에서 선택한다.

추가 정보를 위한 다음 예시를 살펴 본다.

9.2.5.1. 예: 1개의 집단 설정

다음 코드는 2개의 학습자 세그먼트로 집단 설정을 정의하는 JSON 오브젝트 예를 보여준다.

"user_partitions": [{"id": 0,
                   "name": "Name of the group configuration",
                   "description": "Description of the group configuration.",
                   "version": 1,
                   "groups": [{"id": 0,
                               "name": "Group 1",
                               "version": 1},
                              {"id": 1,
                               "name": "Group 2",
                               "version": 1}]
                            }
                   ]

위의 예에서:

  • "id": 0 은 집단 설정을 의미한다. XML 강좌들에서, 이 값은 <split_test> element에서 user_partition 속성에서 참조된다.
  • groups 배열은 무작위로 배정된 학습자의 실험집단을 의미한다. XML 강좌들에서, 각 집단의 id 값은 <split_test> 엘리먼트에서 group_id_to_child 속성에 참조된다.

9.2.5.2. 예: 복수개의 집단 설정

다음 코드는 2개의 집단 설정을 정의한 JSON 오브젝트 예를 보여준다. 첫번째 그룹 설정은 2개의 실험 집단으로 학습자를 나누고, 두번째는 학생들을 3개의 실험 집단으로 나눈다.

"user_partitions": [{"id": 0,
                     "name": "Name of Group Configuration 1",
                     "description": "Description of Group Configuration 1.",
                     "version": 1,
                     "groups": [{"id": 0,
                                 "name": "Group 1",
                                 "version": 1},
                                {"id": 1,
                                 "name": "Group 2",
                                 "version": 1}]}
                    {"id": 1,
                     "name": "Name of Group Configuration 2",
                     "description": "Description of Group Configuration 2.",
                     "version": 1,
                     "groups": [{"id": 0,
                                 "name": "Group 1",
                                 "version": 1},
                                {"id": 1,
                                 "name": "Group 2",
                                 "version": 1}
                                 {"id": 2,
                                 "name": "Group 3",
                                 "version": 1}
                                 ]}
                   ]

주석

이 예가 보여주는 것 처럼 각 집단 설정은 독립적이다. 집단 IDs 와 명칭은 집단 설정내에서 유일한 것이라야 하지만 강좌에서 모든 집단 설정에서는 아니다.