オンライン授業調査に関する報告

1990年の創立以来、慶應義塾大学湘南藤沢キャンパス（以下、ＳＦＣと略す）では、学生による授業評価が実施されている。これは学期の終わりに授業時間を利用して、学生が履修した授業に関して質問用紙に答え、評価する仕組みになっており、授業改善に向けた有用な資料として位置づけられている。授業をより良いものにするために、そして教員の教育評価のものさしとして授業評価の果たす役割は大きい。

1. 授業調査に記入するための期間として10日間用意し、期間中であれば各自自由な時間に自由な場所から記入できるようにした。
2. 調査結果は、学生が記入すると同時に誰もが簡単に入手、参照できるようにした。また、その内容はグラフを用いるなどわかり易いものにした。

今回は、「コミュニケーションネットワーク論」（履修者数：326名）において実験を実施した。同時に従来通り紙ベースの授業調査も実施しており、これら２つを比較、評価することを通して、オンライン授業調査の是非を検討することにした。以下に、その実験概要と結果について述べる。

2. オンライン授業調査の概要

　

オンライン授業調査の概要説明に先立ち、まず従来の授業調査の実施要領を以下に簡単に紹介しておく。

• 学期末の最後（或いは１週前）の授業時間中約15分〜20分を利用して実施。
• 授業担当者及び、TA、SAは授業調査が実施されている教室内から退室。
• 調査用紙を履修者に配布し、無記名式で回答。
• 回答された調査用紙は、数名の学生により回収され、枚数確認の後事務室に提出。
• 集計は外部業者により行われ、各授業担当者に配布。
• 調査結果は、次の学期始めのガイダンス（約30分）で学生に向け公表。

公表内容は、授業種類ごと − 外国語、パースペクティブ、体育、情報処理Ｉ、共通専門、専門基礎、コース系列、研究会、総合講座ごと − の平均点、時系列比較が主である。特に個別の授業名、教員名について言及されることはない。

今期の有効回収講座数：661講座、有効回答数：21656票

　

本実験では以上のように紙ベースで行ってきた授業調査をデジタル化し、アンケート調査及び結果発表に関してＷＷＷを用いてインターネット上で実施することで、授業調査の結果がより早い段階で授業へフィードバックされることを目的にした試みである。

　

2.1 オンライン授業調査実施要領

　

• 実験対象授業：1997年春学期に開講された「コミュニケーションネットワーク論」（以下COMNETと略す）

COMNET… SFCの環境情報学部専門科目であり、学部３年生以上が履修対象となっている。

• 担当教員：村井純教授
• 対象人数：COMNET履修者326名
• 実験期間：1997年7月10日 〜7月19日の10日間
• 調査様式：匿名アンケート

　

実験にあたり、COMNETの最終授業（1997年7月７日）で、紙ベースのアンケート調査も合わせて実施すると共に、インターネットにおけるアンケート調査実施の依頼について履修者に向けて連絡をした。但し、今回は実験的な見地からこの授業調査への回答を一応課題扱いとし、多くの学生に協力を仰いだ。COMNETでは普段から授業教材としてWEB(URL: http://comnet.sfc.wide.ad.jp) を利用しているので、そのページから授業調査ページへリンク（URL : https://ec.sfc.wide.ad.jp/vu/evaluation/）を張ってもらい誰もが簡単にWWWによってアンケート調査を行えるようにした。

ここで入力された内容はすぐに集計され、アンケート回答者も含め、誰もがその内容を参照できるようにした。これによりこれまでのように紙ベースの内容をデジタル化した上で集計に入るといった手間を省くことができ、集計までの期間を大幅に短縮することが可能になった。次項に、オンライン授業調査システムに関する設計・実装について説明する。

　

　

3. オンライン授業調査システム

　

3.1 要求事項

　

授業調査システムを設計、実装するにあたり、以下８点の要求事項を念頭に進めた。

　

1) 認証 : 履修者のみが評価を実施できること。

2) 重複回避 : 評価の回答は必ず一人一回であること。

3) 匿名性 : 評価の内容と回答者との対応がつけられないこと。

4) 公開性 : 結果を学内に公開すること。

5) 正当性 : 評価結果が改竄されないこと。

6) 可視性 : 結果がわかりやすいこと。

7) 即時性 : 結果がすぐに統計できること。

8) 提出期間 : 評価の期間は1週間程度もうけること。

9) 容易性 : 回答者にとって操作が簡単であること。

　

3.2. 設計

　

3.2.1. 回答システム

回答のインタフェースとして、メールとWEBの可能性について検討した。それぞれの特徴をまとめたものを表１に表わした。

　

(1) メールによる回答

3.1で述べた要求事項を満たすために、以下の３つのサーバ「フォームサーバ」「受付サーバ」「統計サーバ」を用いた設計を行った。

　

フォームサーバ

保持する情報: 授業調査のフォーム

入力: 授業を指定するコマンドを含むメール

出力: メールの送り主に指定授業のフォームを返送

機能: 指定コマンドの解釈、返送は無条件

　

受付サーバ

保持する情報: 授業の履修者名簿、履修者のPGPキー、履修者の回答有無

入力: PGPで暗号化された評価内容（フォーム）を含むメール

出力: 評価内容を平文になおして統計サーバへ送付、回答者情報の送付無し調査終了後、回答者名簿を作成

機能: 履修者名簿とつきあわせて、資格の確認、重複回答の確認

　

統計サーバ

保持する情報: 提出された評価（回答者情報なし）

入力: 受付サーバから送られる平文の評価内容

機能: 全評価内容から統計情報を計算、公開

　

(2) WEBによる回答

メールと同様に、要求事項に従い以下の「フォームサーバ」「受付サーバ」「統計サーバ」を用いた設計を行っている。基本的にフォームサーバと統計サーバはメールを利用するシステムとほぼ同じ機能を持つ。

　

フォームサーバ

フォームサーバはテキストベースのメールではなく、HTMLのFORMをもちいた形式でフォームを保持し、記述内容をCGIで受付サーバへ送付

　

受付サーバ

保持する情報: 授業の履修者名簿、学生IDとパスワード、履修者の回答有無

入力: 学生IDとパスワード、評価内容を含むデータをCGIで受領

出力: 評価内容を統計サーバへ送付。ID情報は含まない

調査終了後、回答者名簿を作成

機能: 履修者名簿とつきあわせて、資格の確認、重複回答の確認

　

統計サーバ

メール利用の設計と同様、提出された評価をもとに統計情報を計算、公開

　

留意点

メールでの実現と異なる点は、提出時にパスワードを入れることで認証を行っている点で、そのために発生する提出時の改竄、パスワード情報の機密性、匿名性の問題は、HTTPとブラウザ間でSSLを用いることで保証

　

(3) システム比較

メール及びWEBによる回答システムの比較結果は以下のとおりである。

　

方法	メール	WEB
認証	PGPメールによって認証	大学IDとパスワードによって認証
提出時の機密性および改竄防止	PGP暗号化によって保証	SSLによって保証。しかし、X端末利用の場合パスワードは保護されずにネットワーク上を流れる。
匿名性	受付サーバと統計サーバの分離によって実現。ただし 両サーバの保持する情報に同一人物がアクセスできないように、別管理にすること。 また、調査期間中の公開統計情報へのアクセスは、受付サーバの保持するデータにアクセスできない人に限ること。
重複回避	受付サーバが履修者名簿によって実現
改竄防止	受付サーバ、統計サーバ上のアカウントの制限、ファイル保護、アクセスログ、などで改竄されにくくする。
改竄発見	提出者個人個人によって、提出前、提出後の比較を行うことで発見。
プラットフォーム	どんな端末でも提出可能	SSL、FORM対応、日本語入力可能なWEBブラウザが必要。
提出データの有効性	フォームがユーザの手によって変更され、処理できない場合がある。	フォーム入力のため有効性が高い。
手順	PGPキーを作成し、受付サーバに登録する必要がある。	特になし。

表1: 回答システムの比較

　

PGPキーのプロセスオーバーヘッドの問題に比べて、今回実施するCNS（SFCキャンパスネットワークシステム）環境ではX端末によるパスワード入力は通常より行われていることから、WEBによる回答システムの設計を採用した。

　

3.2.2. 公開方法

授業評価の公開方法について検討、それぞれの特徴を表2に示す。

　

方法	利点	欠点
自動メール応答	どんな端末でも見ることができる	文字情報に制限される
WEB	画像情報を表示できる	ブラウザが動作することが必要 HTMLで記述できる情報に制限
独自アプリケーション	情報表現方法が自由	アプリケーションの開発および配布が必要。

表2: 公開方法の利点及び欠点

　

授業調査の結果に関しては、可視性の要求事項を満たすためHTMLで表現できる程度のグラフィック情報を含むことが望まれたため、WEBによる公開を行うことにした。

　

3.3. 実装

ここでは、以上の設計に基づいて行った実装について述べる。

　

　

図1: 授業調査システムフローチャート

　

フォームサーバ

HTMLのFORMを用いたページとして回答フォームを保持。ユーザに提供。

（URL: https://ec.sfc.wide.ad.jp/vu/evaluation/enq.html）

受付サーバ

授業の履修者名簿をパスワードファイルの形で保持

FORMの入力は、SSLを用いた通信を採用

FORMの入力を受けるCGIは、Perlを用いた実装

（URL: https://ec.sfc.wide.ad.jp/vu/evaluation/enq.cgi）

　

統計サーバ

受付サーバが出力したファイルを直接参照

Perlで記述したCGIとして実装

参照ボタンを押すと誰でも参照可能

（URL: https://ec.sfc.wide.ad.jp/vu/evaluation/enqview.cgi）

　

更に、3.1.要求事項の分類に従って、その実装について説明する。以下の表は本実装で実現できたこと及び実現できなかったことについて明記している。

　

　

要求事項		実現したこと	実現できなかったこと・問題点
1	認証	受付サーバにて、大学コンピュータシステムのアカウントとパスワードを用いて学生を認証した。 履修者名簿との照合によって資格を確認した。 パスワード情報は、SSLによって保護することで提出時の機密性を保証した。	X端末からは、パスワード情報がネットワーク上を流れることになったため、機密性の問題が残った。 キャンパスのアカウントを持たない学生が評価を提出できなかった。
2	重複回避	受付サーバにて、提出済み履修者との照合を行うことで実現した。	誤って途中で提出した学生が正確な評価を提出できなかった。
3	匿名性	提出時にID付きの評価が流れるがSSLによって保護することで匿名性を保証した。 受付サーバでは評価情報を保持せず、統計サーバではID情報を保持しないことで、提出後の匿名性を保証した。 学生が自由なコメントを記述することができた。	一人目が提出し時点で両サーバの保持するデータを照合すると学生と評価内容の対応ができてしまうため、照合を防ぐために両サーバの別管理のシステム上におくべきだが、本実験では同一グループによって行われた。
4	公開性	提出期間中、提出期間後も一般に公開し興味深い匿名の意見を広く共有することができた。	提出前の履修者がすでに提出されたコメントを読んだっため、自らの評価内容がそれに影響されるという弊害がでた。
5	正当性	提出する学生が提出前と提出後で統計結果の変化をチェックし、不自然な動きがないかどうかで改竄を発見するという方法で実現した。	提出前に統計結果をみることができたため、4 での問題点が発生した。 両サーバが保持するデータに何らかの改竄が発生した場合に、発見はできても修復ができない。
6	可視性	統計結果をグラフで示すことでわかりやすい表現を行った。
7	即時性	提出と同時に公開情報に反映した。
8	提出期間	10日間設けたため、授業中にのみ行う場合に比べて十分な時間をとって熱心な評価を行うことができた。	提出期間のシステムとしての厳密な制限を実現しなかった。
9	容易性	WEBのFORMにより、簡単なインターフェースを実現した。

表3:オンライン授業調査システム実験の結果

　

　

3.4.評価

　

本システムは設計上の要求事項を十分満たす結果を示したが、留意すべき点もまだ残されており、その点を明らかにすると共に、解決方法について述べる。

　

（１）受付サーバと統計サーバの分離の必要性

受付サーバと統計サーバを物理的に分離し、その間のセキュアな通信を確保する。この分離を行なわない場合は、受付サーバで履修者名簿を保持せず、資格の確認の部分をチケットサーバ（提出用の一時的なIDとパスワードを発行するサーバ）に委託するという方法がある。チケットサーバを導入することで、受付サーバは、統計サーバと同一の管理下であっても匿名性が保証される。

　

（２）改竄発見メカニズムの再検討

本実験では、回答者が自分の回答結果を統計結果上に確認することで改竄を発見するようにしていたが、この方法を取ると、回答前に他人のコメントや評価結果を見ることが可能になり、自分の評価内容が他人のものに影響を受けてしまう、といった指摘を授業のニュースグループで履修者から受けた。回答期間中の公開を、回答済みの履修者と履修者以外に限るという制限を設けることでこれを解決することは可能であるが、（これが必要であるか、必要でないかについては議論の余地がある）それには別の改竄発見のメカニズムが必要になってくる。

　

（３）X端末利用時の機密性の保証

今回は、X端末利用時の機密性については保証しなかったが、広く一般に実施するにあたってこの点の改善が必要である。

　

（４）バックアップの実施

受付サーバと統計サーバとの間で同期のとれたバックアップを実施する必要がある。

　

（５）入力時のチェックの強化

誤って回答の一部を白紙で入力してしまった履修者が、正しく回答できなくなってしまった。回答内容を確認するための確認プロセスを挿入する必要がある。

　

　

4. 結果

以上のシステムを用いて授業調査を実施した結果は次のとおりである。ここでは、紙ベースの授業調査と比較する形で結果を示していく。詳細については添付資料参照。

図2: 履修者中の授業調査回答者比率の比較

　　

		WEBによる授業調査			紙による授業調査
		人数(人）	人数/履修者	人数/回答者	人数（人）	人数/履修者	人数/回答者
	履修者	326			326
	回答者	202	61.96%		143	43.87%
	内 定性?回答者	106	32.52%	52.48%	42	12.88%	29.37%
	内 定性?回答者	96	29.45%	47.52%	37	11.35%	25.87%
	内 定性?回答者	87	26.69%	43.07%	23	7.06%	16.08%
	*定性? ： この科目でよかったこと。(自由記述）
	*定性? ： この科目で改善を要すること。(自由記述）
	*定性? ： 一般的な批評、意見、提案。(自由記述）

表4: 定性データ回答率

　

図2及び、表4らわかるように、紙よりもWEBの方が授業調査への回答者数は多い。履修者326名中、WEBにおける回答者は202名で、 約６割の履修者が授業調査に回答していた。（当初の履修者数は、359名であったが、その後の調査で試験を受けたのが326名だったため人数を変更） 紙に比べて18.09%ほどWEBにおける回答者率は高くなっている。また、自由記述による定性的な質問「この科目でよかったこと」「この科目で改善を要すること」「一般的な批評、意見、提案」への回答率は、そのどれを取ってもWEBの方が高くなっていることがみてとれる。授業調査に回答した人の中で定量的な質問と定性的な質問項目の両方に回答している人の割合は、紙とWEBでその回答率に約20%以上の開きを生んでいる。更にこれら定性データを見てみると、その文章量がWEBで多くなっていることに気づく。但し、27名の学生が日本語で回答することができずに、英語で答えていたのも事実である。これをハード的な問題と限定することは必ずしもできないが、考慮すべき点であろう。このように、紙に比べてWEBにおいてより多くの回答を回収することに成功した。特に、定性的な質問においてはそれが顕著であった。

次に、授業調査の集計結果について、その内容を紙とWEBで比較検討する。

　

		WEB		紙
設問		平均(1)	標準偏差	平均(1)	標準偏差	(1)-(2)	Z値
1	この授業の内容は体系的だった。	3.98	0.72	3.98	0.75	0.00	0.00
2	この授業で使われたテキスト、配布資料などは有益だった。	3.70	0.83	3.69	0.81	0.01	0.11
3	この授業では、黒板、ＯＨＰ、ビデオ、スライドなどの使い方が効果的だった。	4.41	0.68	4.42	0.71	-0.01	-0.13
4	抽象的な観念・理論をよく判るように説明された。	4.31	0.70	4.38	0.69	-0.07	-0.92
5	話し方が聞き取りやすかった。	4.51	0.68	4.60	0.61	-0.09	-1.28
6	授業の内容は興味あるものだった。	4.38	0.70	4.32	0.76	0.06	0.75
7	この授業は自分にとって価値があった。	4.14	0.79	4.13	0.80	0.01	0.11
8	授業担当者は学生の参加を促し、学生に十分応答した。	3.60	0.89	3.80	0.85	-0.20	-2.10
9	授業担当者は、学生に適切に助言を与え相談にのってくれた。	3.35	0.82	3.41	0.81	-0.06	-0.67
10	授業担当者は授業の際、クラスをうまくまとめた。	3.74	0.91	3.99	0.88	-0.25	-2.55
11	私はこの授業によく出席した。	3.64	1.05	3.73	0.99	-0.09	-0.81
12	私はこの授業に意慾的に取り組んだ。	3.70	0.94	3.68	0.92	0.02	0.20
13	私はこの授業をほかの学生に薦めたい。	4.20	0.74	4.15	0.73	0.05	0.62

表5: 授業調査集計結果（定量データ） 1％の危険率で有為でない。

　

表5におけるWEB及び紙間の各平均点の違いは、1％の危険率で有為でないことがわかった。すなわち、WEBと紙においてその定量データ間に大きな違いは見られなかったわけである。

　

　

5. まとめと今後の課題

　

5.1. まとめ

ここまで、オンライン授業調査の実施要領及びシステムについて述べてきた。特に、今回の実験でシステム上の問題が発生することはなく、履修者から有効な回答を得られたと考える。

結果、定量データに関しては、WEBによる調査結果と紙による調査結果に有為な差は見受けられなかった。つまり、これまで紙で行ってきたものをWEBに移行することで、調査結果に多大な影響を及ぼすとは考えにくい。それよりもより多くの履修者から回答を得ることで、有用な情報を得ることが可能になるのである。また、定性データの結果についていえば、履修者から多数の有効な回答を得られたことは意義深いと言えよう。

これは第１に、従来に比べて長い授業調査期間を設けたことと、自由な時間に調査を実施できるようにしたことで、時間に追われることなく余裕を持って質問に答えることができるようになったことが関連していると考えられる。

第２に、今回の授業調査結果が即座に公開されたことが促進要因になったと考える。これにより、履修者は他の履修者がどのようなことを考えているかを知ることができると同時に、履修者自身、責任を持って回答することが求められたわけである。結果の公開は、授業評価を授業にフィードバックし、授業の質的向上を促す上で重要な点である。

　

5.2. 今後の課題

　

このように本実験でオンライン授業調査の実用性は明らかになったものの、いくつかの課題も残されている。以下に、そのポイントをあげ、今後の課題として取り組んでいくことにする。

　

本実験では、オンライン授業調査を課題という名目のもとに提出させたが、これがどの程度回答率に影響を与えていたかを現段階で判断することはできない。今後、多くの履修者から責任ある回答を得るためには、授業調査が授業へどれだけフィードバックされたか示していく必要があるであろう。授業調査の意義を履修者が再認識できるような仕組みを作っていかねばならない。その方法として次の４点をあげておく。

　

1.授業調査の集計結果に対して教員からコメントをもらう。

授業担当教員からコメントをもらえることで、回答者は自分の回答がきちんと読まれているかを確認することができる。また、その調査結果に対する教員の意見を聞くことができれば、教員が授業評価をどのように受け止めているかを知ることができる。これは、これまで次回の授業でしか確認できなかったことである。更に、教員のコメントが翌年の授業評価の一基準にもなりえるだろう。コメントが授業にフィードバックされているか、の確認である。

　

2.時系列に調査結果を公開する。

授業調査の集計結果を時系列に分析、公開していくことが必要である。これにより、前調査との比較ができるようになり、前授業からの改善点などを示していくことができる。同じことを毎年指摘されている場合、授業評価が授業に全くフィードバックされていないと理解されることになる。

　

3.教員の協力を得て、全授業においてオンライン授業調査を実施する。

授業評価の公開という点で難色を示す教員も多いだろうが、オンライン授業評価をすべての授業で実施してはじめて、大学の質的向上につながるであろう。

　

4.学生が授業調査の結果を、授業を選択する際の参考にすることができるようにする。

授業調査の結果をもとに学生は次回からの授業を選択できるようにする。授業シラバスだけではなく、他の学生がその授業をどのように評価しているか、また教員が学生の評価に対してどのように対応しているかを授業調査の結果から知ることで、より自分に適した授業を選択することができるようになると考える。それはすなわち、教員のみならず、学生にとっても授業調査の結果を知ることは重要になってくるのである。

　

これらを実現するためにも、3.4 で述べたシステム上の課題に関して、その改善に力を入れていくつもりである。

---

参考資料：

　

オンライン授業調査質問フォーム

オンライン授業調査結果（定量データ）

オンライン授業調査結果（定性データ）

紙による授業調査結果（定量データ）

紙による授業調査結果（定性データ）

---

HOME