情報処理学会第81回全国大会

「情報学的アプローチによる『情報科』大学入学者選抜における評価手法の研究開発」(3) 

思考力・判断力・表現力を評価する問題作成手順と作題例

電気通信大学 久野靖先生

思考力・判断力・表現力を定義し、検証する

私からは、思考力・判断力・表現力を評価する問題の、具体的な作成手順と作題例についてお話しします。

 

この事業の目標として、思考力・判断力・表現力を評価する試験問題を作るということがあります。「思考力・判断力・表現力」という言葉を、私はもう何百回・何千回と繰り返してきてほとほと使い飽きたので、ここではThinking 、Judgement 、Expressionを略して「TJE」と呼ばせていただきます。

 

私の担当は、TJEを測るための指針を作ることですが、これは正直、無理難題でした。まずTJEを定義しなければならない(2016年度)。次に、定義したTJEは、世の中で言われている思考力・判断力・表現力と同じものなのかを検討する(2017年度)。そして今年は、このTJEを評価する問題をどのように作るということを考えました。

 

さて、そもそも思考力とは何か。「思考力とは考える力である」では、何も定義したことになりません。では、普通に問題を作ったら、「考える力」を見たことになるのでしょうか。

私たちが考えていたのは、「知識問題は止めようね」ということでした。ここで言う知識問題というのは、ただ暗記をしていれば答えられる種類の問題で、それは思考力ではないということはご理解いただけると思います。しかし、世の中のすべての問題の集合から知識問題の集合を差し引いたものが「考える力」ということでは、問題の作り方の指針にはなりません。これは困ったことでした。

 

そこで私たちは、TJEの包括的・網羅的な定義は行わないことにしました。これはあまりに大仕事になりますから。その代わりに、TJEの恣意的な狭い定義を決めて、それで問題を作ることにしました。その際、ある受験者がここで定義した思考力T(Thinking)を持つなら、世の中の全般的な理解として、その受験者はその特定面についての「思考力」を持つと言っても、異論はないだろうという形でTを定めることにしました。

 

例えば、我が国では詰将棋が簡単に解ける人は、「考える力」があると皆が認めますよね。ただ、だからと言って詰将棋を問題にするわけにはいきません。大学入試で使えるようにするためには、そのTを「問題を作ることが比較的容易であるように」、かつ「世の中で『考える力』と認められるように」我々が恣意的に作り、かつそのTで作題する方法を提示するということです。

 

TJEの定義については、昨年の全国大会でもお話ししました。

 

思考力(T)は、Tr(reading)、Tc(connection)、Td(discovery)、Ti(inference)の四つです。

 

判断力(Ju:judgement)は、優先順位を正しく判断できる力、表現力(Ex:expression)は表現を作り出す力です。情報科で重要なプログラムを作ることはこのEx、表現を作り出すということにしました。最後にMs (meta strategy)はこれらのものを高次元(meta)で組み合わせる力というものも入れて、これらをTJEの定義としました。

 

 

2017年度は、今出てきたTJEの定義が一般に言う「思考力・判断力・表現力」と合っているのかについて確認しました。具体的には、既存の様々な問題や評価手法をTJEと照らし合わせてみましたが、矛盾はありませんでした。ここまでが昨年までのお話です。

 

問題作成のマニュアルを作って、作り方と問題のイメージを提示

ここまで定義をしてきましたが、実際にどうやって問題を作ったらいいかが不明なままでした。そこで今年度は、問題作成のマニュアルを作ることにしました。

 

ただ実際には、作り方はこんな感じだとか、できる問題はこんなイメージだ、という例示集です。さらに、今までは高校の情報科のことはあまり考えていませんでしたが、今回は情報科の問題ならばこうですよという例を、出せる形になっています。ただ、あくまでも例示なので、網羅的ではないということはご理解ください。これは、TJEの定義の時も「恣意的」で「部分的」でしたが、マニュアルも例示であるということに注意していただきたいと思います。

 

■思考力を測る問題の作問例

●読解的思考力

具体的な思考力の定義と作問方法をご紹介します。まず「読解的思考力(Tr)」です。Trは、自分にとって必ずしもなじみのない記述・図式・グラフ・数表等を読んで、意味を理解するという思考力です。馴染みのあるものなら、知識問題と同じですから、馴染みのないものをパッと見てわかるというのがTrです。

こちらが作問のマニュアルです。まず言葉や記号に対して意味を定義します。ただし、その意味は日常使われている意味とは異なる、設問上だけの意味とします。ふだん使わない変な定義を与えて、その定義の適用を通じて適用結果を答えさせ、それが正しい適用結果であるかどうかを見る。そういう問題を作れば、これは読解的思考力を作る手順の一つ、Tr-def-applyの手順で作ることができるということです。

具体的な作問例です。「ある民族は数をあらわすのに『ぺこ』で『1』を表し、必要な数だけ『ペこ』を繰り返すことでその数を表し、『ぽん』でそれまでに表した数の2倍を意味させるものとする。例えば『ぺこぺこ』は2、『ぺこぺこぽん』は4、『ぺこぺこぽんぺこ』は5を表す」というのが定義です。文章の意味は明解ですが、ふだんは目にしないものですから、この内容を読み取れないと理解できません。

そして、「次の表記が示す数を回答欄に記入しなさい」というのが設問で、図にあるように(1)から(3)までの設問が並んでいます。この作問例は、手順的な数値の表現方法、つまりプログラムの計算をやっているのと同じです。それができる力というのはTr-def-apply(手続き的な操作の適用)なのですが、情報科の問題としても適しているといえるでしょう。

 

同じ読解的思考力のTr-extra-graphでは、見慣れない図式を提示して、提示した図式が表すことの意味を説明します。ふだん見慣れた棒グラフなどとは違った見たことのないようなグラフを見せて読み取る、という問題などがこれにあたります。Trは、文章だけでなくグラフのようなものの読解も含めています。図式が表現することを理解できるかを見るということですね。

 

 

下図が作問例の「つららグラフ」です。このグラフは、ある容量のうち何%が空いているかを示し、下の線まで「つらら」が到達していたら100%空いていることになります。そして、「このグラフはある部屋で毎年イベントを開催した時の部屋の余裕を示している」というのが定義です。設問は、(1)~(5)の選択肢の文章からグラフから読み取れることと一致するものを選ぶというものです。

 

この問題では、見慣れないグラフからデータを読み取って整理分析することが、情報科の問題として使えると考えます。

 

●関連的思考力

今度は「関連的思考力(Tc)」の例です。Tcは、一見関連がわからないところから結び付きを見出す力です。

 

Tc-set-relationというのは、「集合中の関連抽出」です。出題テーマに応じた何らかの集合を設定し、その集合の要素間の関連も指定します。ただし、その関連は一見どれとどれが関連しているかわからないようなものですが、きちんと考えればわかるように設定して、どれとどれが関連しているかを答えなさいというのが、この問題の作り方です。

 

 

下図が作問例です。「あるクラブ活動で作成したゲームを学園祭で販売することについて、権利関係の問題があるのではという指摘があったということについての会話」ということで、図のようにA、B、C、D、E、Fの6人の15のセリフが書かれていて、問題は、「上の会話のうち同じものに対する権利侵害の議論をしている人の組をできるだけ多く挙げよ」というものです。最後のA「そうめんたべたい」は惑わし選択肢です(笑)。

この問題では、例えば、「軽音楽部の先輩の写真を勝手に使った」「いや、その写真は許可を求めるから大丈夫」といった話が同じものに対する権利の話であるということがわかるかどうかがポイントです。情報科では著作権・肖像権が非常に重視されていますが、それがきちんと頭に入っていて、なおかつ、会話の関連が読み取れれば正解できます。そういう意味で情報科に適したTcの問題です。

 

●発見的思考力

一番難しいのは「発見的思考力 (Td)」で、直接示されていないことを発見する力です。全く新しい、今までないものを発見するというのは、やはりこれから一番欲しい力だということで、この力を設定しました。

 

下図がTd-prob-law(問題・法則・原理の発見)の問題の作り方です。事項の集まりと、それに関する問題・法則・原理をまず想定します。事項の提示方法は記述でも、図や表、グラフでもけっこうです。そこに惑わすための要素を入れてもかまいません。ただし想定外の解が生じないよう注意します。その上で、想定した問題の法則・原理が発見できるかどうかを見るということです。

 

 

下図が作題例です。図に示されたような規則に従って、整数を右隣か下隣に書いて線でつないでいき、1になったらやめるというものです。そして、途中まで書いてあるものの続きはどうなるかという問題です。

 

この規則性は、37は奇数なので1を引いて36(→右隣)、36を半分にすると18(下隣)、18は偶数だから半分にして9(下隣)、9は奇数なので1を引いて8(右隣)…となります。これは、2進法の割り算と同じような結果になるので、情報の内容と言えますが、これだけの説明から具体的にどういうふうな規則なのかを発見できるかどうかを見ている、ということになります。

 

 

もう一つがTd-diff-view(異なる視点の発見)です。こちらは、視点によって異なる見え方となるような事項や事象の全体像を設定し、特定の視点からの見え方の文章や写真、絵、グラフなどを別の視点から見るとどうなるか、ということを答えさせるものです。また、作成した視点以外からの見え方を聞いたり、作成した視点からだけではわからない全体像を把握したりすることもここに入ります。

 

下図が作問例です。「商品を50個仕入れて販売した。以下は何日目に、その日の開店時の在庫の何%が売れたかを示す表である。一日目の開店時が在庫50である」という設定です。普通は売れた金額や量、何個売れたかを書きますがここでは当日の在庫の何%が売れたという見方をしています。

 

これを普通に見るならどうすればよいかということを発見して、なおかつ、各販売日の販売数を表す棒をコピーして、正しい棒グラフを作るという問題です。これもデータ処理の問題ですが、普通でない見方から普通の見方に切り替えることができるか、ということを見ています。この逆に、普通のグラフを見せて在庫の何%ずつ売れているかということを考えさせることもできますが、逆の方が難しいと思います。このように、難易度の調節はいろいろ自由にできます。

 

●推論的思考力

思考力の最後が「推論的思考力(Ti)」です。これは推論を適応する力ですから、例えば、事項の集まりを提示して、推論によって導かれることを想定し、正しくその推論ができているかどうかを見るという作り方をします。

 

作問例として、プログラムで何を計算しているかということを正しく推論できていれば解けるような問題を作りました。

 

■判断力を測る問題の作問例

判断力(Ju)は、優先順位付けを含め、複数の事項(トレードオフを含む)の中から、与えられた規準において上位または下位のものを選択するというもので、並びの順位付け/リスト分け(Ju-list-order)の1種類です。

 

作問例は、スマホのOSでどちらがよく使われているかを調査する方法を考えるものです。ア~カの選択肢の中から、調査方法の的確さについて、どこまでは大丈夫でどこは不確かだという順序づけとか判断・選択ができるかを見るというものです。

 

■表現力を測る問題の作問例

試験で測る「表現力(Ex)」について、我々は「(与えられた基準において有用な)表現を構築/考案/創出する力」と定義しました。表現力にもいろいろなものがありますが、その中で「記述文の構築」

(Ex-comp-desc)については、記述の目的として何を重視するか、また記述において満たすべき条件や制約をあらかじめ設定しておくことが必要だと思います。

 

 

作問例としては、下図のようなグラフを見てこのグラフを文章で表すとすれば、選択肢の中からどれを選択すればよいかというものができます。

 

今のものは値の推移を記述するという手順ですが、逆に今の説明文を読んで、グラフのパーツをドラッグして、文章の内容に合った正しいグラフを描くことができるかという問題もできます。

 

大掛かりな記述式問題でなくても思考力を測る可能性が示された

最後にまとめです。

 

思考力・判断力・表現力は、我々が恣意的に定義しました。これらは既存の問題とも整合して矛盾はありませんでした。

 

そこで、今年は定義ごとにその力を測る問題を作る手順を作成しました。実際には「手順」「問題」の例示ですが、今後の情報入試や高校の授業の現場でも役に立つものと期待しています。

 

思考力を問う問題と言うと、記述式問題と考えがちですが、回答時間が長く、採点がたいへんです。しかし、TJEで作った問題は5分くらいで解けるものがたくさんでき、採点も簡単なので、これは使えるのではないかというのが、私たちの出した結論です。

 

情報処理学会第81回全国大会 「情報学的アプローチによる『情報科』大学入学者選抜改革における評価手法の研究開発」(3)講演より