研究会1|議事メモ

第1回TARL評価ゼミ研究会
日時:2010年9月1日(水)18時-
場所:小金井アートスポット シャトー2F
内容:
1)研究会の趣旨説明
2)事例報告『2008 鳥の演劇祭 評価報告書』
3)ディスカッション


以下は、ディスカッションの話題を中心にまとめています。

■ 評価報告書を読んで
・どういうアンケートだったのかを知りたい。
・県広報は、新聞折り込みで換算できるのか?計量できない効果は?
・いつもこのような調査・換算のしかたは、どこか附に落ちない感じがする。
・どうにか数値を出したいということでは。「費用が回収できた」といわなければならないので、ある意味かけになってくる。
・運営側と外部評価側の意思の共有がはかれているのではないか。
・評価をする人たちとうまく意思の疎通をはかっていることが、評価を成功させるひとつの方法ではないか。
・評価事業のコストは?→費用と実施メンバー
・どのようなフィードバックがなされたのか?誰に読まれているのか?
・今後の変化をどのようにとらえていくのか?次回の報告書で変化を追っていくことができるのか?経年変化を追えるようになっているか?
・元データを出していかないと、他の人たちの分析や引き継ぎに対応できない。

■ アンケートの手法1
・満足度をとったうえで、記述式で「どこがよくなかったのか」などをとらないと、次の改善につながっていかないいのでは。
・「なにが不満だったのか」を聞くようなアンケートにしていかないと、次につながらない。
・「不満だった」とだけ聞いても改善ができないので、「なにが不満だったのか」を聞くことで、2度おいしいアンケートになるのでは。
・満足度を数値で表現するとフィードバックを得やすくなるが、記述式が多ければ多いほど回収率が低くなるという問題がある。
・アンケートと違う手法で聞く、という方法もある。アンケートで「不満だ」と答えた人に、ヒアリングにいくなど。ただしこの方法だと数はこなせない。どういうものが一番ほしい情報かによって、聞く方法が違ってくる。
・全町民ではなく、100人~200人のグループを抽出して、その人に聞きにいく、という方法のほうが良かったのではないか。今回の結果では、「劇場にいった人」「アンケートに答えた町民」「アンケートに答えなかった町民」という3つの層にわかれてしまっている。
・小さなコミュニティだから全町民アンケートが実現されているが、逆にいかない人が「ハブ」みたいな扱いになってしまっている危険性もあるのでは。
・なぜ、「作業検討部会」があったのかを聞きたい。なぜ第1回目の前に「作業検討部会」を組織して、評価まで組み込んでやろうと思ったのか。

■ 評価の対象は誰か〜誰による、誰のための評価か
・評価がでたときに、誰がその責任者になるのか?評価の依頼者は、その評価の報告書にはなにもコメントを残さないものなのか?
・もしやるのであれば、評価者の意図がまとまって残っていくのが良いのではないか。
・この評価報告書が誰に読まれているのか、というのはけっこう重要。それについても、どうだったのかを聞きたい。劇団員はこの評価報告書をどう思っているのか?誰のための評価なのか?

■ 満足度と達成度
・ブログで、評価報告書を読んだ人のコメントがあって、「「満足度」ではなく「達成度」をはかるべきではないか」と書いてあった。確かに、指標を設定してその成果を見るのであれば「達成度」である。
・アンケートをとっただけだと「満足度」しかとれないのではないか。なにをもって「達成」したと考えたかという尺度をもうけないと、アンケートの結果を「達成度」に結びつけることができない。
・評価の結果をどのような目標に結びつけていくかという問題がある。「次は「満足度」の高い人を、これだけ増やす」というような目標を設定していかないといけないのでは。
・「プロセス評価を重視する企業が増えている」という記事を新聞でみた。「達成度評価」だと低い目標を設定して、低い目標を達成する社員が増えてきてしまうらしい。
・達成度重視、結果重視にしてしまうとそういう問題は生じてしまう。そこをうまくいかせる必要がある。
・目標はもっと前向きなものがよい。それが評価から入ってしまうと、途端に、低い目標になってしまう。例)「4割っていうと厳しいから、2割にしておこう」など。

■ 評価の幅と比較対象
・それは時間の幅の問題なのか?全体としての運営の評価でみないとはかることができない。目標をトータルで達成できたかどうかという「幅」の問題もあるし、1年ではなく、3年・5年という時間的な「幅」の問題もある。
・「幅」という問題はある。1つの目標に向かっていくにしても、「今年度はここに力を入れる」というようなやりかたもある。そうであるとすれば「評価のための評価」というやりかたが必要になってくるのでは。
・数字をどう表現していくか、ということが評価の報告書づくりでは大切になってくる。
・「似た他人」を設定する、というけれど、そういうものはないのではないか。ある程度、基準となるベースを設定していかないと、それぞれの事業体が好きな「似た他人」を選んでいってしまう。
・片山さんは、「過去の自分」を推奨していた感じだった。アートプロジェクトの場合、個別性が強く「似た他人」を探しにくいので、「過去の自分」を基準とするべきではという感じだったと思う。
・「似た他人」というのはなにを選ぶかはとても大きい。すぐ「他と比べてどうなの?」という質問をうけることが多い。
・基準=スタンダードをつくる、というと「全国標準学力検査」みたいになってしまうのではないか。
・全体としてなんとなく共有されている基準のようなものはある気がする。
・業界勢力図のような、全体のマトリックスがわかるようなものが最初にあればよいのでは。
・ある種、図にはしたくないけれど、図にはすべきものがあるようなぼんやりとしたイメージはある気がする。
・「高さ」とかではなく、「公立/民間」「大きい/小さい」という客観的なものが基準になっていくのか?
・質の問題もある。シアターであれば「アングラ系」「明るいコンテンポラリーダンス」など、それぞれによって、あるべきシアターのイメージは違ってくる。
・ある程度、「自己評価」をしたうえで、第三者に方向性についてアドバイスをもらうというような仕組みが必要なのでは?そうすると、「似た他人」を選ぶのは、「自分」?

■ アンケートの手法2
・アンケートに答えてくれる人は、プラス評価の人が多いのでは。
・どうやってマイナスの意見を拾うのかは、もっと考えたほうがよいのでは。
・アンケートだけでなく、mixi、twitterなど、複数のチャンネルを持つというのは、ひとつの解決策では。
・ハッキリ失敗したプログラムは、ハッキリ悪い結果があがってくる。
・悪かったときは、けっこう悪いことをアンケートに書いてくる。
・「不満な点はありますか」と聞くとかえってこないが、「改善する点はありますか」と聞くと、けっこう書いてくれる。

■ 報告書の対象は誰か〜どう伝えるか
・誰にむけてつくっている評価報告書なのか?
・①伝えたい内容だけをまとめたものと、②ガッツリしたデータと分析をまとめたものがあればよいのではないか。例)(財)地域創造の「これからの美術館のありかたについて」報告書
・今はどこもそうなっている。特に企業では「1枚にまとめて」といわれることも多い。
・「報告書」というかたちをとらなくてもよいのでは。発表してディスカッションする機会をもうけたりとか、そのようなことのほうが意味をもってくるのかもしれない。
・「誰に伝えるか」という問題がけっこう大切なのではないか。

■ 今後のこと
・他の評価報告書も読んでみたい。
・同じように小さい市と大学が組んでアンケートを実施したところとして、「中之条ビエンナーレ」はどうか。その報告書がまとまっているのであれば、それを取り寄せてみてみるのはどうか。
・「中之条ビエンナーレ」は文化庁の創造都市部門で賞をとっていて、比較的、町をあげて活動をやっているプロジェクト。

0 件のコメント:

コメントを投稿