Ondokuz mayis üNİversitesi tip faküLtesi Özdeğerlendirme raporu

Tablo 5.1.3.: Değerlendirme Süreçleri ve Taraflar

Değerlendirme Süreçleri	Taraflar
Program bileşenlerine karar verme	Program Kurulu, Tıp Eğitim Birimi (TEB)
Değerlendirme araçlarını geliştirme	Ölçme Değerlendirme Kurulu
Veri işleme	Öğrenci, eğitici
Veri toplama	Öğrenci İşleri
Analiz	Öğrenci İşleri, Ölçme Değerlendirme Kurulu
Yorumlama	Ölçme Değerlendirme Kurulu, TEB, Program Kurulu
Sonuçları kullanma	TEB, Program Kurulu, Dönem sorumluları, Blok Sorumluları, Blok kurulları, Öğretim üyeleri

• 
  Değerlendirme sonuçlarından öğrencilerin, eğiticilerin ve yönetimin yararlanması amaçlanmıştır. Eğiticilere öğretme etkinliklerini/eğiticiliklerini değerlendirme ve geliştirme için fırsat sağlarken, öğrencilere planlamaya katılım ve temsiliyet olanağı sunmaktadır. Yönetim ise eğitim programının sürekli gelişimine katkıda bulunacak veriyi elde edebilmektedir. Değerlendirme sonuçlarının tüm paydaşlarca bilinmesi amacı ile farklı yöntemler kullanılmaktadır. Ancak değerlendirme etkinliklerinin ve sonuçlarının tüm paydaşlarca izlendiği daha güçlü iletsel bir yapıya ihtiyaç vardır. OMUTF Program Değerlendirme Sisteminin şematik yapılanmasına Şekil 5.1.1’de yer verilmiştir.
  

Şekil 5.1.1.: Ondokuz Mayıs Üniversitesi Tıp Fakültesi Program Değerlendirme Sistemi Program Değerlendirme Modeli Yaklaşım ve Yöntemleri

Ondokuz Mayıs Üniversitesi Tıp Fakültesi Program değerlendirme sistemi CIPP ve Kirkpatric modelinin birlikteliğini içeren “Karma Değerlendirme Modeli”ne uygun olarak düzenlenmiştir.

Stufflebeam’in CIPP modeli planlama, yapılaştırma, uygulama, yeniden düzenleme olmak üzere dört alanda programla ilgili karar vermeye yardımcı olur. Model bağlamın, girdinin, sürecin ve ürünün değerlendirilmesini sağlar.

Kirkpatric Modeli, programın sonuçlarına ilişkin dört değerlendirme düzeyi tanımlar. Birinci düzey değerlendirme, eğitim programına ilişkin reaksiyonların, hoşnutluk düzeyinin belirlenmesine, ikinci düzey ise öğrencilerin öğrenme kazanımlarını elde edip etmediğini belirlemeye yöneliktir. Üçüncü düzey, eğitim programı ile hedeflenen davranış değişikliklerinin mezunların mesleki yaşantılarında gerçekleşip gerçekleşmediğini, dördüncü düzey ise eğitim programının etkilerinin kuruma, topluma yönelik etkilerinin değerlendirilmesidir.

Ondokuz Mayıs Üniversitesi Tıp Fakültesi Program Değerlendirme Sistemi CIPP Modelinin bağlam, girdi, süreç ve ürün Kirkpatric’in ilk iki düzeyini kapsayacak şekilde çalışmaktadır. Bağlam ve girdi başta olmak üzere CIPP’in tüm düzeylerinin geliştirilmesi; Kirkpatric’in üçüncü düzeyini de ele alacak değerlendirme çalışmalarının yapılması hedef olara yer almalıdır.

Ondokuz Mayıs Üniversitesi Tıp Fakültesi Program Değerlendirme Sistemi ayrıca öğrenci performansı ölçüm sonuçlarını kullanan öğrenci yönelimli ve programın performansını genel hedefleri ile karşılaştıran, öğrenme etkinlikleri, eğiticileri, yöntemleri, kaynakları ve hedefleri ele alan program yönelimli bir yaklaşımı [(Wilkes- Bligh (1999) sınıflamasına göre)]* benimsemiştir. Şekil 5.1.2’de OMUTF Değerlendirme Sisteminin benimsediği model ve yaklaşımın özelliklerine yer verilmiştir.

Değerlendirme için veriler ağırlıklı olarak nicel yöntemlerden yararlanılarak toplanmaktadır. Nicel yöntemlerle elde edilen veriler iyi ve geliştirilmesi gereken alanların neler olduğunu gösterirken, niteliksel yöntemlerle elde edilen veriler bu alanlarla ilgili “nasıl”, “neden” ve “niçin” sorularının cevaplarını bulmamızı sağlar. Nicel yöntem yanında, nitel yöntemlerin kullanılması zengin ve derinlemesine bir anlayış geliştireceğinden bundan sonraki değerlendirmelerin çoklu yöntemler kullanılarak geliştirilmesi uygun ve yararlı olacaktır. Değerlendirme Tasarımına Tablo 5.1.4’te yer verilmiştir.

Şekil 5.1.2.: OMU Tıp Fakültesi Program Değerlendirme Sistem Model ve Yaklaşımı



Tablo 5.1.4.: Değerlendirme Tasarımı

ARAŞTIRMA SORUSU 1: EĞİTİM PROGRAMININ ÖĞRENCİLER VE EĞİTİCİLER ÜZERİNDEKİ ETKİSİ NEDİR? ARAŞTIRMA SORUSU 2: EĞİTİM PROGRAMI PLANLANDIĞI GİBİ UYGULANMAKTA MIDIR?
GEREKSİNİM DUYULAN VERİLER	VERİ TOPLAMA YÖNTEM VE ARAÇLARI	ZAMANSAL KURGU	VERİNİN PAYLAŞILDIĞI/RAPOR EDİLDİĞİ ALAN
Mezun öğrencilerin eğitim programı ile ilgili düşünceleri, kariyer planları	Mezuniyet Anketi	Yılda bir	TEB, Program ve Ölçme Değerlendirme Kurulu, Akademik Kurul, öğrenci temsilcileri
Dönem VI ve öğrencilerinin eğitim programı ile ilgili düşünceleri, kariyer planları	Dönem VI Mezuniyet Anketi	Yılda bir	TEB, Program ve Ölçme Değerlendirme Kurulu, Akademik Kurul, öğrenci temsilcileri
Öğrencilerin eğitim programı bileşenleri ile ilgili düşünceleri*	Yapılandırılmış geribildirim formları* ve blok sonu geribildirim toplantılarındaki sözel ifadeler	Etkinlik, dönem ve blok sonrası*	TEB, Program ve Ölçme Değerlendirme Kurulu
Eğiticilerin eğitim programı bileşenleri ile ilgili düşünceleri	Yapılandırılmış senaryo geribildirim formu, yönlendirici, blok, tasklar ve sunumlarla ilgili toplantılardaki sözel ifadeler, blok sonu, dönem sonu raporları ve akademik kurul kararları	Etkinlik, dönem, blok sonrası	TEB, Program ve Ölçme Değerlendirme Kurulu, Akademik Kurul
Yıllar içinde değişen yeni gelen öğrenci profili Dönem 1–3–5. sınıf öğrenci profili ve kariyer planları	Öğrencilerin fakülte ile ilgili düşünce ve beklentileri anketi, Üniversite öğrenci giriş puanlarının araştırılması Memnuniyet ve Beklenti Anketi	Yılda bir	TEB, Program ve Ölçme Değerlendirme Kurulu
Öğrencilerin eğitim ortamına yönelik algıları	DREEM	Yılda bir	TEB, Program ve Ölçme Değerlendirme Kurulu
Öğrenci başarısının değerlendirilmesi	Döküman analizi (geçme kalma oranları, başarı ve okulu bırakma oranları, öğrenci performans değerlendirmeleri (OSCE, gözlem, gelişim sınavları )	Yılda bir	TEB, Program ve Ölçme Değerlendirme Kurulu, Akademik Kurul

*Ayrıntısına geribildirimler ile ilgili bölümde yer verilecektir.

2. 
   Eğitici ve Öğrenci Geribildirimleri
   

• 
  Geribildirimlerin Özellikleri
  

Değerlendirme sistemi içerisinde eğitici, özellikle de öğrenci geri bildirimleri önemli bir yer tutmakta, formatif değerlendirmede eğitim sürecinin bir parçası olarak yer almaktadırlar. Geribildirimler ağırlık olarak öğrenci görüşleri üzerine kurgulanmıştır. Eğitici geribildirimleri ise sıklıkla senaryo sonu geribildirim toplantıları ve ilgili kurullarda (Blok Kurulu, Ölçme Değerlendirme Kurulu, Program Kurulu, Tıp Eğitimi Birimi, Fakülte Kurulu) sözel olarak alınmaktadır. Bu toplantılardaki değerlendirmeler programın bileşenlerine (PDÖ oturumları, beceri eğitimleri, uygulamalar, hedefler, sınavlar gibi) yönelik olabilmektedir. Eğiticiler ayrıca senaryolarla ilişkili geribildirimlerini yapılandırılmış formlar aracılığıyla iletmektedirler. Sistemin geliştirilmesi için eğiticilerin, eğiticilik, öğrenciler ve yönetim gibi başlıklarda da görüşlerini almaya yönelik çalışmalara ihtiyaç vardır. Bu çalışmaların nicel ve nitel yöntemlerin birlikteliğini içeren, yapılandırılmış veri toplama araçları ile toplanması, raporlaştırılarak paylaşılması önemlidir.

İlk üç yıl öğrenci geribildirimleri yapılandırılmış formlar aracılığı ile toplanır. Formlarda hedefler ve içeriğin uyumunu, kullanılan yöntemlerin etkililiğini, planlama ve uygulamanın tutarlılığını, eğitici davranışlarının öğretim ilkelerine uygunluğunu sorgulayan önermelere yer verilmiştir. Bu formlar tüm öğrenme etkinlikleri (sunum, senaryo, uygulama, MBE gibi) için hazırlanmıştır. Ayrıca, her blok sonunda blok sonu sınavından önce, blok işleyişi ve program hakkında blok sonu toplantısı yapılarak öğrencilerin görüşleri sözlü alınır. Bu toplantıya, blok sorumlusu, blok kurulu üyeleri ve öğrenciler katılır.

Klinik yıllarda her taska ait geribildirimler 2006–2007 eğitim ve öğretim yılından itibaren yapılandırılmış “Task Öğrenci Geribildirim Form”u ve “Sunum Geribildirim Formu” ile toplanmaktadır. Task Öğrenci Geribildirim Formunda klinik eğitim yöntemlerinin, çalışma rehberlerinin, eğitim ortamının etkililiğini araştıran başlıklara yer verilmiştir. Sunum geribildirim formunda ise eğiticilerin sunum becerilerine ilişkin değerlendirme yapılması istenmektedir. Ancak bu formların işlerliği çok iyi olmamıştır. Kullanışlılık, yararlılık, isteksizlik gibi nedenlerden sürekli veri elde edilmesi zor olmuştur.

Bir diğer geribildirim formu tüm dönemlerde (Dönem VI hariç) kullanılan Blok sonu geribildirim formudur. Öğrenciler her blok sonunda blok işleyişi, sunum, uygulama gibi etkinlikler için Blok Sonu geribildirimlerini (beyaz form) imza karşılığında öğrenci işlerine teslim ederler. Geribildirim formunu teslim etmeyen öğrencinin blok notu açıklanmaz. Tüm geri bildirimler alındıklarında Excel veri tabanı ya da çetele formunda değerlendirilirler. Öğrenci işleri sekreterleri geri bildirimlerin girişini ve analizini yapar. Geri bildirim analizleri Ölçme Değerlendirme Kurulu ve Tıp Eğitimi Birimi tarafından değerlendirilir. Geri bildirim sonuçları, blok sorumlusuna sözel ve/veya yazılı olarak blok kurulunda görüşülmek üzere iletilir. Tablo 5.1.5 ‘de Değerlendirme sisteminde yer alan tüm geribildirim formlarının özellikleri özetlenmiştir.

Tablo 5.1.5.: Geribildirim Formlarının Özellikleri

Değerlendirme Formunun adı	Kim için olduğu	Zamanı/sıklığı	Aracın özelliği	Ölçülmek istenen
PDÖ Yönlendiricisi Değerlendirme Formu	Katılımcı/öğrenci	İlk üç yıl her blokta bir	5’li likert ölçeğine göre düzenlenmiş 9 önerme, 10’lu genel değerlendirme ve açık uçlu ifadelerin yer aldığı görüş bölümü	Yönlendirici PDÖ ilkeleri çerçevesinde hareket etti mi?
Senaryo Değerlendirme Formu	Yönlendirici için	İlk üç yıl her senaryoda bir, her blokta iki ya da üç	5’li likert ölçeğine göre düzenlenmiş 8 önerme, 10 lu genel değerlendirme görüş bölümü	PDÖ senaryolarının senaryo hazırlama ilkelerine uygunluğu ve niteliği açısından ne düzeydedir?
Senaryo Değerlendirme Formu	Katılımcı/öğrenci	İlk üç yıl her senaryoda bir, her blokta iki ya da üç	5’li likert ölçeğine göre düzenlenmiş 10 önerme,10’ lu genel değerlendirme, görüş bölümü	PDÖ senaryolarının niteliği ve öğrenmeye katkısı ne düzeydedir?
Sunum Değerlendirme Formu	Katılımcı/öğrenci	İlk üç yıl her sunum sonrası, her blokta 1–10 kez	5’li likert ölçeğine göre düzenlenmiş 12 önerme,10 lu genel değerlendirme, görüş bölümü	Sunumların niteliği ve öğrenmeye katkısı ne düzeydedir?
Mesleksel ve Klinik Beceri Formu	Katılımcı/öğrenci	İlk üç yıl her beceri eğitimi sonrası, her blokta 2–8	5’li likert ölçeğine göre düzenlenmiş 10 önerme, 10’lu genel değerlendirme, görüş bölümü	Mesleksel ve klinik beceri eğitimleri ile ilgili görüşleri nelerdir?
OMU Tıp Fakültesi Blok Sonu Katılımcı Geribildirim Formu	Katılımcı/öğrenci	İlk üç yıl ve klinik yıllarda her blok sonrası bir kez	5’li likert ölçeği, açık uçlu görüş alanı	Öğrenme deneyimlerine ilişkin düşünceleri nelerdir? -eğitim etkinliklerinin içeriği, yöntemleri, süresi, sınavlar, eğitim ortamı, eğitici performansı, eğitsel materyal-
Task Değerlendirme Formu	Katılımcı/öğrenci	Her task sonrası bir kez	5’li likert ölçeği, ,açık uçlu görüş alanı	Öğrenme deneyimlerine ilişkin düşünceleri nelerdir?
Task Sunum Geribildirim Formu	Katılımcı/öğrenci	Her task sonrası bir kez	5’li likert ölçeği	Sunumların niteliği ve öğrenmeye katkısı ne düzeydedir?

• 
  Öğrenci Geribildirim Sonuçları ve Kullanılması
  

Öğrenci geribildirim sonuçlarına ve geribildirimlerin nasıl kullanıldığına aşağıda kısaca yer verilmiştir.

Sunumlar

Geribildirimler öğrencilerin sunum sayılarının artırılmasını istediklerini ortaya koymuştur. 2008-2009 eğitim ve öğretim yılından itibaren sunum sayıları artırılmıştır.

Öğrenciler nitelikli ve görsel özellikleri kullanan öğretim üyelerinin sunumlarını büyük beğeni ile karşılamaktadır. Hızlı, teorik içeriği yüklü ve ara verilmeyen sunumlar öğrenciler tarafından tercih edilmemektedir. Sunumların hazırlanışı ve sunumların niteliği ile ilgili olumsuz düşünceler öğrenciler tarafından ifade edilmektedir. Geribildirimlerin ışığında eğiticilerin sunumlarını değerlendirmeleri istenmektedir.

Sunumların son haftaya sıkıştırılması öğrenciler tarafından sürekli eleştirilmektedir. Blok Kurulları bu durumu dikkate almakta ancak çeşitli nedenlerle bazı bloklarda gerçekleştirilememektedir.

Eğiticiler

PDÖ oturumlarında görev alan eğiticiler genel olarak beğenilmektedir. Sunum yapan eğiticilerin sıklıkla eleştirildiği dikkat çekicidir. Her eğitici geribildirimlerini öğrenci işlerinden almaktadır. Dikkat çekici geribildirimler ise dekan yardımcısı tarafından eğiticilerle özel olarak paylaşılmaktadır.

Bu yıl program kurul toplantılarında dönem 4 ve 5 gönüllü öğrenci ve öğrenci temsilcileri ile eğitici-öğrenci ilişkileri, eğitici niteliklerine yönelik görüşmeler yapılmakta, derinlemesine bilgi alınmaktadır. İlk görüşme Kadın ve Doğum Hastalıkları Anabilim Dalı ile ilgili olmuştur.

Eğitim ortamı

Öğrenciler eğitim ortamının geliştirilmesine yönelik olumsuz geribildirimler vermişlerdir. Özellikle amfilerin fiziki şartları (havalandırma ve ısınma), kampus ortamı ile ilgili eleştiriler yüksektir. Buna bağlı olarak 2009-2010 döneminde amfilerin ısıtma sisteminde iyileştirme yapılmış ve amfi ortamında ki ısınamama şikâyeti yeni dönemde aşırı sıcaklık tarzında değişmiştir. Ancak halen yapılması gereken tadilatlar mevcuttur.

Eğitim Materyali

2009-2010 döneminde eğitim kalitesini artırmaya yönelik olarak yeni maketler alındığı gibi daha önceden kullanılmaz hale geldiği düşünülerek kaldırılan maketlerin değişik amaçlarla da olsa kullanıma girmesiyle kısmi bir rahatlama sağlanmıştır.

3. 
   Öğrenci Performansı ile ilgili verilerin Eğitim Programı ve Hedeflerle İlişkili Olarak Değerlendirilmesi ve Program Değerlendirme Sisteminde Kullanımı
   

Program değerlendirme sisteminde PDÖ, uygulama, blok sonu, OSCE, dönem sonu notları ile gelişim sınavı sonuçları gibi öğrenci performans sonuçlarına yer verilmektedir. 2007-2008 eğitim öğretim yılından itibaren sınavların sınav analizleri yapılmakta, cevaplanma oranı düşük veya yüksek oranda yanlış cevaplanan (yaygın yanlış bilgi) sorular Ölçme Değerlendirme Kurulu tarafından belirlenerek blok sorumlusuna iletilmektedir. Blok sorumlusu Blok Kurulu ile beraber bu sonuçları blok hedefleri, eğitim durumları, yöntemleri ve eğitici performansları ile ilişkilendirerek yorumlamakta ve programın değerlendirmesine katkıda bulunacak veriyi elde etmektedir. Ayrıca dönem sonunda blok öğrenci performans sonuçlarının karşılaştırılması ile blok değerlendirmeleri için katkı sağlayacak veri de elde edilmiş olmaktadır.

2009-2010 eğitim öğretim yılında gelişim sınavının ilk uygulamaları gerçekleştirilmiş ve üç sınav yapılmıştır. Gelişim sınavları Ulusal ÇEP hedefleri doğrultunda kapsam geçerliği göz önüne alınarak hazırlanmaktadır. Gelişim sınavı sonucunda, Dönem 1-6 öğrencilerinin yanıtları ayrı ayrı her dönem, blok ve hedef için analiz edilir. Yeteri kadar öğrenilemeyen veya yanlış öğrenilen hedefler analiz ve değerlendirmeye alınmaktadır. Sonuçların program değerlendirme ve geliştirmede kullanılması planlanmaktadır.

Her yıl öğrenci sınıf geçme notları, geçme kalma ve okulu bırakma oranları hesaplanmaktadır. Bu veriler programı değerlendirmede göz önüne alınmaktadır. Örneğin başarı oranlarının yüksek olması geçen yıl itibari ile dikkati çekmiş, ölçme değerlendirme sistemi, geribildirim sonuçları, blok analiz ve değerlendirmeleri göz önüne alınarak üzerinde tartışılmıştır. 2009-2010 eğitim ve öğretim yılında Ölçme Değerlendirme Sistemi tekrar yapılandırılmış, baraj konulmasına karar verilmiştir. Tablo 5.1.6’da yıllara göre başarı oranları, Tablo 7’de okulu bırakma oranları yer almaktadır.

Haftalık ortalama bağımsız çalışma süreleri program değerlendirmede göz önüne alınmaktadır. Değerlendirme raporlarında blok analiz verisi olarak yer almakta, yıllar içindeki değişimi izlenerek blokların yapılandırılmasında kullanılmaktadır. Hedef ve çalışma süresi ilişkisi göz önüne alınarak blok değişimleri yapılmaktadır.

Tablo 5.1.6.: Yıllara Göre Başarı Oranları

	Hazırlık	Dönem I	Dönem II	Dönem III	Dönem IV	Dönem V	Dönem VI
2006-2007	0.86	0.84	0.95	0.98	0.83 0.84*	0.98	0.98
2007-2008	0.83	0.88	0.92	0.98	0.95	0.99 0.98*	0.99
2008-2009	0.82	0.77	0.94	0.99	0.98	0.99	0.99

*Entegre sistem
Tablo 5.1.7.: Yıllara göre okulu bırakma oranları

	Yatay geçişle gelen	Yatay geçişle giden	Kayıt alan	İlişik kesme	Afla gelen	Vefat eden
2007-2008	1 erkek öğrenci	4 kız öğrenci 2 erkek öğrenci	1 kız öğrenci 3 erkek öğrenci	-	-	-
2008-2009	2 kız öğrenci 1 erkek öğrenci	1 kız öğrenci 3 erkek öğrenci	-	1 erkek öğrenci	-	-
2009-2010	1 kız öğrenci 2 erkek öğrenci	2 kız öğrenci 2 erkek öğrenci	1 kız öğrenci 1 erkek öğrenci	1 kız öğrenci 1 erkek öğrenci	1 kız öğrenci 11 erkek öğrenci	1 erkek öğrenci