Svoboda | Graniru | BBC Russia | Golosameriki | Facebook
Skip to main content
Sait Çüm
  • Turkey
  • +905053977852
Başlamadan önce lütfen açıklamayı dikkatlice okuyunuz. Bu ölçekte, teknik sistemlerle etkileşiminize ilişkin dokuz madde bulunmaktadır. "Teknolojik sistem" ifadesi mobil uygulamalar ve diğer yazılım uygulamalarının yanı sıra tüm dijital... more
Başlamadan önce lütfen açıklamayı dikkatlice okuyunuz. Bu ölçekte, teknik sistemlerle etkileşiminize ilişkin dokuz madde bulunmaktadır. "Teknolojik sistem" ifadesi mobil uygulamalar ve diğer yazılım uygulamalarının yanı sıra tüm dijital cihazları (cep telefonu, bilgisayar, televizyon, araç navigasyon cihazı vb.) kapsayan bir kavram olarak kullanılmıştır.
Research Interests:
Research Interests:
Consuming sports products and services incessantly without being able to restrain oneself is characterized as compulsive sports consumption. The aim of this study is to adapt the Compulsive Sport Consumption Scale (CSCS) developed in... more
Consuming sports products and services incessantly without being able to restrain oneself is characterized as compulsive sports consumption. The aim of this study is to adapt the Compulsive Sport Consumption Scale (CSCS) developed in English by Aiken et al. (2018) into Turkish utilizing a scientific scale adaptation process. The CSCS consists of six items and is graded on a seven-point Likert scale ranging from strongly disagree to strongly agree. Higher CSCS levels are affiliated with psychological and behavioral constructs related to the effects of sports consumption, such as time, money, coping, and psychological and behavioral neglect. The scale has been tailored via a group of English and Turkish linguists, sports scientist, and psychometrist. Parallel analysis has been performed on account of inspecting the dimensionality of the scale, and many statistics such as unidimensional congruence, explained common variance, mean of item residual absolute loadings, and robust fit statistics have been used. In accordance with parallel analysis, the scale was unidimensional, and all other statistics supported that as well. The unidimensional adapted scale (CSCS-T) explained approximately 83% of the total variance. Additionally, internal consistency, composite reliability, and test-retest reliability have been examined to determine the measurement's reliability. Cronbach's Alpha was .958, McDonald's Omega was .958, and Pearson's product-moment correlation coefficient was .923 in the wake of the testretest application. All of the findings propound that when investigating compulsive over-participation in sports consumption in Turkish-speaking populations, the CSCS-T can be used to acquire valid and reliable measures.
Consuming sports products and services incessantly without being able to restrain oneself is characterized as compulsive sports consumption. The aim of this study is to adapt the Compulsive Sport Consumption Scale (CSCS) developed in... more
Consuming sports products and services incessantly without being able to restrain oneself is characterized as compulsive sports consumption. The aim of this study is to adapt the Compulsive Sport Consumption Scale (CSCS) developed in English by Aiken et al. (2018) into Turkish utilizing a scientific scale adaptation process. The CSCS consists of six items and is graded on a seven-point Likert scale ranging from strongly disagree to strongly agree. Higher CSCS levels are affiliated with psychological and behavioral constructs related to the effects of sports consumption, such as time, money, coping, and psychological and behavioral neglect. The scale has been tailored via a group of English and Turkish linguists, sports scientist, and psychometrist. Parallel analysis has been performed on account of inspecting the dimensionality of the scale, and many statistics such as unidimensional congruence, explained common variance, mean of item residual absolute loadings, and robust fit statistics have been used. In accordance with parallel analysis, the scale was unidimensional, and all other statistics supported that as well. The unidimensional adapted scale (CSCS-T) explained approximately 83% of the total variance. Additionally, internal consistency, composite reliability, and test-retest reliability have been examined to determine the measurement's reliability. Cronbach's Alpha was .958, McDonald's Omega was .958, and Pearson's product-moment correlation coefficient was .923 in the wake of the testretest application. All of the findings propound that when investigating compulsive over-participation in sports consumption in Turkish-speaking populations, the CSCS-T can be used to acquire valid and reliable measures.
Bu arastirmanin amaci, TUBITAK Ulakbim Ulusal Veri Tabanlari’naindeksli psikoloji ve egitim bilimleri dergilerinde 2005-2013 yillari arasindayayimlanmis olan olcek gelistirme calismalarini, olcek gelistirme adimlari veilkeleri bakimindan;... more
Bu arastirmanin amaci, TUBITAK Ulakbim Ulusal Veri Tabanlari’naindeksli psikoloji ve egitim bilimleri dergilerinde 2005-2013 yillari arasindayayimlanmis olan olcek gelistirme calismalarini, olcek gelistirme adimlari veilkeleri bakimindan; uyarlama calismalarini ise olcek uyarlama adimlari veilkeleri bakimindan incelemektir. Bu arastirma nitel arastirmalar kapsamindayer alan bir dokuman incelemesi calismasidir. Arastirma orneklemini,TUBITAK Ulakbim Ulusal Veri Tabanlari’nda psikoloji ve egitim bilimlerikategorilerinde yer alan dergilerde 2005-2013 yillari arasinda yayimlanmisolcek gelistirme ve uyarlama calismalari icerisinden tabakali seckisizornekleme yontemi ile secilmis 50 makale olusturmaktadir. Bu makalelerden29’u olcek gelistirme, 21’i ise olcek uyarlama calismasidir. Arastirmaverilerinin toplanmasinda, arastirma kapsaminda olusturulan incelemeformlari kullanilmistir. Arastirma ornekleminde yer alan makaleler olusturulaninceleme formlari ile arastirmaci tarafindan incelenmisti...
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored... more
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored items in cognitive tests. In order to obtain various evidence for this claim, the 2x2 contingency table used in the ROC analysis was adapted in accordance with the logic of item discrimination. It was suggested in the article that the areas under the ROC curves (AUC) obtained by using the sensitivity and specificity values calculated with the adapted contingency table can be considered as a measure of item discrimination. The results of the statistical analyses made on the simulation data showed that the AUC values were positively and highly correlated with the D, 𝑟bis and a parameter values of the items, and the AUC values from different sized samples were consistent. Additionally, ROC analysis was more stable against range narrowing than other metho...
Bu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak incelenmesi... more
Bu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak incelenmesi amaçlanmıştır. Araştırma verilerinin toplandığı grup, PISA’ya (2012) Türkiye’den katılan 15 yaş grubundaki 4848 öğrenci arasından matematik özyeterliği anketine katılan ve eksiksiz bir şekilde yanıtlayan 3129 öğrencinin puanlarından oluşan veri seti üzerinde yürütülmüştür. Söz konusu veri seti içerisinden farklı yapılar oluşturulacak şekilde farklı oranlarda veri silinerek eksik veri setleri oluşturulmuştur. Bu eksik veri setleri BM, BVA, ESE, MUA, MZMC ve RA olmak üzere altı farklı gelişmiş değer atama yöntemiyle tamamlanmıştır. Söz konusu yöntemlerle yapılan yaklaşık değer atamaları sonucu elde edilen ölçek puanları ile tam veri ölçek puanları arasındaki korelasyon değerlerinin yüksek olduğu görülmüştür. Benzer şekilde farklı yöntemlerle tamamlanmış v...
Öz: Bu araştırmada, Uluslararası Öğrenci Değerlendirme Programı (Programme for International Student Assessment [PISA]) 2018 uygulamasına Türkiye’den katılan öğrencilerin akran zorbalığına maruz kalma sıklıkları üzerinden iki aşamalı... more
Öz: Bu araştırmada, Uluslararası Öğrenci Değerlendirme Programı (Programme for International Student Assessment [PISA]) 2018 uygulamasına Türkiye’den katılan öğrencilerin akran zorbalığına maruz kalma sıklıkları üzerinden iki aşamalı kümeleme algoritmasıyla kümelenmesi ve bu kümelerin öğrencilerin cinsiyeti, okulu veya bazı dersleri asmaları ya da okula geç kalmaları gibi değişkenler yönünden farklılaşıp farklılaşmadığının incelenmesi amaçlanmıştır. Bu araştırmanın çalışma grubunu, PISA 2018 araştırmasına Türkiye’den katılan ve tamamı 2002 yılında doğmuş olan 6890 öğrenci oluşturmaktadır. Araştırmada öncelikle, akran zorbalığına maruz kalma sıklığı anketine verilen yanıtlar aracılığıyla yanıtlayıcı grubun içerisindeki farklı ve ayırt edilebilir bir takım özellikleri temsil eden fakat doğrudan gözlenemeyen üç alt grup (küme) iki aşamalı kümeleme analiziyle ortaya çıkarılmıştır. Öğrencilerin gözlenen değişkendeki düzeyleri bakımından anlamlandırılabilir olduğu belirlenen bu kümelerin tüm gruba oranla büyüklüklerinin sırasıyla %50, %33 ve %17 olduğu görülmüştür. Elde edilen bulgulardan hareketle, öğrencilerin cinsiyetlerinin, okulu/dersleri asma ve okula geç kalma durumlarının kümeler arasında değişkenlik gösterdiği ve bu değişkenliğin istatistiksel olarak anlamlı olduğu sonucuna ulaşılmıştır.
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored... more
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored items in cognitive tests. In order to obtain various evidence for this claim, the 2x2 contingency table used in the ROC analysis was adapted in accordance with the logic of item discrimination. It was suggested in the article that the areas under the ROC curves (AUC) obtained by using the sensitivity and specificity values calculated with the adapted contingency table can be considered as a measure of item discrimination. The results of the statistical analyses made on the simulation data showed that the AUC values were positively and highly correlated with the D, bis and a parameter values of the items, and the AUC values from different sized samples were consistent. Additionally, ROC analysis was more stable against range narrowing than other methods. In this respect, it was concluded that very large groups were not needed to examine item discrimination with the proposed method.
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored... more
In this study, it was claimed that ROC analysis, which is used to determine to what extent medical diagnosis tests can be differentiated between patients and non-patients, can also be used to examine the discrimination of binary scored items in cognitive tests. In order to obtain various evidence for this claim, the 2x2 contingency table used in the ROC analysis was adapted in accordance with the logic of item discrimination. It was suggested in the article that the areas under the ROC curves (AUC) obtained by using the sensitivity and specificity values calculated with the adapted contingency table can be considered as a measure of item discrimination. The results of the statistical analyses made on the simulation data showed that the AUC values were positively and highly correlated with the D, bis and a parameter values of the items, and the AUC values from different sized samples were consistent. Additionally, ROC analysis was more stable against range narrowing than other methods. In this respect, it was concluded that very large groups were not needed to examine item discrimination with the proposed method.
In this section, we will try to look from different perspectives on validity by taking into account the studies and conceptual debates on validity from past to present in the light of positivist and post-positivistic paradigms. We will... more
In this section, we will try to look from different perspectives on
validity by taking into account the studies and conceptual debates on
validity from past to present in the light of positivist and post-positivistic
paradigms. We will try to shape our predictions for the future on the
universal knowledge that the history of science has presented to us. In
other words, this section, in which we try to reach the roots rather than
get lost in the branches of the tree, is the logbook of a journey on the
philosophical foundations of measurement.
* Alıntılama: Çüm, S., Demir, E. K., Akın Arıkan, Ç. ve Şahin, M. D. (2020). Okuma Zevki ve Okuma Çeşitliliğinin Örtük Sınıf Analizi: Türkiye ve Çin İncelemesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 40(3), 943-1059.
Öz: Bu araştırmanın amacı, Sato Test Kuramı (STK)'na dayalı olarak gerçekleştirilen ve maddelerin işlerliği ile öğrencilerin öğrenme durumları hakkında dönüt sağlayan sınıflamalara yönelik öğretmen görüşlerinin toplanması ve... more
Öz: Bu araştırmanın amacı, Sato Test Kuramı (STK)'na dayalı olarak gerçekleştirilen ve maddelerin işlerliği ile öğrencilerin öğrenme durumları hakkında dönüt sağlayan sınıflamalara yönelik öğretmen görüşlerinin toplanması ve incelenmesidir. Bu amaçla MEB'de farklı düzeylerde görev yapan 70 öğretmene çevrimiçi ve yüzyüze olmak üzere 12 maddelik bir anket uygulanmıştır. Betimsel bir yöntem izlenerek öğretmenlerin her bir anket maddesine verdiği yanıtların frekans değerleri ve yüzdelikleri raporlanmıştır. Elde edilen sonuçlar, katılımcı öğretmenlerin büyük çoğunluğunun (%81.4) STK'yı kullanmaya istekli olduklarını göstermektedir. Bununla birlikte katılımcıların, STK ile test maddelerinin işlerliği ve öğrencilerin öğrenme durumları hakkında verilen dönütleri beğendikleri ve işe yarar buldukları belirlenmiştir. Ayrıca öğretmenlerin büyük çoğunluğu dönütleri madde havuzu oluşturma konusunda teşvik edici bulmakta ve öğretimi iyileştirme noktasında işlerini kolaylaştıracağını düşünmektedirler. Buna karşın, bu araştırmaya katılan öğretmenlerin önemli bir kısmının maddeler ve öğrencilerle ilgili dönütlerin yeterli olup olmadığına ilişkin kararsızlık yaşadıkları görülmüştür. Ayrıca katılımcıların %41.4'ü madde analizleri için klasik yöntemleri tercih edip etmeme noktasında kararsızlık yaşadığını ifade etmiştir.

Abstract: The aim of this study is to collect and examine teachers’ opinions about classifications based on the Sato Test Theory (STT) and provide feedback on the functioning of the items and the learning situations of the students. For this purpose, a 12-item questionnaire was applied to 70 teachers who were working at different levels in Turkish National Education Ministry schools, online and face-to-face. By following a descriptive method, frequency values and percentages of the responses given by the teachers to each item of the questionnaire were reported. The results show that the vast majority of participating teachers (81.4%) are willing to use the STT. However, it was determined that the participants were satisfied with the feedback provided by STT about the functioning of the test items and the learning situations of the students. In addition, the vast majority of teachers believe that the feedbacks of STT encourages them to build an item pool and facilitates their work at the point of improving teaching. However, it was observed that a significant proportion of the teachers participated in this study had an ambiguity about whether the feedbacks related to the items and the students were sufficient. It is also a remarkable finding that 41.4% of the participants expressed their hesitancy about choosing classical methods for substance analysis.
Research Interests:
Özet: Bu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak... more
Özet: Bu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak incelenmesi amaçlanmıştır. Bu araştırma, PISA'ya (2012) Türkiye'den katılan 15 yaş grubundaki 4848 öğrenci arasından matematik özyeterliği anketine katılan ve eksiksiz bir şekilde yanıtlayan 3129 öğrencinin puanlarından oluşan veri seti üzerinde yürütülmüştür. Söz konusu veri seti içerisinden farklı yapılar oluşturulacak şekilde farklı oranlarda veri silinerek eksik veri setleri oluşturulmuştur. Bu eksik veri setleri BM, BVA, ESE, MUA, MZMC ve RA olmak üzere altı farklı gelişmiş değer atama yöntemiyle tamamlanmıştır. Söz konusu yöntemlerle yapılan yaklaşık değer atamaları sonucu elde edilen ölçek puanları ile tam veri ölçek puanları arasındaki korelasyon değerlerinin yüksek olduğu görülmüştür. Benzer şekilde farklı yöntemlerle tamamlanmış veri setlerinden elde edilen ölçek puanları arasındaki korelasyon değerleri de yüksek bulunmuştur. Tam veri seti ile tamamlanmış veri setlerinden hesaplanan ölçek puanları arası farkların mutlak değer toplamları ve ortalamaları göz önünde bulundurulduğunda belirlenen koşullar altında en iyi çalışan yaklaşık değer atama yöntemlerinin MZMC ve BM olduğu sonucuna ulaşılmıştır.


Abstract: In this study, it is aimed to comparatively research of data sets obtained imputation for missing values that is formed by different ratios (%15 and %25) and in different structures (MCAR and MAR) with different methods. This study has been conducted on data set formed by points of 3129 students who participated in mathematics self-efficacy survey and answered it completely among 4848 students-age group of 15-who participated in PISA 2012 from Turkey. Missing data sets have been constituted by deleting data in different ratios to be constitute different structures in the data set. These data sets have been completed by six different nearby value imputation including EM, BIM, PSM, MCMC, MDIM, and RIM. Obtained data sets have been compared with full data sets by scale points of students. In the scope of the research, correlation between obtained scale points and scale points of real data has been seen quite high. Similarly, when scale points is considered, correlation of missing data imputation methods with each other have also been found quite high. Considering the difference between the totals and avarages of student scores calculated from the full data set and imputed data sets EM and MCMC is founded that the best missing data imputation methods under all conditions.
Research Interests:
ÖZET Davranış bilimlerinde, herhangi bir özelliğin ölçülmesi söz konusu olduğunda iki temel yaklaşım öne çıkmaktadır. Bu yaklaşımlar, psikometrik ve izlenimci yaklaşımdır. Psikometrik yaklaşım, bilimsel yöntemlere dayanarak geçerliği ve... more
ÖZET Davranış bilimlerinde, herhangi bir özelliğin ölçülmesi söz konusu olduğunda iki temel yaklaşım öne çıkmaktadır. Bu yaklaşımlar, psikometrik ve izlenimci yaklaşımdır. Psikometrik yaklaşım, bilimsel yöntemlere dayanarak geçerliği ve güvenirliği yüksek ölçme araçlarının geliştirilmesine önem verir, aynı zamanda yol gösterir. Bu makalede, davranış bilimlerinde ölçek geliştirme süreci, karşılaşılabilecek sorunlar, izlenmesi gereken adımlar ve kullanılabilecek istatistiksel yöntemler ayrıntılı olarak ele alınmış, ölçek boyutlarını keşfetmek amacıyla başvurulan açıklayıcı faktör analizi (AFA) tekniğine yer verilmiştir. Makalenin, ölçek geliştirmek isteyen araştırmacılara yol göstereceği umulmaktadır. Anahtar kelimeler: Ölçme, ölçek geliştirme, açıklayıcı faktör analizi ABSTRACT In the measurement of a trait in behavioral sciences two basic approaches stand out: Those are psychometric and impressionistic approaches. Psychometric approach places emphasis on development of measurement instruments based on scientific methods with high validity and reliability and is guiding at the same time. In this study, scale development process in behavioral sciences, problems encountered, steps to be taken and statistical methods to be used are discussed in detail and exploratory factor analysis (EFA) as a technique used in search of dimensions of a scale is mentioned. This study is anticipated to guide the researchers in scale development process.
Research Interests:
Öz Bu araştırmada, aynı evrenden tesadüfi olarak seçilen örneklemlerden elde edilen Maddeler için Sınırlandırılmış Gri İlişki Derecelerinin (MİSGİD) tutarlılığının ve Madde Uyarı İndeksleri (MUİ) aracılığı ile gerçekleştirilen madde... more
Öz
Bu araştırmada, aynı evrenden tesadüfi olarak seçilen örneklemlerden elde edilen Maddeler için Sınırlandırılmış Gri İlişki Derecelerinin (MİSGİD) tutarlılığının ve Madde Uyarı İndeksleri (MUİ) aracılığı ile gerçekleştirilen madde sınıflandırmaları arasındaki uyumun incelenmesi amaçlanmıştır. Bu amaç doğrultusunda, 20 madde ve bu maddelere dayalı 1000 adet yanıt örüntüsü simülasyon yoluyla elde edilmiş, yanıt örüntüleri içerisinden seçkisiz olarak seçilen ve 30 yanıt örüntüsü içeren 10 farklı veri seti (örneklem) oluşturulmuştur. Örneklemlerin her birinden elde edilen MİSGİD değerlerinin farklı örneklemler arası tutarlılığının belirlenebilmesi amacıyla Spearman Sıra Farkları Korelasyon Katsayıları hesaplanmış ve buna ek olarak değer ortalamaları arasındaki farkın anlamlılığı Kruskal Wallis-H Testi ile incelenmiştir. Ayrıca örneklemlerden elde edilen MUİ ile yapılan sınıflandırmaların ne oranda uyum gösterdiği yüzde oranlar yardımıyla incelenmiştir. Elde edilen bulgular, Sato Test Kuramında maddelerin kalitesinin belirlenebilmesi için üretilen MİSGİD parametrelerinin ve MUİ parametresine dayalı yapılan sınıflandırmaların tutarlı sonuçlar verdiğini göstermiştir. Anahtar Kelimeler: Sato test kuramı, öğrenci-problem çizelgesi, madde analizi.

Abstract
On  this  research,  it  has  been  aimed  to  the  examination  of  consistency  of  Localized  Grey  Relational  GradeProblem  (LGRG-P)  values  and  accommodation  item  classifications  which  are  made  via  Problem  Caution Index  (PCI)  between  different  samples  that  are  randomly  chosen  from  the  same  universe.  In  accordance  with this  purpose,  20  items  and  1000  response  patterns  based  on  these  items  have  been  obtained  by  simulation,  10 different  dataset  (sample)  which  are  randomly  chosen  among  response  patterns  and  involve  30  response patterns  have  been  constructed.  In  order  to  examination  of  consistency  of  obtained  LGRG-P  values  among different  samples,  Spearman  Rank-Order  Correlation  Coefficients  have  been  calculated  and  additionally significance  of  difference  among  value  averages  has  been  examined  by  Kruskal  Wallis-H  Test.    Moreover, with  the  help  of  percentages  at  what  rate  of  item  classifications  made  by  PCI  obtained  from  samples  show accommodation.  Findings  which  are  obtained  have  showed  that  Sato  Theory  Parameters  which  are  produced  in order to determine the quality of items have given consistent results.  Keywords: Sato test theory, student-problem chart, item analysis.
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Altyapı yatırımlarının finansmanı, altyapı yatırımlarının doğasından kaynaklanan "yatırımların maliyetlerinin yüksekliği, yüksek risk, uzun dönem borçlanma, uzun hazırlık zamanı gibi bir takım zorluklara sahiptir. Kamu-özel işbirliği... more
Altyapı yatırımlarının finansmanı, altyapı yatırımlarının doğasından kaynaklanan "yatırımların maliyetlerinin yüksekliği, yüksek risk, uzun dönem borçlanma, uzun hazırlık zamanı gibi bir takım zorluklara sahiptir. Kamu-özel işbirliği projeleri bu zorlukların aşılması ve kamu maliyesi üzerindeki yükün azaltılması için kamu otoriteleri tarafından geliştirilen yöntemlerden birisidir. Kamu-özel işbirliği, "bir sözleşmeye dayalı olarak, yatırım ve hizmetlerin, projeye yönelik maliyet, risk ve getirilerinin, kamu ve özel sektör arasında paylaşılması yoluyla gerçekleştirilmesini" ifade etmektedir. Fakat bu yöntemin çok sayıda dezavantajı bulunmaktadır. Kamu-Özel İşbirliğine alternatif olarak bu makalede Kamu-Halk (Kamu-Yurttaş) işbirliği önerilmektedir.
Research Interests: