PENGEMBANGAN INSTRUMEN EVALUASI KEMAMPUAN MEMAHAMI TEKS BERBAHASA INGGRIS MAHASISWA D3 BAHASA INGGRIS STAIN JURAI SIWO METRO

 Yusti Arini

Evaluation is one of the important steps in the learning process. By conducting an evaluation, we can expect to obtain the information about the extent the learning objectives have been reached. To conduct a good evaluation, a good and valid instrument is needed. Some problems might come up concerning with the evaluation are the availability of the valid instrument, the lecturer’s competence in choosing or even making a valid instrument, the lecturer’s competence in analyzing and interpreting the test results and the conduct of evaluation.
This research is aimed at finding some information about the internal characteristics of the test that will be developed to measure the students’ ability in reading English texts, the construct validity of the test, the students’ ability in reading English texts and the difficulties the students face in reading English texts.
This research was conducted by trying out a reading test consisting of 50 items. The first try out was given to 63 semester IV students of D3 English Program of STAIN Jurai Siwo Metro. The second try out was given to 101 semester III students of the same major. The results of the test were analyzed by using several techniques. The first analysis was done by using the item analysis card. The second analysis was done by using the SPSS 11.0 for Windows program , that is, the factor analysis and the descriptive statistics.
The research findings show that the instrument has a fairly good validity (the KMO value is 0,560) and reliability (the reliability index is 0,755). The difficulty index is 0,472; it means that the instrument is in the mediate level. The discriminating index is 0,356; it means that the instrument is good in differentiating the students’ abilities. Based on the results, it can be concluded that the reading instrument that is developed is categorized to be a good and valid instrument.


I. PENDAHULUAN
Di Indonesia, bahasa Inggris merupakan salah satu bidang yang diajarkan pada lembaga pendidikan formal. Pada tingkat pendidikan dasar dan menengah, bahasa Inggris diajarkan sebagai salah satu bidang studi. Sementara itu, pada tingkat pendidikan tinggi, banyak lembaga-lembaga pendidikan yang memiliki jurusan atau program studi yang khusus membidangi bahasa Inggris. STAIN Jurai Siwo Metro yang merupakan lembaga pendidikan berbasis agama Islam, memiliki program studi D3 Tadris Bahasa Inggris yang bernaung di bawah Jurusan Tarbiyah.
Pada prodi tersebut, seluruh keterampilan berbahasa Inggris yaitu reading, writing, speaking, listening, dan translation menjadi mata kuliah yang diajarkan. Berbicara mengenai pembelajaran bahasa asing, khususnya bahasa Inggris, keterampilan membaca merupakan salah satu skill yang sangat penting untuk diajarkan, mengingat penguasaan membaca teks berbahasa Inggris akan menunjang penguasaan literatur untuk mata kuliah-mata kuliah yang lain. Oleh karena itu, penting untuk selalu meningkatkan kualitas pembelajaran membaca ini dalam rangka meningkatkan kemampuan mahasiswa dalam bahasa Inggris secara keseluruhan.
Untuk mewujudkannya, evaluasi merupakan salah satu langkah penting yang harus dilaksanakan bersamaan dengan proses belajar mengajar. Dengan pelaksanaan evaluasi hasil belajar diharapkan dapat diperoleh informasi tentang sejauh mana tujuan belajar telah dicapai, baik bagi pengajar, mahasiswa, maupun pihak yang berkaitan dengan lembaga pendidikan.
Sedemikian pentingnya pelaksanaan evaluasi; oleh karena itu harus dilaksanakan secara baik dan standar. Untuk itu pula, diperlukan instrumen atau alat ukur yang standar, alat ukur yang berkualitas bagus sehingga evaluasi yang dilaksanakan benar-benar menghasilkan informasi akurat dan dapat memberikan feedback seperti yang diharapkan.
Berdasarkan uraian tersebut, dapat ditengarai masalah-masalah yang dimungkinkan muncul terkait dengan evaluasi. Masalah-masalah tersebut antara lain meliputi ketersediaan alat ukur yang standar, kemampuan dosen pengajar dalam memilih atau bahkan membuat alat ukur yang standar, kemampuan dosen dalam menganalisis dan menginterpretasi hasil pengujian, serta pelaksanaan pengukuran dan penilaian yang sesuai prosedur.
Penelitian hanya dibatasi pada masalah pengembangan instrumen tes membaca (reading comprehension test) termasuk mengetahui karakteristik internal tes tersebut serta pada kemampuan dan kesulitan yang dihadapi mahasiswa dalam memahami teks berbahasa Inggris.
Masalah pada penelitian ini dirumuskan sebagai berikut:
1. Bagaimanakah karakteristik internal tes yang akan dikembangkan untuk mengukur tingkat kemampuan membaca mahasiswa D3 Bahasa Inggris STAIN Jurai Siwo Metro?
2. Bagaimanakah tingkat validitas konstruk perangkat tes yang akan dikembangkan tersebut?
3. Bagaimanakah tingkat kemampuan memahami teks berbahasa Inggris mahasiswa D3 STAIN Jurai Siwo Metro?
4. Kesulitan-kesulitan pada indikator keterampilan membaca yang mana saja yang dihadapi mahasiswa D3 STAIN Jurai Siwo Metro?
Sejalan dengan rumusan masalah yang akan dikaji dan diteliti, maka penelitian ini bertujuan untuk:
1. Mengembangkan instrumen tes kemampuan membaca teks berbahasa Inggris yang sesuai dengan pedoman pembuatan butir soal, memiliki karakteristik internal (tingkat kesukaran, indeks daya beda, dan distraktor) yang baik, dan memiliki tingkat validitas serta reliabilitas yang baik.
2. Mengetahui tingkat kemampuan mahasiswa D3 Bahasa Inggris STAIN Jurai Siwo Metro dalam memahami teks berbahasa Inggris dan kesulitan-kesulitan yang dihadapi.



II. KAJIAN TEORI
Proses membaca melibatkan pemerolehan makna yang dimaksudkan oleh pembaca dan kontribusi pembaca sendiri dalam bentuk interpretasi, evaluasi, dan refleksi mengenai makna-makna tersebut. Membaca berarti memahami teks tertulis dengan cara memperoleh informasi yang dibutuhkan seefisien mungkin.
Munby merinci beberapa komponen keterampilan membaca yang disebutnya sebagai microskills, meliputi: (1) recognizing the script of a language atau mengenali tulisan suatu bahasa, (2) deducing the meaning and use of unfamiliar lexical items atau menelusuri makna dan penggunaan unsur-unsur kebahasaan yang masih jarang digunakan, (3) understanding explicitly stated information atau memahami informasi yang dinyatakan secara eksplisit, (4) understanding information when not explicitly stated atau memahami informasi yang dinyatakan secara implisit, (5) understanding conceptual meaning atau memahami makna konseptual, (6) understanding the communicative value (function) of sentences or utterances atau memahami nilai atau fungsi komunikatif suatu kalimat atau ucapan, (7) understanding relations within the sentence atau memahami hubungan dalam kalimat, (8) understanding relation between the parts of a text through lexical cohesion devices atau memahami hubungan antar bagian teks melalui sarana kohesi leksikal, (9) understanding relation between the parts of a text through grammatical cohesion devices atau memahami kohesi antar bagian dalam teks melalui sarana kohesi gramatikal, (10) interpreting text by going outside it atau menginterpretasi teks dengan cara menyelami makna di luar teks, (11) recognizing indicators in discourse atau mengenali indikator berdasarkan diskurskusnya, (12) identifying the main point or important information in a piece of discourse atau mengidentifikasi pokok pikiran atau informasi penting pada suatu potongan diskurskus, (13) distinguishing the main idea from supporting details atau membedakan ide pokok dari unsur-unsur penunjang, (14) extracting salient points to summarize (the text, an idea etc.) atau menyarikan poin-poin penting untuk meringkas suatu teks, ide, atau lainnya (15) selective extraction of relevant points from a text atau menyarikan poin-poin yang relevan dari teks untuk menjawab pertanyaan, (16) basic reference skills atau keterampilan menemukan rujukan, (17) skimming atau membaca cepat dengan tujuan memperoleh intisari keseluruhan isi teks (18) scanning atau mencari informasi yang lebih spesifik pada teks, dan (19) transcoding information into diagrammatic display atau mengubah bentuk informasi ke dalam bentuk tabel, grafik, diagram dan sebagainya.
Evaluasi memiliki peranan yang sangat penting dalam proses belajar mengajar (PBM), karena evaluasi merupakan proses sistematis untuk menentukan sejauh mana tujuan pengajaran telah dicapai, melalui pengukuran dengan menggunakan alat ukur.
Mehrens mengemukakan bahwa manfaat evaluasi berkaitan dengan pengajar dan pelajar. Bagi pengajar, evaluasi sangat penting dalam memberikan data tentang prilaku (behaviour) pelajar; membantu dalam menentukan, menyaring, dan menjelaskan tujuan realistis pengajaran kepada masing-masing pelajar; membantu dalam mengukur tingkat tujuan yang telah dicapai; dan membantu pengajar dalam memperbaiki teknik pembelajaran. Sementara itu, manfaat evaluasi bagi pelajar antara lain, dapat mengkomunikasikan tujuan pembelajaran, meningkatkan motivasi, mengetahui kebiasaan belajar yang baik, dan memberi feedback bagi pelajar mengenai kelemahan dan kelebihannya.
Pada umumnya alat ukur yang dapat digunakan dalam melaksanakan evaluasi belajar dapat digolongkan menjadi dua macam yaitu teknik tes dan teknik non tes. Achievement test merupakan tipe tes yang paling tepat untuk mengukur tingkat pengetahuan, keterampilan, atau hasil belajar sebagai suatu prestasi. Dalam hal ini, tes prestasi dapat menentukan sejauh mana pelajar mengetahui tentang topik tertentu, atau sejauh mana pelajar dapat mengembangkan keterampilan atau kemampuan tertentu yang telah dipelajarinya.
Adapun bentuk tes prestasi dapat dikategorikan kepada (1) bentuk tes subjektif, umumnya berbentuk essay (uraian), dan (2) bentuk tes objektif, dalam bentuk (a) tes butir pilihan berupa tes benar-salah (true-false test), pilihan ganda (multiple-choice test), menjodohkan (matching test), (b) tes butir melengkapi (completion test), dan (c) tes butir jawaban singkat (short-answer test).
Tujuan pembelajaran yang dihasilkan melalui pengajaran bahasa menunjukkan prilaku berbahasa pada ranah kognitif, afektif, dan psikomotorik. Adapun tujuan utama dari penilaian keterampilan membaca adalah untuk mengumpulkan informasi relevan yang akan menjadi referensi dalam menentukan keputusan tentang kemampuan perorangan dalam aktifitas membaca.
Pada umumnya bentuk tes yang digunakan untuk evaluasi dalam aspek bahasa adalah bentuk tes multiple-choice (four options). Bentuk tes ini efisien untuk mengukur pemahaman atau kemampuan berpikir, maupun hasil belajar lainnya, karena distraktor (pengecoh) yang sangat mirip berfungsi untuk mengecoh pelajar (yang dites) sehingga memacu ketajaman berpikir dan membuatnya berhati-hati memilih alternatif jawaban yang paling tepat. Namun kelemahan bentuk tes ini adalah adanya kemungkinan peserta tes menebak jawaban (guessing).
Arikunto mengemukakan lima kriteria yang dapat dijadikan pedoman dalam menilai suatu tes, yaitu validitas, reliabilitas, objektifitas, praktikalitas, dan ekonomis. Sementara itu, menurut Bachman , syarat paling penting yang harus dipertimbangkan dalam pengembangan, penginterpretasian, dan penggunaan suatu tes adalah validitas, yang dapat diartikan sebagai konsep terpadu yang terkait dengan kelayakan dan ketepatan metode yang kita gunakan untuk menginterpretasikan dan menggunakan skor tes.
Allen dan Yen menyatakan bahwa suatu tes memiliki validitas bila tes tersebut mengukur apa yang seharusnya diukur. Validitas dapat dinilai dari berbagai cara, tergantung pada tes dan maksud penggunaannya. Ada tiga tipe utama validitas yang meliputi validitas isi (content validity), validitas yang terkait dengan criteria (criterion-related validity), dan validitas konstruk (construct validity).
Selanjutnya, raliabilitas suatu tes adalah kesesuaian antara dua upaya yang dilakukan untuk mengukur trait yang sama melalui metode yang sangat serupa. Ada tiga pendekatan untuk mengestimasi reliabilitas suatu tes khususnya dalam tes bahasa yang meliputi (1) estimasi konsistensi internal, (2) estimasi stabilitas, dan (3) estimasi ekuivalensi.
Selain kedua karakteristik di atas, analisis butir soal akan menghasilkan data tentang tingkat kesukaran butir soal, indeks daya beda butir soal, dan berfungsi tidaknya distraktor (pengecoh). Tingkat kesukaran (dilambangkan dengan p) ialah sukar atau kurang sukarnya butir itu dijawab oleh peserta tes. Indeks daya beda (dilambangkan dengan d) ialah kemampuan butir untuk membedakan kemampuan peserta tes yang dapat menjawab dengan yang tidak dapat menjawab butir soal.
Selanjutnya, Depdiknas melalui Puslitbang Sisjian telah membuat pedoman penelaahan butir soal pilihan ganda yang meliputi aspek materi, konstruksi, dan bahasa .

III. METODOLOGI PENELITIAN
Penelitian ini dilaksanakan di STAIN Jurai Siwo Metro dengan subjek penelitian mahasiswa semester IV Program Studi D3 Bahasa Inggris Jurusan Tarbiyah STAIN Jurai Siwo Metro Tahun Akademik 2005/2006 sebanyak 63 mahasiswa sebagai responden untuk uji coba pertama dan mahasiswa semester III pada Prodi yang sama Tahun Akademik 2006/2007 sebayak 101 mahasiswa sebagai responden untuk uji coba kedua.
Instrumen kemampuan membaca teks berbahasa Inggris pada penelitian ini dikembangkan melalui beberapa tahap yaitu, menetapkan tujuan tes, mengkaji teori, merancang spesifikasi tes / kisi-kisi butir soal, menulis soal, dan menelaah serta merevisi tes.
Instrumen yang tersusun berbentuk seperangkat tes pilihan ganda (multiple choice) sebanyak 50 butir dengan 4 option atau pilhan jawaban. Bentuk soal untuk masing-masing butirnya disesuaikan dengan teks atau wacana yang diacu oleh soal. Soal-soal tersebut ada yang berbentuk pertanyaan dan ada pula yang berbentuk kalimat pernyataan. Sementara itu, teks yang diacu untuk membuat item pertanyaan dibuat dalam berbagai bentuk agar lebih variatif sehingga memacu mahasiswa agar dapat memahami berbagai teks bahasa Inggris yang berbeda; ada yang berbentuk wacana atau paragraf, artikel koran, iklan, definisi kata dari kamus, maupun indeks.
Data, berupa hasil pelaksanaan tes, dikumpulkan melalui pemberian atau uji coba tes sebanyak dua kali kepada dua kelompok subjek penelitian di atas. Data hasil tes pertama dijadikan dasar untuk menganalisis karakteristik internal (antara lain tingkat kesukaran, indeks daya beda, distraktor, validitas, dan reliabilitas) instrumen tersebut guna merevisi perangkat tes yang akan dijadikan sebagai instrumen evaluasi. Perangkat tes yang telah dianalisis dan direvisi diujikan kembali kepada subjek untuk mengetahui tingkat kemampuan membaca subjek dan kesulitan-kesulitan yang dihadapinya.
Ada dua jenis data dalam penelitian ini, yaitu perangkat tes yang dikembangkan sebagai instrumen evaluasi kemampuan membaca teks berbahasa Inggris dan lembar jawaban mahasiswa peserta tes. Yang pertama, perangkat tes dianalisis dengan menggunakan kartu telaah butir soal untuk mengetahui kesesuaian butir-butir soal dalam instrumen tes dengan pedoman telaah butir soal. Yang kedua, lembar jawaban mahasiswa dianalisis dengan menggunakan Program Iteman untuk mengetahui karakteristik internalnya sehingga dapat diketahui apakah tes tersebut sudah tergolong baik atau belum.
Selain itu, dilakukan juga analisis faktor dan analisis statistik deskriptif dengan menggunakan Program SPSS 11.0 for Windows terhadap hasil tes untuk mengetahui tingkat validitas konstruk perangkat tes dan rerata skor pada masing-masing microskill.

IV. HASIL PENELITIAN DAN PEMBAHASAN
A. Hasil Penelitian
Setelah dilakukan pengambilan data yaitu berupa uji coba (try-out) perangkat tes kepada peserta tes sebanyak dua kali untuk dua kelompok yang berbeda, diperoleh hasil-hasil penelitian sebagai berikut:
1. Validitas, Reliabilitas, dan Karakteristik Internal Butir Soal
a. Hasil Uji Coba Pertama
Uji coba pertama dilakukan terhadap mahasiswa semester IV Prodi D3 Bahasa Inggris Jurusan Tarbiyah STAIN Jurai Siwo Metro Tahun Akademik 2005/2006 sebanyak 63 mahasiswa. Setelah dilakukan analisis terhadap hasil tes dengan menggunakan program SPSS for Windows 11 dan program Iteman diperoleh hasil-hasil sebagai berikut:

1) Validitas Tes
Jenis validitas yang ingin diketahui dari perangkat tes yang dikembangkan adalah validitas konstruk. Oleh karena itu, dilakukan analisis faktor dengan program SPSS 11.0 for Windows terhadap hasil tes berupa lembar jawaban kelompok uji coba pertama. Berdasarkan hasil analisis tersebut dapat diketahui bahwa harga KMO untuk kelompok uji coba pertama adalah sebesar 0,558. Ini berarti bahwa analisis faktor sudah cukup tepat dilakukan terhadap data tersebut. Nilai uji Bartlett untuk kelompok tersebut adalah sebesar 0,000 yang berarti sangat signifikan. Sementara itu, nilai kumulatif varian dari 13 faktor adalah sebesar 37,647%.
2) Reliabilitas Tes
Hasil analisis dengan program Iteman pada uji coba pertama menunjukkan bahwa indeks konsistensi internal instrumen tes adalah sebesar 0,726, yang berarti cukup tinggi.
3) Tingkat Kesukaran (Difficulty Index)
Tingkat kesukaran untuk tiap butir soal pada instrumen ini ditentukan berdasarkan kategori yang dikemukakan oleh Arikunto yaitu 0,00 – 0,30 berarti sukar, > 0,30 – 0,70 berarti sedang, dan > 0,70 berarti mudah. Soal yang ideal adalah soal yang memiliki indeks kesukaran sedang, karena soal yang terlalu mudah tidak akan memacu motivasi peserta tes untuk belajar dan soal yang terlalu sukar kadangkala membuat peserta tes frustasi.
Hasil analisis dengan program Iteman terhadap hasil uji coba tes yang pertama menunjukkan bahwa: (1) terdapat 15 (30%) butir soal yang tergolong mudah, yaitu soal nomor 3, 4, 9, 10, 15, 16, 17, 22, 25, 28, 29, 32, 34, 42, dan 47, (2) terdapat 27 (54%) butir soal yang tergolong sedang, yaitu soal nomor 2, 6, 7, 8, 11, 12, 13, 14, 20, 21, 23, 26, 27, 30, 31, 33, 36, 37, 38, 39, 40, 41, 43, 44, 48, 49, 50, dan (3) terdapat 8 (16%) butir soal yang tergolong sukar, yaitu soal nomor 1, 5, 18, 19, 24, 35, 45, dan 46. Secara keseluruhan, rerata tingkat kesukaran perangkat tes pertama (mean P) adalah sebesar 0,549, yang berarti tingkat kesukaran perangkat tes tersebut termasuk dalam kategori sedang.
4) Indeks Daya Beda (Discrimination Index)
Penentuan tingkat daya beda untuk masing-masing butir soal didasarkan pada acuan yang dikemukakan oleh Ebel, dengan kategori sebagai berikut: (1) jelek, yaitu indeks daya beda di bawah 0,20, (2) cukup, yaitu indeks daya beda > 0,20 – 0,30, (3) baik, yaitu indeks daya beda > 0,30 – 0,40, dan (4) sangat baik, yaitu indeks daya beda > 0,40 – 1,00.
Berdasarkan hasil analisis terhadap hasil uji coba tes yang pertama dapat diketahui indeks daya beda masing-masing butir soal sebagai berikut: (1) sebanyak 13 butir soal memiliki indeks daya beda di bawah 0,2, atau jelek, yaitu soal nomor 8, 13, 14, 18, 19, 20, 26, 33, 36, 45, 47, dan 50, (2) sebanyak 3 butir soal memiliki indeks daya beda antara 0,20 – 0,30, atau cukup, yaitu soal nomor 15, 34, dan 35, (3) sebanyak 11 butir soal memiliki indeks daya beda > 0,30 – 0,40, atau baik, yaitu soal nomor 2, 4, 5, 7, 9, 17, 21, 27, 28, 30, 46, dan (4) sebanyak 22 butir soal memiliki indeks daya beda > 0,40 atau sangat baik, yaitu soal nomor 3, 6, 10, 11, 12, 16, 22, 23, 25, 29, 31, 32, 37, 38, 39, 40, 41, 42, 43, 44, 48, dan 49. Sementara itu, terdapat satu butir soal yang memiliki indeks daya beda negatif atau ditolak, yaitu soal nomor 24.

b. Hasil Uji Coba Kedua
Uji coba yang kedua dilakukan terhadap mahasiswa semester III Prodi D3 Bahasa Inggris Jurusan Tarbiyah STAIN Jurai Siwo Metro tahun akademik 2007/2008 sebanyak 101 mahasiswa dengan hasil sebagai berikut:
1) Validitas Tes
Berdasarkan hasil analisis faktor terhadap hasil tes uji coba kedua dapat diketahui bahwa nilai KMO untuk data dari kelompok uji coba kedua adalah sebesar 0,560. ini berarti bahwa analisis faktor sudah cukup tepat dilakukan terhadap data tersebut. Sementara itu, nilai uji Bartlett-nya adalah sebesar 0,000 yang berarti sangat signifikan. Nilai varian kumulatif ke 13 faktor yang tercakup dalam perangkat tersebut adalah sebesar 40,133%.
2) Reliabilitas Tes
Berdasarkan hasil analisis dengan program Iteman dapat diketahui bahwa nilai konsistensi internal perangkat tes yang kedua adalah sebesar 0,755, yang berarti tergolong tinggi.
3) Tingkat Kesukaran (Difficulty Index)
Setelah data berupa hasil tes dianalisis, masing-masing butir soal dikategorikan sebagai berikut: (1) sebanyak 7 (14%) butir soal termasuk dalam kategori mudah, yaitu soal nomor 3, 4, 20, 22, 25, 32, dan 46, (2) sebanyak 33 (66%) butir soal termasuk dalam kategori sedang, yaitu soal nomor 1, 2, 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 19, 21, 23, 26, 27, 28, 29, 330, 31, 33, 34, 37, 338, 39, 41, 42, 44, 46, 49, dan 50, dan (3) sebanyak 10 (20%) butir soal termasuk dalam kategori sukar, yaitu soal nomor 5, 12, 18, 24, 35, 36, 40, 43, 45, dan 48. Secara keseluruhan, rerata tingkat kesukaran perangkat tes kedua (mean P) adalah sebesar 0,472 yang berarti tingkat kesukaran perangkat tes tersebut termasuk dalam kategori sedang.
4) Indeks Daya Beda (Discrimination Index)
Hasil analisis data terhadap perangkat tes yang kedua menunjukkan bahwa: (1) sebanyak 12 (24%) butir soal memiliki indeks daya yang jelek, yaitu soal nomor 5, 6, 7, 11, 13, 14, 18, 22, 28, 30, 33, dan 35, (2) sebanyak 9 (18%) butir soal memiliki indeks daya beda cukup, yaitu soal nomor 9, 16, 21, 26, 29, 40, 41, 45, dan 48, (3) sebanyak 3 (6%) butir soal memiliki indeks daya beda baik, yaitu soal nomor 1, 2, 15, dan (4) sebanyak 24 (48%) butir soal memiliki indeks daya beda sangat baik, yaitu soal nomor 3, 4, 8, 10, 12, 17, 19, 20, 23, 25, 27, 31, 32, 34, 37, 38, 39, 42, 43, 44, 46, 47, 49, dan 50. Sementara itu, sebanyak 2 (4%) butir soal memiliki indeks daya beda negatif, yaitu soal nomor 24 dan 36. Secara keseluruhan, rerata indeks daya beda (mean biserial) pada perangkat tes yang kedua adalah sebesar 0,356, yang berarti perangkat tes tersebut memiliki indeks daya beda yang tergolong baik.

2. Tingkat Kemampuan Mahasiswa Prodi D3 Bahasa Inggris STAIN Jurai Siwo Metro dalam Memahami Teks Bahasa Inggris
Berdasarkan hasil analisis dengan program Iteman terhadap lembar jawaban subjek penelitian baik untuk kelompok uji coba yang pertama maupun uji coba kedua dapat diketahui tingkat kemampuan mahasiswa Prodi D3 Bahasa Inggris STAIN Jurai Siwo Metro dalam memahami teks berbahasa Inggris, yaitu bahwa kelompok uji coba pertama memiliki tingkat kemampuan merespon teks berbahasa Inggris sebesar 54,89%, sedangkan kelompok uji coba kedua memiliki tingkat kemampuan merespon sebesar 47,23%.

3. Kesulitan-kesulitan yang Dihadapi Mahasiswa Prodi D3 Bahasa Inggris STAIN Jurai Siwo Metro dalam Memahami Teks Berbahasa Inggris
Untuk mengetahui pada keterampilan membaca yang mana saja mahasiswa mengalami kesulitan, dilakukan analisis statistik deskriptif dengan Program SPSS 11.0 for Windows terhadap hasil tes subjek penelitian. Dari hasil analisis dapat diketahui rerata (mean) skor yang diperoleh subjek pada masing-masing microskill yang kemudian dikonversi ke dalam bentuk persentase. Pada microskill di mana persentase pencapaian tidak mencapai 50%, mahasiswa dianggap mengalami kesulitan pada microskill tersebut. Dapat diketahui bahwa pada empat jenis microskill mahasiswa memperoleh pencapaian di bawah 50%, yaitu pada microskill nomor (1) skimming (33,73%), (6) deducing the meaning and use of unfamiliar lexical items (36,77%), (10) understanding conceptual meaning (41,27%), dan (13) extracting salient points to summarize (14,28%).
Sementara itu, hasil uji coba kedua menunjukkan bahwa pada sebagian besar microskill, yaitu pada sembilan jenis microskill, mahasiswa memperoleh pencapaian di bawah 50%. Kesembilan microskill tersebut adalah: (1) skimming (36,88%), (5) understanding information when not explicitly stated (45,05%), (6) deducing the meaning and use of unfamiliar lexical items (37,29%), (7) understanding relations between the parts of a text through lexical cohesion devices (45,54%), (8) understanding relations between the parts of a text through grammatical cohesion devices (48,51%), (9) understanding the communicative value (function) of sentences & utterances (37,62%), (10) understanding conceptual meaning (15,84%), (12) selective extraction of relevant point from a text (44,05%), dan (13) extracting salient points to summarize (24,75%).
Hasil analisis faktor dengan program SPSS 11.0 for Windows menunjukkan bahwa harga KMO pada data hasil uji coba kedua, 0,560, lebih tinggi daripada harga KMO pada data hasil uji coba pertama, 0,558. Nilai kumulatif varian muatan faktor pada uji coba kedua pun lebih tinggi dibandingkan pada uji coba pertama, yaitu sebesar 40,133% dibandingkan dengan 37,647%. Ini berarti kemampuan perangkat tes pada uji coba kedua lebih tinggi dalam menjelaskan dimensi teori yang ingin diukur, atau dapat dikatakan bahwa tingkat validitas konstruk perangkat tes yang kedua lebih tinggi daripada perangkat tes yang pertama. Hal ini mungkin disebabkan jumlah responden pada kelompok uji coba yang kedua lebih banyak dibandingkan pada uji coba pertama sehingga kemampuan yang ditampilkan pun lebih beragam.
Berdasarkan analisis dengan program Iteman, dapat dilihat bahwa indeks konsistensi internal perangkat tes pada uji coba kedua adalah sebesar 0,755, berarti lebih tinggi dibandingkan pada hasil uji coba pertama, 0,726. Berarti pula tingkat reliabilitas pada perangkat tes yang kedua lebih tinggi dibandingkan pada perangkat tes yang pertama.
Meningkatnya indeks konsistensi internal tersebut kemungkinan disebabkan oleh tingkat variabilitas skor tes pada uji coba kedua yang lebih tinggi dibandingkan pada uji coba pertama. Hal ini ditunjukkan oleh nilai varian skor tes pada hasil uji coba kedua yaitu sebesar 40,653 yang berarti lebih tinggi dibandingkan dengan nilai varian skor tes uji coba pertama, 34,056.
Sementara itu, kriteria suatu butir soal dapat diterima, harus revisi, atau ditolak sebagian besar berdasarkan tingkat kesukaran dan indeks daya bedanya. Sekalipun soal terlalu sukar atau terlalu mudah, namun apabila memiliki daya pembeda dan statistik pengecoh yang memenuhi kriteria, soal tersebut dapat dipilih dan diterima sebagai salah satu alternatif soal pada suatu perangkat tes.
Berdasarkan kriteria tersebut, dapat diketahui bahwa hasil uji coba perangkat tes yang pertama menunjukkan bahwa sebanyak 36 butir soal dapat diterima, 13 butir soal harus direvisi, dan 1 butir soal ditolak. Hasil uji coba perangkat tes yang kedua, yang merupakan perangkat tes pertama yang direvisi, menunjukkan bahwa 36 butir soal diterima, 12 butir soal harus direvisi jika ingin digunakan kembali, dan 2 butir soal ditolak atau harus diganti dengan soal yang baru. Yang menyebabkan soal harus direvisi adalah daya bedanya yang jelek sehingga tidak mampu membedakan subjek yang berkemampuan tinggi dengan yang berkemampuan rendah, sedangkan yang menyebabkan soal harus ditolak adalah karena daya bedanya negatif, atau terjadi kesalahan pada soal tersebut.
Secara keseluruhan, distraktor atau pengecoh, yakni pilihan jawaban selain kunci jawaban, pada butir-butir soal pada kedua perangkat tes tersebut dapat dikatakan cukup efektif karena sebagian besar di antaranya memiliki nilai biserial negatif.
Sementara itu, berdasarkan hasil analisis dengan program Iteman terhadap dua kelompok uji coba dengan dua perangkat tes yang berbeda dapat diketahui bahwa rerata tingkat kemampuan memahami teks berbahasa Inggris pada kelompok uji coba pertama adalah sebesar 27,444 (54,89%) dan pada kelompok uji coba yang kedua adalah sebesar 23,614 (47,23%). Hasil ini menunjukkan bahwa tingkat kemampuan memahami teks berbahasa Inggris pada mahasiswa Prodi D3 Bahasa Inggris Jurusan Tarbiyah STAIN Jurai Siwo Metro berada di bawah angka 60%, atau dapat dikatakan relatif rendah.
Selanjutnya, pada beberapa keterampilan membaca (microskills), kedua kelompok uji coba memiliki tingkat pencapaian di bawah 50%, atau dapat dikatakan mahasiswa mengalami kesulitan pada microskills tersebut. Pada kelompok uji coba yang pertama, hanya pada empat microskills mahasiswa mengalami kesulitan. Sementara itu, pada kelompok uji coba kedua, sebagian besar diantaranya, yaitu pada sembilan microskills, mahasiswa mengalami kesulitan. Berdasarkan data-data tersebut, dapat dilakukan perbaikan atau peningkatan kemampuan dengan memberikan fokus lebih terhadap keterampilan-keterampilan di mana mahasiswa mengalami kesulitan.

V. KESIMPULAN
Berdasarkan hasil analisis data dan pembahasan, maka dapat ditarik beberapa kesimpulan sebagai berikut:
1. Dari 13 indikator keterampilan membaca yang ingin diukur, ada 1 indikator yang tidak dapat terukur dengan baik karena semua butir soalnya tidak mengalami perbaikan karakteristik internal walaupun telah direvisi, yaitu indikator nomor 10 (understanding conceptual meaning), sehingga pada instrumen evaluasi yang dikembangkan hanya 12 indikator keterampilan membaca yang dapat digunakan untuk mengukur kemampuan memahami teks berbahasa Inggris mahasiswa.
2. Tingkat validitas isi instrumen evaluasi kemampuan membaca yang berupa perangkat tes pilihan ganda dianggap cukup baik karena dikembangkan berdasarkan pedoman telaah butir soal dari Puslitbang Sisjian.
3. Tingkat validitas konstruk perangkat tes yang dikembangkan dapat dikatakan cukup baik, karena dari hasil kedua uji coba, nilai KMO berada di atas 0,5 yaitu 0,558 pada uji coba pertama dan 0,560 pada uji coba kedua, nilai Bartlett pada kedua uji coba 0,000 yang berarti sangat signifikan, walaupun kumulatif nilai variannya masih kurang dari yang diharapkan karena berada di bawah 50%, yaitu 37,647% dan 40,133%.
4. Indeks konsistensi internal (Alpha) pada kedua perangkat tes adalah 0,726 dan 0,755, berarti tingkat reliabilitas kedua perangkat tes dapat dikategorikan cukup tinggi.
5. Karakteristik butir soal secara keseluruhan dapat dikatakan baik, dengan rerata tingkat kesukaran (Mean P) pada perangkat tes pertama sebesar 0,549 dan pada perangkat tes yang kedua 0,472, yang berarti kedua perangkat tes berada pada kategori sedang. Indeks daya bedanya menunjukkan rata-rata (Mean Biserial) 0,352 dan 0,356, berarti berada pada kategori baik.
6. Setelah dianalisis, pada perangkat tes pertama, sebanyak 36 butir soal diterima, 13 butir soal harus direvisi, dan 1 butir soal ditolak, sedangkan pada perangkat tes kedua, sebanyak 36 butir soal diterima, 12 butir soal harus direvisi, dan 2 butir soal ditolak.
7. Berdasarkan hasil analisis, rerata tingkat kemampuan merespons teks bacaan pada kelompok uji coba pertama adalah 54,89% dan pada kelompok uji coba kedua adalah 47,23%, sehingga dapat dikatakan mahasiswa memiliki tingkat kemampuan memahami teks berbahasa Inggris yang relatif rendah karena berada di bawah 60%.
8. Pada sejumlah keterampilan membaca, mahasiswa memiliki kemampuan merespons di bawah 50%, sehingga pada keterampilan tersebut mereka dianggap mengalami kesulitan; pada kelompok uji coba pertama, kesulitan dialami pada 4 (empat) indikator keterampilan membaca dan pada kelompok uji coba kedua, kesulitan dialami pada 9 (sembilan) indikator.

DAFTAR PUSTAKA

Aiken, Lewis R., Psychological Testing and Assessment, Toronto: Allyn & Bacon Inc., 1988.

Akhadiah, Sabarti, Evaluasi dalam Pengajaran Bahasa, Jakarta: Depdikbud Dirjen Dikti, 1988.

Alderson, Charles, Assessing Reading, New York: Cambridge University Press, 2000.

Allen, Marry J. & Yen, Wendy M., Introduction to Measurement Theory, Monterey: Brooks/Cole Publishing Company, 1979.

Arikunto, Suharsimi, Dasar-dasar Evaluasi Pendidikan, Jakarta: Bina Rupa Aksara, 1995.

Bachman, Lyle F., Fundamentals Considerations in Language Testing, Oxford: Oxford University Press, 1990.

Brown, Douglas H., Principles of Language Learning and Teaching, London: Prentice Hall, Inc., 2000.

Gronlund, Norman E., Constructing Achievement Test, London: Prentice-Hall Inc., 1990.

Lado, Robert, Language Teaching: A Scientific Approach, New Delhi: McGraw-Hill Publishing Co. Ltd., 1977.

Mehrens,William & Lehman, Irvin J., Measurement and Evaluation, New York: Holt, Rinehart Winston Inc., 1973.

Naga, Dali S., Pengantar Teori Sekor pada Pengukuran Pendidikan, Jakarta: Gunadarma, 1992.

Walsh, Vincent, Reading Scientific Texts in English, Washington: Information Agency, 1982.

____________, Pedoman Penelaahan, Perbaikan, dan Perakitan Soal, Jakarta: Depdiknas Puslitbang Sisjian, 1989.