Microsoft Word - EPAAv21n1inprocess_fnl.docx Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 24-03-2012 Facebook: /EPAAAAPE Revisiones recibidas: 06-06-2012 Twitter: @epaa_aape Aceptado: 13-07-2012 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Arizona State University Volumen 21 Número 1 7 de enero de 2013 ISSN 1068-2341 Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes Edna Luna Serrano y Vicente Arámburo Vizcarra Universidad Autónoma de Baja California México Citación: Luna Serrano, E. y Arámburo Vizcarra, V. (2013). Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes. Archivos Analíticos de Políticas Educativas, 21 (1). http://dx.doi.org/10.14507/epaa.v21n1.2013 Resumen: Este trabajo estudia la relación entre los puntajes de evaluación otorgados por los estudiantes a la efectividad docente y las variables asociadas a las características del profesor y del curso: escolaridad, tipo de contrato, reconocimiento académico y experiencia de los profesores; así como área de conocimiento y tamaño del grupo. La muestra fueron 4,482 cursos impartidos por 826 profesores que fueron evaluados por los estudiantes 108,422 veces durante seis periodos escolares en una universidad pública mexicana. El estudio del comportamiento de dichas variables se realizó mediante análisis estadísticos descriptivos y comparativos (Anova y pruebas post-hoc). Los resultados muestran la manera diferencial de comportarse de las variables dependiendo del área del conocimiento, lo que da cuenta de la complejidad de la actividad docente y la dificultad de emitir políticas generales que atiendan las particularidades del contexto pedagógico del profesorado. La investigación presenta evidencias empíricas que abonan a la discusión sobre la evaluación de la docencia en México y la valoración de las políticas educativas dirigidas al profesorado de educación superior. Palabras clave: Evaluación Docente; Educación Superior; Política Educativa aape epaa Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 2 Variables associated to university instructors effectiveness based on the student’s evaluations Abstract: This project considers the relationship between the teaching effectiveness ratings and the variables associated to the (a) teacher and (b) group characteristics, such as: (a) education, work contract, external certification, years of teaching experience; and (b) academic field and group size. The sample was 4,482 courses, taught by 826 teachers that were evaluated by students 108,422 times, along six semesters at a public university in Mexico. The study was analyzed through descriptive and comparative statistic methods (Anova and post-hoc tests). The results show how the variables differ depending on the academic field, which reconfirms the teaching activity complexity and the difficulty to generate general policies that serve the particularities of every teacher’s pedagogical context. This research presents empirical evidence that supports the discussion about teaching evaluation in Mexico and the assessment of the education policies that are targeted to the higher education teachers. Key words: Teacher Evaluation; Higher Education; Educational Policy As variáveis relacionadas à competência pedagógica dos professores na opinião dos estudantes Este trabalho estuda a relação entre os resultados de avaliação sobre a eficácia do professor atribuídos pelos estudantes e as variáveis associadas com as características do professor e do grupo: a educação, o tipo de reconhecimento emprego, acadêmica e experiência dos professores, bem como a área conhecimento e tamanho do grupo. A amostra foi de 4,482 cursos ministrados por 826 professores que foram avaliados por estudantes 108,422 vezes durante seis períodos escolares de uma universidade mexicana pública. O estudo dessas variáveis foi realizada utilizando uma análise estatística descritiva e comparativa (ANOVA e post-hoc testes). Os resultados mostram como as variáveis se comportam de forma diferente, dependendo da área de conhecimento, indicando a complexidade do ensino e da dificuldade de gerar políticas gerais que atendam as particularidades dos contextos pedagógicos dos professores. A pesquisa apresenta evidências empíricas que focam a discussão da avaliação do ensino no México e na avaliação de políticas educacionais destinadas aos professores do ensino superior. Palavras-chave: Avaliação de Professores; Ensino Superior; Política de Educação Introducción1 Un acuerdo generalizado en el ámbito educativo es que los docentes tienen un papel determinante en el aumento de la calidad de la enseñanza. En el mismo sentido, se reconoce la necesidad de que los programas de evaluación del desempeño del profesor contribuyan a su profesionalización y, con ello, mejorar la formación profesional. En esta perspectiva la evaluación de la docencia es una práctica social que puede fungir como un recurso fundamental en la mejora de los procesos educativos, siempre y cuando sus resultados orienten la reflexión y cuestionamiento de las características esenciales de las experiencias de enseñar y aprender; dado que la evaluación no posee características intrínsecas que aseguren beneficios, por el contrario un programa de evaluación inadecuado puede derivar en efectos nocivos para la comunidad escolar (Red Iberoamericana de Investigadores de la Evaluación de la Docencia, 2008). La docencia se conceptualiza como una actividad compleja, multidimensional e incierta, debido a los diferentes elementos que intervienen en los procesos de enseñanza y aprendizaje 1 Este trabajo se realizó gracias al financiamiento otorgado por el Consejo Nacional de Ciencia y Tecnología (CONACYT), al proyecto 49052. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 3 (Schoenfeld, 1998; Coll & Solé, 2007). Además, la investigación educativa considera a la enseñanza efectiva como un constructo hipotético difícil de validar y de evaluar, en el cual, por un lado, se deben identificar las particularidades específicas de los profesores que contribuyen al desarrollo cognitivo y afectivo de los estudiantes y, por el otro, se requiere considerar las características particulares del contexto institucional y pedagógico en los que se desarrolla el proceso de enseñanza- aprendizaje (v. gr. Murray, 2007). Los cuestionarios de evaluación de la docencia con base en la percepción de los estudiantes son la estrategia de evaluación más utilizada en Norteamérica, Europa y Asia (Theall & Franklin, 2000; Seldin, 1993). Los principales propósitos asociados a su uso se relacionan con: a) el diagnóstico y la retroalimentación de los profesores para mejorar el proceso de enseñanza, b) medidas de la efectividad docente para la toma de decisiones administrativas, c) información para los estudiantes para la selección de cursos y maestros, y d) investigación sobre la enseñanza (Marsh & Dunkin, 1997). En esta perspectiva los puntajes pueden ser útiles para los docentes, los estudiantes y los administradores. En México, las políticas de evaluación dirigidas a mejorar la calidad de la enseñanza del profesorado de educación superior han privilegiado por un lado, de manera implícita, la figura del profesor investigador y la habilitación académica a través de la obtención de grados académicos y, por otro, la asociación de los programas de evaluación de la docencia a la obtención de estímulos económicos y reconocimiento institucional. En este contexto, los cuestionarios de evaluación de la docencia con base en la apreciación estudiantil son la estrategia usada de forma generalizada en las universidades, y en la mayoría de los casos el único procedimiento mediante el cual se evalúa a los profesores (Rueda, Luna, García-Cabrero & Loredo, 2010). Sin embargo, su uso como fuente de investigación sobre la docencia es incipiente. Así, a pesar de los logros alcanzados en los últimos 20 años de evaluación del profesorado no se ha concretado el ideal de atender el mejoramiento de la calidad de la enseñanza a través de los procesos de evaluación docente. En este contexto el propósito central del estudio es analizar la influencia de las variables asociadas a las características del profesor y del curso en los puntajes de evaluación de la docencia por los estudiantes, con el fin de identificar desde la satisfacción del alumnado las variables que en su opinión inciden sobre la competencia docente. Esto como una forma de aportar información empírica para una mayor comprensión de las condiciones que facilitan la competencia docente. Evaluación de la eficacia docente Los puntajes de evaluación de la docencia por los estudiantes se reconocen como una medida directa de un producto de la actividad docente, la satisfacción de los estudiantes con la enseñanza. Si bien no ofrecen una medida directa de productos valiosos de la enseñanza como pueden ser los aprendizajes, expectativas, creencias, actitudes, valores e interés hacia el objeto de estudio de los estudiantes, sí proporcionan una medida indirecta de la mayoría de los productos de la enseñanza, porque proveen un criterio básico en los juicios que infieren la medida en que el docente afecta la enseñanza (Abrami, d’Apollonia & Rosenfield, 2007). En este sentido, en la búsqueda de respuestas sobre la enseñanza efectiva la investigación ha utilizado los puntajes para indagar las variables relacionadas con el profesor que inciden sobre la enseñanza. En torno a los cuestionarios de evaluación de la docencia por los alumnos cabe destacar los siguientes aspectos: consideran que la enseñanza efectiva es multidimensional (Marsh, 2007), por lo tanto, la mayoría de los cuestionarios de evaluación propone incluir las diferentes dimensiones que la conforman (Marsh & Dunkin, 1997); el estudio sobre las dimensiones relacionadas con la efectividad docente ha permitido reconocerlas y clasificarlas en orden de importancia (Feldman, 1997); los puntajes de los cuestionarios son confiables y estables, relativamente válidos a través de una variedad Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 4 de indicadores de la enseñanza efectiva, y no afectados de manera significativa por una diversidad de sesgos potenciales (Abrami, d’Apollonia, & Cohen, 1990; Marsh, 2007). Una línea de investigación sobre los cuestionarios desarrollada de manera prioritaria en el ámbito anglosajón ha enfatizado el estudio del comportamiento de las variables extra clase y la manera en que éstas inciden en la evaluación de los estudiantes al profesor. Una clasificación de dichas variables identifica las siguientes cinco categorías: 1) administración del cuestionario, 2) características del curso, 3) características del profesor, 4) características de los estudiantes y características del instrumento (Braskamp & Ory, 1994). En lo que toca a las variables asociadas a las características del profesor en: escolaridad, no se reportan diferencias estadísticamente significativas entre el grado académico y categoría de los profesores y los puntajes de los estudiantes (Feldman, 1997); experiencia docente, se ha encontrado que los años de experiencia en general no se relacionan con los puntajes al desempeño docente (Braskamp & Ory, 1994; Marsh & Dunkin, 1997); tipo de contrato, de manera general se ha demostrado que no existe relación entre efectividad docente y la categoría académica (entendida como el tipo de contrato laboral que tiene el profesor: tiempo completo, por horas, con o sin definitividad), sin embargo, Feldman (1997) encontró que los profesores con categoría académica alta obtienen mejores evaluaciones en dimensiones relacionadas con el conocimiento de la materia. En cambio, los docentes con categoría académica baja obtienen mejores evaluaciones en dimensiones relacionadas con la promoción de la discusión, justicia, preocupación por los alumnos y ayuda. Respecto a la Productividad en investigación los estudios reportan que no existen evidencias de una relación negativa entre efectividad en la enseñanza y la productividad; la mayor parte de las investigaciones encontraron relaciones no significativas, y algunos trabajos reportan que se correlaciona mínimamente con los puntajes (Marsh, 1987; Centra, 2002; Feldman, 1987; y Braskamp & Ory, 1994). Al respecto Marsh (2007) concluye que los hallazgos de la investigación apuntan a que existe una correlación positiva cero o baja entre la productividad y los puntajes de los estudiantes como medidas de la enseñanza efectiva. Por lo tanto, estos resultados sugieren que los indicadores sobre la productividad en investigación no pueden ser utilizados como formas para inferir la efectividad en la docencia o viceversa. En la investigación relacionada con las características del curso, respecto al área de conocimiento, diversos estudios demuestran diferencias estadísticamente significativas entre las disciplinas en relación con los puntajes de evaluación al docente. Cashin (1990) utilizó los datos reportados por dos de los cuestionarios de evaluación de la docencia más utilizados en Estados Unidos y Canadá, el Instructional Development and Efectiveness Assessment (IDEA) y el Student Instructional Report (SIR) del Educational Testing Service, encontró que disciplinas como música, lenguas extranjeras y artes plásticas obtuvieron los puntajes más altos en la evaluación por los estudiantes; historia, comunicación y humanidades se ubicaron en el rango medio-alto; disciplinas como sociología, agricultura, filosofía, biología y ciencias sociales en el nivel medio-bajo; y ciencias computacionales, física, economía, ciencias naturales e ingenierías se encuentran en el rango más bajo. En otra investigación realizada en la Universidad de Calgary, Canadá, con base en los puntajes de 371,131 estudiantes, se encontró que las asignaturas de ciencias sociales recibieron puntajes al desempeño docente significativamente más altas que las de los cursos de ciencias naturales (Beran & Violato, 2005). En relación con el tamaño del grupo, la mayoría de los estudios realizados coinciden en que éste influye moderadamente en los puntajes que miden la efectividad del profesor. La tendencia es encontrar puntajes más altos en clases de pocos alumnos. Los grupos de menor tamaño son mejor evaluados que los de mayor tamaño; asimismo, los grupos de menor y mayor tamaño reciben mejores evaluaciones que los de tamaño mediano (Feldman, 1997). Es importante señalar que estos estudios han sido desarrollados para los cuestionarios propios de universidades de Estados Unidos de América, Australia y Canadá. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 5 La evaluación de la docencia en la educación superior de México La baja calidad educativa es un problema que el Estado mexicano ha reconocido de manera persistente de tiempo atrás (desde 1979 el Plan Nacional de Educación Superior se propuso elevar los niveles de calidad de la educación superior, propósito que se mantuvo en los subsecuentes). Con este antecedente en la década de los noventa se puso a la calidad de la educación en el centro de la agenda política de la educación superior, como eje de la política. Aquí, el término políticas hace referencia “a decisiones o cursos de acción respecto a problemas determinados” (Cox, 1993, p. 89). De acuerdo con Cox lo central de la definición es la referencia a un problema sectorial. En este sentido, las políticas representan las estrategias de decisión y de acción para resolver los problemas sectoriales del Estado. En consecuencia, las políticas públicas en educación superior se definen como “los cursos de acción que pactan los distintos actores participantes en este nivel del sistema educativo nacional y que son dirigidos e instrumentados por el gobierno en la esfera de su competencia” (Mendoza, 2002, p. 20). Una política de Estado se caracteriza por su estabilidad temporal que trasciende a un gobierno en particular (Latapí, 2004). En paralelo en las dos últimas décadas, con el ascenso del Estado evaluador (Neave, 1990), se construye e implementa la política de Estado de evaluación del subsistema de educación superior para mejorar la calidad y la pertinencia social de los procesos educativos. En respuesta a diferentes grupos de interés con razones diversas. En el contexto destaca el fenómeno del crecimiento explosivo de las matrículas e instituciones, además de argumentos como que la calidad ayuda a aumentar la competitividad económica, a mejorar los indicadores cualitativos de la ciudadanía y ampliar las condiciones de empleabilidad. Desde esta perspectiva, la educación como fenómeno social se considera el medio más potente para alcanzar el bienestar individual y colectivo; como una estrategia de fortalecimiento de todas las potencialidades nacionales, como proceso de disminución de desigualdades y elevación de la justicia social. Entre los datos que encuadran el debate se tiene que el Censo Nacional de Población de 2010 aproxima la tasa actual de cobertura bruta de educación superior en 29.4 por ciento. En cifras de la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) el total nacional de estudiantes inscritos en licenciatura universitaria y tecnológica es de 2,232,189 (los datos pertenecen al ciclo escolar 2007-2008) (ANUIES, 2008). Se encuentran 2,107 Instituciones de Educación Superior (IES) registradas en el país, de las cuales el 87% corresponde al tipo de instituciones con un perfil centrado de manera prioritaria en la enseñanza y en el nivel de licenciatura (ANUIES, 2005). Dadas estas condiciones de predominio de la actividad docente y la enseñanza profesionalizante es ineludible la importancia de esta actividad y su evaluación. Al ubicar a la evaluación como instrumento central de las políticas se ha presentado un notable incremento de programas y organismos responsables de diseñar e instrumentar diferentes políticas de evaluación de la educación superior. Estas políticas han surgido como una acción estratégica y como el medio privilegiado para mejorar la calidad de la educación. Las estrategias de evaluación de largo alcance que se relacionan de manera directa con los profesores son: el Sistema Nacional de Investigadores (SNI) instituido en 1984, el Programa de Estímulos al Desempeño Académico establecido de manera generalizada a partir de 1990, y el Programa de Mejoramiento del Profesorado (PROMEP) desde 1996. De manera indirecta se encuentran la acreditación de programas de licenciatura y posgrado; y, el Programa Integral de Fortalecimiento Institucional (PIFI), porque en ambos casos la normativa que los regula plantea como un indicador de evaluación a la “capacidad académica”. La cual se refiere, por un lado, a las características de los profesores en términos de: proporción de profesores de tiempo completo en la planta docente, porcentaje con posgrado, reconocidos con Perfil PROMEP, y registrados en el Sistema Nacional de Investigadores; y por otro, al grado de consolidación de los cuerpos académicos. Un común denominador de todos Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 6 es que tienen la función de diferenciar y reconocer el trabajo desempeñado por las instituciones educativas y los académicos y asocian el reconocimiento con la oportunidad de acceder a importantes ingresos complementarios. El Sistema Nacional de Investigadores (SNI) fue diseñado expresamente para recompensar las tareas de investigación. El SNI inició en 1984, con la finalidad de compensar el poder adquisitivo de los académicos de alto nivel que habían sido severamente castigados en su salario. Por lo tanto, desde su origen tiene el propósito de evaluar la productividad en investigación. Si bien se pide que el investigador demuestre actividad docente tanto en la impartición de cursos como en dirección de tesis (de manera específica en la formación de recursos de alto nivel). Pertenecer al Sistema representa formar parte de un circuito de prestigio en las universidades. Se estima que para finales del sexenio (2006-2012) el SNI contará con 19,850 (CONACYT, 2007). Los programas de estímulos al personal docente iniciaron su operación en las IES del país a partir de 1990, con su implementación se instituyeron los procesos de evaluación a los académicos. Si bien el programa es operado por cada institución, la definición de los criterios y procedimiento específicos de evaluación de cada universidad son normados por lineamientos generales de operación formulados por la Secretaría de Hacienda y Crédito Público. Tiene el propósito de recompensar de manera diferencial los distintos niveles de calidad de las labores de los académicos, con la particularidad de que asocia los resultados de evaluación a estímulos económicos al margen del salario tabular base. El PROMEP se estableció en 1996, surgió como un medio para mejorar la calidad de la educación superior a partir de: propiciar la formación académica sólida de los profesores, la distribución equilibrada de las actividades académicas de acuerdo a cada subsistema de educación superior, y su asociación en cuerpos académicos identificados con una línea de investigación o generación del conocimiento definida (SEP, 2010). En el marco de este programa, el gobierno otorga becas nacionales y al extranjero para la realización de estudios de posgrado a los docentes de tiempo completo, apoya la contratación de profesores que cuenten con el grado de maestría o doctorado, acredita al profesorado a través del reconocimiento al perfil deseable (quienes demuestran contar con posgrado y realizar de manera equilibrada las funciones de docencia, investigación, tutorías y gestión académica), y facilita estímulos económicos que incentivan el trabajo coordinado en cuerpos académicos. Hasta el año 2011, el PROMEP otorgó el reconocimiento de perfil deseable a 19,691 profesores de tiempo completo y entregó 7,741 becas a profesores de universidades públicas para realizar estudios de posgrado, de los cuales 5,342 fueron dentro del país y 2,399 en el extranjero (SEP, 2012). Al respecto, cabe considerar que el número de profesores a quienes se destinan estos programas representa una proporción menor al grueso del personal docente de las universidades públicas. En 2010, se registraron casi 330,000 docentes en educación superior, de los cuales 81,550 (27%) son profesores de tiempo completo (Tuirán & Avila, 2012). Por tanto, los alcances de este programa han impactado sólo a poco más de la cuarta parte del personal, mientras que la gran mayoría, en este caso el personal de asignatura, en quienes principalmente descansa la actividad docente ha quedado al margen de estos beneficios. De acuerdo con el PROMEP se han logrado importantes avances en el incremento de profesores de tiempo completo y el número de los mismos con estudios de posgrado [69%] (Tuirán & Avila, 2012). Otro aspecto, no menos importante es cómo las políticas de evaluación del personal académico han puesto énfasis en moldear una figura académica interesada en las actividades de investigación (función que ha sido privilegiada), desalentando la función docente, ya que para esta última no se cuentan con mecanismos claros para evaluarla y, sobre todo, para revalorar su importancia e incentivarla. Al respecto se precisa: Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 7 A nivel mundial se constata el predominio de la investigación sobre la docencia a tal grado que la evaluación de la docencia se realiza en parte, a través de verificar la producción científica de los profesores, situación que pone en evidencia la suposición de que a través de la contribución a la construcción del conocimiento sistemático se enriquecerá de forma automática la calidad de la enseñanza y el aprendizaje; hipótesis que está aún lejos de comprobarse (Rueda, Luna, García & Loredo, 2010, p. 91). Además, hay que destacar que el perfil del académico orientado principalmente hacia la investigación no coincide con el perfil de la gran mayoría del personal que labora en las universidades y tampoco con la función profesionalizante del grueso de las IES del país (Canales & Luna, 2003). Una síntesis de la situación que guarda la evaluación de la docencia en las IES de México se encuentra en el diagnóstico realizado por Rueda et al. (2010), del cual se destaca: en cuanto a los propósitos de la evaluación, en la mayoría de las universidades los procesos de evaluación se relacionan con fines administrativos; la estrategia de evaluación más utilizada es el cuestionario de opinión de los estudiantes en virtud de que se aplica de forma sistemática y masiva en prácticamente todas las universidades, se encontró que el principal uso de los resultados es proporcionar información a instancias administrativas y en menor medida a los profesores. Una apreciación generalizada es que los resultados de la evaluación docente no se consideran a la hora de diseñar e instrumentar programas de formación docente. El contexto del studio El presente estudio se realizó en la Universidad Autónoma de Baja California, institución creada en 1957. De acuerdo con el informe de Rectoría del año 2010, la UABC atiende a 47,878 estudiantes distribuidos en 119 programas educativos, de los cuales 63 corresponden a licenciatura y 56 a posgrado. El personal académico está conformado por 4,939 empleados, de los cuales 1,479 son académicos de tiempo completo, 117 de medio tiempo, y 3,142 profesores de asignatura. El 55% de los profesores de tiempo completo cuenta con el perfil PROMEP y un 17% forma parte del Sistema Nacional de Investigadores (Estrella, 2010). La evaluación de la enseñanza con base en los cuestionarios de evaluación docente contestados por los alumnos, inició de manera sistemática en 1988, con el propósito de obtener información para reorientar las acciones de formación y desarrollo del personal académico. En 1994 se integraron los puntajes de los alumnos al profesor como uno de los rubros que conforman el programa de estímulos económicos al personal académico, lo cual dio un uso distinto a los resultados de lo originalmente planeado. A partir de esa fecha, los reportes de resultados de la evaluación se destinan por una parte, a cada unidad académica para conocimiento de los profesores y los directivos y, por otra, a una oficina de la administración central para ser incorporados al expediente del programa de estímulos económicos de cada maestro. De esta manera, en la institución los puntajes son utilizados primordialmente con fines de control administrativo. La administración del cuestionario depende de una oficina central de la universidad. Los estudiantes contestan el cuestionario al final de cada periodo semestral de manera computarizada. Un dato que muestra el nivel de participación y el cúmulo de información generada es el hecho de que en el primer periodo escolar de 2008 un total de 28,210 estudiantes (74.6% de la matrícula) evaluaron a 3,629 profesores (S. Osuna. Comunicación personal, 20 de octubre de 2008). En este contexto, la relevancia del presente trabajo radica en analizar evidencias empíricas con el fin de identificar y valorar desde la percepción de los alumnos, el impacto de las variables Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 8 objeto de estudio en la evaluación de la efectividad docente. De esta manera, se valoran variables asociadas a la calidad de la docencia por las políticas educativas en México con el fin de aportar conocimiento a la discusión sobre la pertinencia de dichas políticas. Los objetivos de este trabajo son: Identificar las características del desempeño docente en la evaluación de los estudiantes en relación con las variables asociadas al profesorado: escolaridad, tipo de contrato, experiencia docente, reconocimientos académicos (PROMEP y SNI); y del curso: comparar los puntajes a la efectividad docente por área de conocimiento con las variables asociadas a las características del profesor (escolaridad, tipo de contrato, experiencia docente, reconocimiento académico) y el tamaño del grupo. Método Fuente de datos y muestra La población objeto de estudio fueron los cursos y los docentes de la Universidad Autónoma de Baja California (UABC), de los programas de licenciatura agrupados en las siguientes cinco áreas del conocimiento: Área de ingeniería y tecnología: Ingeniería Civil, Ingeniería Electrónica, Ingeniería Industrial, Ingeniería en Computación, y Licenciado en Ciencias Computacionales (campus Ensenada). Área de ciencias naturales y exactas: Licenciatura en Oceanología, Licenciatura en Física y Licenciatura en Biología (campus Ensenada). Área de ciencias administrativas y contables: Licenciado en Administración de Empresas, Contador Público y Licenciado en Informática (campus Ensenada). Área de ciencias de la salud: Licenciatura en Medicina y Licenciatura en Odontología (campus Tijuana). Área de humanidades: Licenciatura en Filosofía, Licenciatura en Historia, Licenciatura en Lengua y Literatura de Hispanoamérica y Licenciatura en Ciencias de la Comunicación (campus Tijuana). Selección de la muestra. Se estableció una muestra intencional conformada de acuerdo con los siguientes criterios: a) Se seleccionaron los docentes con registros de evaluación por los alumnos en los programas de licenciatura de las áreas del conocimiento anteriormente descritas, de los dos periodos escolares de los años 2006, 2007 y 2008. b) Se incluyeron únicamente los cursos que hubieran sido evaluados por un mínimo de 10 estudiantes (determinación tomada en atención a los índices de confiabilidad de los puntajes de los estudiantes propuestos por Centra, 1993). La muestra quedó conformada por: 4,482 cursos impartidos por 826 profesores que fueron evaluados por 108,4222 estudiantes durante los dos periodos escolares de los años 2006, 2007 y 2008. La muestra3 relacionada con las variables estudiadas se presenta en la Tabla 1. 2 Este número es significativamente mayor a la población de la UABC, dado que cada estudiante contesta más de una vez el cuestionario. 3 Las submuestras por área del conocimiento se observan en el apartado de resultados de las Tabla 4 a 8. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 9 Tabla 1. Conformación de la muestra Escolaridad n % No licenciatura 323 7 Licenciatura 2536 57 Maestría 1183 26 Doctorado 440 10 Reconocimientos n % Sin distinción 4020 90 PROMEP 291 6 SNI 84 2 PROMEP y SNI 87 2 Tipo de contrato n % Asignatura 1877 42 Técnico académico 335 8 Tiempo completo 1761 39 No definida 509 11 Experiencia docente n % 1 a 3 años 610 14 4 a 7 años 899 20 8 en adelante 2973 66 Tamaño del grupo n % Pequeño 1475 33 Mediano 2163 48 Grande 511 11 Muy grande 333 8 Instrumento y variables Los puntajes fueron colectados mediante el Cuestionario de Evaluación de la Docencia, diseñado ex profeso para la UABC. El instrumento consta de 20 reactivos, 2 de respuesta cerrada y 18 tipo Likert. Además, abarca ocho dimensiones de la enseñanza: estructuración de objetivos y contenidos, claridad en la instrucción, organización de la clase, estrategias de instrucción, cualidades de interacción, evaluación del aprendizaje y método de trabajo. Los estudiantes contestan el cuestionario al final de cada periodo semestral de manera computarizada. Los puntajes se concentran en una base de datos de la institución (administración central), quien se encarga de procesarlos y elaborar los reportes por profesor y asignatura. En cuanto a las características psicométricas del instrumento son: se adscribe a la teoría cognitiva del aprendizaje, registra un índice de confiabilidad de 0.94 y un porcentaje de varianza explicada de 75% (Luna & Valle, 2005). La descripción y clasificación de las variables estudiadas se presenta en la Tabla 2. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 10 Tabla 2. Descripción y clasificación de variables Variable dependiente Variables independientes Clasificación Promedio general del curso al desempeño docente Periodos escolares 2006-1, 2006-2, 2007-1, 2007-2, 2008-1 y 2008-2. Áreas del conocimiento Ingeniería y tecnológicas Ciencias naturales y exactas Ciencias administrativas y contables Ciencias de la salud Humanidades Escolaridad Licenciatura, maestría, doctorado Tipo de contratación Profesor de asignatura, técnico académico, profesor de tiempo completo Reconocimiento académico Sin distinción, PROMEP, SNI, ambos Experiencia docente De 0 a 3 años (noveles), de 4 a 7 (medina experiencia), a partir de 8 (mayor experiencia) (Centra,1993 ). Tamaño del grupo 1 a 14 alumnos (pequeño) 15 a 30 (mediano) 31 a 50 (grande) Más de 51 (muy grande) (Nasser & Hagtvet, 2006 Procedimiento El estudio corresponde a un diseño retrospectivo, observacional, transversal, comparativo (Méndez, Namihira, Moreno & Sosa, 2001). El procedimiento se realizó en dos etapas. Etapa 1. Consistió en diseñar e instrumentar un programa de cómputo para procesar la información. Dado que los puntajes de los estudiantes se concentran en una base de datos de la institución se requirió un programa que permitiera obtener la información de esa base de datos, para procesarla y organizarla de acuerdo con las variables de interés de este estudio. Etapa 2. Se realizaron análisis descriptivos y comparativos. Estos análisis se ejecutaron en dos bloques: el primero, corresponde al estudio de las variables en el conjunto de la muestra; el segundo, se circunscribe al tratado de las variables en cada submuestra. De esta manera se identificó el comportamiento de las variables en la muestra total, y de forma particular en cada área del conocimiento. Los cálculos se realizaron mediante el paquete estadístico Statistical Package for the Social Sciences (SPSS) y los análisis fueron de tipo descriptivo y comparativo. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 11 Para el análisis descriptivo se calcularon las medias aritméticas y las desviaciones estándar de los puntajes al desempeño docente otorgados por los estudiantes en cada uno de los grupos que integran las variables objeto de análisis. En el análisis comparativo se contrastaron e identificaron las diferencias estadísticamente significativas entre promedios de los puntajes al desempeño docente, con las variables estudiadas. Para ello, se realizaron los siguientes análisis: 1) la prueba F-Leven, para detectar homogeneidad de varianza; 2) el análisis de varianza (ANOVA) de una vía, para comparar diferencias en las medias en más de dos variables; y 3) pruebas post-hoc para determinar en qué variables se presentan las diferencias y los niveles de significancia. En éstas últimas se aplicaron, a su vez, las pruebas de Tamhane y Dunnet T3 cuando no se asumió homogeneidad de varianza, y la prueba de Tukey en el caso contrario. Resultados Los resultados se muestran organizados en dos bloques: el primero corresponde a los resultados de la muestra, mientras que en el segundo se presentan los resultados de cada submuestra por área del conocimiento. Primeramente, en cada uno de los apartados se describen los resultados de los análisis comparativos considerando únicamente las variables donde se presentaron diferencias estadísticamente significativas; seguidos por las tablas correspondientes que contienen los resultados de los análisis descriptivos. Resultados correspondientes a la muestra Un primer resultado fue el comparar las medias de los puntajes entre los seis periodos escolares comprendidos en el estudio, los resultados muestran que no se presentan diferencias estadísticamente significativas entre dichos periodos (F=.625, p=.681). Lo anterior sugiere estabilidad de los puntajes otorgados a los profesores a través del tiempo. En el análisis comparativo de las evaluaciones a los profesores por las variables objeto de estudio, a través de ANOVA s y pruebas post hoc mostró diferencias estadísticamente significativas por: a) Área del conocimiento (F=77.9, p=.000). En la Tabla 3 se puede observar que la media más alta de valoración fue para Ciencias de la Salud alcanzando el 9.02, mientras que los profesores de las restantes áreas se ubicaron en el promedio de 8. También el área de humanidades presenta diferencias estadísticamente significativas en relación con Ciencias Administrativas e Ingenierías. b) Escolaridad (F=20.4, p=.000). La prueba post hoc indicó que la diferencia se presentó entre los cursos impartidos por profesores con licenciatura y el resto de los académicos con distinta escolaridad. La media más alta fue para los licenciados ( _ x =8.7). c) Tipo de contratación (F=13.4, p=.000). Las diferencias son entre los maestros de tiempo completo ( _ x =8.59) y los de asignatura ( _ x =8.69) (ver Tabla 4). d) Reconocimiento académico (F=7.7, p=.000). Los profesores con SNI reciben puntajes más altos ( _ x =9.0), y se observan diferencias significativas con los que no cuentan con ninguna distinción ( _ x =8.61) y con los que cuentan con perfil PROMEP ( _ x =8.51). Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 12 e) Experiencia docente (F = 39.5, p = .000). Los promedios de los puntajes de los profesores noveles (X=8.34) muestran diferencias significativas con los de mediana ( _ x =8.57) y mayor experiencia ( _ x =8.61). f) Tamaño del grupo (F = 5.9, p = .001) Los grupos pequeños (de 1 a 14 estudiantes) evalúan con mayores puntajes (X=8.69) el desempeño docente que los grupo medianos ( _ x =8.57), y los muy grandes ( _ x =8.56). Tabla 3. Descriptivos básicos de las variables que integran la muestra Área del conocimiento n % Media D.E. Ingenierías y Tecnológicas 1040 23 8.44 .83 Naturales y Exactas 726 16 8.54 .89 Administrativas y Contables 1426 32 8.48 .84 Ciencias de la Salud 953 21 9.02 .75 Educación y Humanidades 337 8 8.65 .94 Escolaridad n % Media D.E. No licenciatura 323 7 8.46 .86 Licenciatura 2536 57 8.70 .85 Maestría 1183 26 8.51 .86 Doctorado 440 10 8.50 .92 Tipo de contrato n % Media D.E. Asignatura 1877 42 8.69 .84 Técnico académico 335 8 8.58 .86 Tiempo completo 1761 39 8.59 .84 No definida 509 11 8.41 .97 Reconocimientos n % Media D.E. Sin distinción 4020 90 8.61 .87 PROMEP 291 6 8.51 .84 SNI 84 2 9.0 .90 PROMEP y SNI 87 2 8.7 .68 Experiencia n % Media D.E. 1 a 3 años 610 14 8.34 .96 4 a 7 años 899 20 8.57 .90 8 en adelante 2973 66 8.61 .82 Tamaño del grupo n % Media D.E. Pequeño 1475 33 8.69 .97 Mediano 2163 48 8.57 .83 Grande 511 11 8.60 .75 Muy Grande 333 8 8.56 .74 Resultados por área del conocimiento Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 13 Ingeniería y Tecnología. De las variables estudiadas en esta área del conocimiento únicamente se presentan diferencias estadísticamente significativas en Reconocimiento académico (F=4.2, p= .000), el análisis post hoc indica que los profesores que cuentan con SNI y PROMEP reciben puntajes más altos ( _ x =9.08) respecto a los que no tienen distinción y los que cuentan únicamente con PROMEP ( _ x =8.62) o con SNI ( _ x =7.95). Los resultados de los análisis descriptivos se observan en la Tabla 4. Tabla 4. Descriptivos básicos del área de Ingeniería Escolaridad n % Media D.E. No licenciatura 88 8 8.59 .62 Licenciatura 548 53 8.44 .79 Maestría 320 31 8.42 .93 Doctorado 84 8 8.38 .86 Tipo de contrato n % Media D.E. Asignatura 458 44 8.43 .75 Técnico académico 45 4 8.29 1.06 Tiempo completo 410 40 8.54 .86 No definida 127 12 8.23 .87 Reconocimientos n % Media D.E. Sin distinción 945 91 8.43 .82 PROMEP 76 7 8.62 .82 SNI 9 1 7.95 .93 PROMEP y SNI 10 1 9.08 .54 Experiencia n % Media D.E. 1 a 3 años 150 14 8.34 .95 4 a 7 años 274 26 8.38 .75 8 en adelante 616 60 8.50 .82 Tamaño del grupo n % Media D.E. Pequeño 202 19 8.40 .94 Mediano 634 61 8.46 .82 Grande 146 14 8.48 .77 Muy Grande 58 6 8.33 .70 Ciencias Naturales y Exactas. En esta área de conocimiento se encontraron diferencias estadísticamente significativas en los puntajes evaluativos de los profesores en las siguientes variables independientes: a) Reconocimiento académico (F=10.8, p= .000). El análisis post-hoc indica que profesores con SNI y ( _ x =8.96) con SNI y PROMEP ( _ x =8.83) reciben puntajes más altos, en relación a los que no cuentan con ninguna distinción y con los cuentan únicamente con PROMEP ( _ x =8.64). b) Experiencia docente (F= 14.35, p=.000). Los profesores con más de siete años de experiencia reciben los puntajes más altos ( _ x =8.62). Los resultados de los análisis descriptivos en Ciencias Naturales se observan en la Tabla 5. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 14 Tabla 5. Descriptivos básicos del área de Ciencias Naturales y Exactas Escolaridad n % Media D.E. No licenciatura 29 4.0 8.04 1.04 Licenciatura 194 27 8.59 .91 Maestría 259 36 8.46 .90 Doctorado 244 33 8.64 .83 Tipo de contrato n % Media D.E. Asignatura 92 13 8.55 .99 Técnico académico 69 9 8.61 .80 Tiempo completo 474 65 8.59 .83 No definida 91 13 8.19 1.07 Reconocimientos n % Media D.E. Sin distinción 543 75 8.46 .91 PROMEP 73 10 8.64 .81 SNI 51 7 8.96 .68 PROMEP y SNI 59 8 8.83 .68 Experiencia n % Media D.E. 1 a 3 años 66 9 8.07 .96 4 a 7 años 87 12 8.33 1.0 8 en adelante 573 79 8.62 .84 Tamaño del grupo n % Media D.E. Pequeño 550 76 8.54 .90 Mediano 172 23 8.52 .87 Grande 2 .3 8.59 .30 Muy grande 2 .3 9.32 .27 Ciencias Administrativas y Contables. Los ANOVA indicaron diferencias estadísticamente significativas en las evaluaciones a los maestros por las siguientes variables independientes: a) Escolaridad (F=19.2, p= .000). Los maestros con doctorado reciben las evaluaciones más bajas en relación a los otros grupos que integran la variable (ver Tabla 6). b) Tipo de contratación (F = 9.51 p=.000). Los académicos de asignatura reciben promedios significativamente superiores a los de tiempo completo ( _ x =8.54 vs _ x =8.35). c) Reconocimiento académico (F=3.35, p= .01). Los participantes sin ningún tipo de distinción reciben puntajes más altos que los que cuentan con algún reconocimiento. Los resultados de los análisis descriptivos en Ciencias Administrativas se observan en la Tabla 6. d) Experiencia docente (F= 24.05, p=.000). Los profesores con más de siete años de experiencia reciben los puntajes más altos ( _ x =8.59) en relación a los de poca ( _ x =8.23) y mediana experiencia ( _ x =8.32). Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 15 Tabla 6. Descriptivos básicos del área de Ciencias Administrativas y Contables Escolaridad n % Media D.E. No licenciatura 176 12 8.42 .91 Licenciatura 810 57 8.54 .80 Maestría 385 27 8.51 .80 Doctorado 55 4 7.66 1.0 Tipo de contrato n % Media D.E. Asignatura 607 42 8.54 .81 Técnico académico 158 11 7.72 .68 Tiempo completo 493 35 8.35 .86 No definida 168 12 8.40 .98 Reconocimientos n % Media D.E. Sin distinción 132 0 92.5 8.50 .85 PROMEP 90 6.38 8.22 .78 SNI 5 .35 8.28 .54 PROMEP y SNI 11 .77 8.21 .57 Experiencia n % Media D.E. 1 a 3 años 239 17 8.23 .95 4 a 7 años 283 20 8.32 .89 8 en adelante 904 63 8.59 .78 Tamaño del grupo n % Media D.E. Pequeño 184 13 8.42 1.12 Mediano 933 66 8.51 .80 Grande 233 16 8.45 .78 Muy Grande 76 5 8.34 .73 Ciencias de la Salud. Los análisis estadísticos indicaron diferencias significativas en las evaluaciones de los maestros según: a) Escolaridad (F=8.34, p= .000). Los profesores con maestría reciben puntajes más bajos, con relación a los que cuentan con licenciatura ( _ x =8.73 vs. _ x =9.08). b) Tipo de contratación (F = 7.24 p=.000). Los maestros técnicos académicos reciben promedios más bajos ( _ x =8.05) que los que tienen contrato de asignatura ( _ x =9.07), y de tiempo completo ( _ x =8.98). c) Reconocimiento académico (F=10.54, p= .000). El análisis post-hoc indicó que profesores que cuentan con SNI reciben puntajes más altos ( _ x =9.83) que los que no cuentan con alguna distinción ( _ x =9.02) y con los que cuentan con PROMEP ( _ x =8.77). d) Experiencia docente (F= 29.1, p=.000). Los profesores con mediana experiencia (de 4 a 7 años) reciben los puntajes más altos ( _ x =9.38) (ver Tabla 7). Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 16 e) Tamaño del grupo (F=22.67, p= .000). Los grupos pequeños evalúan con promedios más altos a sus profesores; en contraparte con los muy grandes reciben los puntajes más bajos. Consultar medias en la Tabla 7. Tabla 7. Descriptivos básicos del área de Ciencias de la Salud Escolaridad n % Media D.E. No licenciatura 9 .9 9.06 .88 Licenciatura 773 81.1 9.08 .74 Maestría 139 14.6 8.73 .75 Doctorado 32 3.4 9.02 .48 Tipo de contrato n % Media D.E. Asignatura 595 62 9.07 .78 Técnico académico 11 1 8.05 1.12 Tiempo completo 255 27 8.98 .61 No definida 92 10 8.99 .77 Reconocimientos n % Media D.E. Sin distinción 907 95 9.02 .75 PROMEP 31 3.4 8.77 .72 SIN 15 1.6 9.83 .098 PROMEP y SIN 0 0 0 0 Experiencia n % Media D.E. 1 a 3 años 95 10 8.78 .80 4 a 7 años 178 19 9.38 .57 8 en adelante 680 71 8.96 .75 Tamaño del grupo n % Media D.E. Pequeño 373 39 9.23 .78 Mediano 265 28 9.0 .72 Grande 126 13 8.98 .52 Muy Grande 189 20 8.69 .73 Área de Humanidades. Se presentaron diferencias estadísticamente significativas en las evaluaciones a los académicos según: a) Tipo de contratación (F = 5.07 p=.001). Los maestros con categoría de técnicos académicos obtienen puntajes más bajos ( _ x =8.48) que los que tienen contrato de asignatura ( _ x =8.65) y de tiempo completo ( _ x =8.84). b) Reconocimiento académico (F=3.21, p= .02). El análisis post-hoc indica que profesores que cuentan con PROMEP reciben puntajes más altos ( _ x =8.92), que los que cuentan con SNI ( _ x =8.15). c) Experiencia docente (F= 5.003, p=.007). Los profesores con mayor experiencia reciben los puntajes más altos (consultar medias en Tabla 8). Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 17 Tabla 8. Descriptivos básicos del área de Humanidades Escolaridad n % Media D.E. No licenciatura 21 6 8.53 .73 Licenciatura 211 63 8.69 .99 Maestría 80 24 8.58 .85 Doctorado 25 7 8.63 .93 Tipo de contrato n % Media D.E. Asignatura 125 37 8.65 .91 Técnico académico 52 16 8.48 1.0 Tiempo completo 129 38 8.84 .86 No definida 31 9 8.13 .95 Reconocimientos n % Media D.E. Sin distinción 305 90.5 8.64 .94 PROMEP 21 6.2 8.92 .61 SIN 4 1.2 8.15 1.07 PROMEP y SIN 7 2.1 8.49 .52 Experiencia n % Media D.E. 1 a 3 años 60 18 8.34 1.05 4 a 7 años 77 23 8.59 .82 8 en adelante 200 59 8.77 .93 Tamaño del grupo n % Media D.E. Pequeño 166 50 8.59 1.00 Mediano 159 47 8.70 .89 Grande 4 1 9.04 .23 Muy Grande 8 2 8.85 .64 A manera de síntesis, los resultados comparativos de la muestra general identifican las variables que presentan diferencias estadísticamente significativas entre sus grupos, en orden de importancia son: el área del conocimiento (destacando Ciencias de la salud como la mejor evaluada); la experiencia docente (los de mayor experiencia son los favorecidos); la escolaridad (los profesores con licenciatura reciben mayores puntajes). En menor medida son: el tipo de contrato (los profesores de asignatura son los favorecidos); el reconocimiento académico (los profesores con SNI son mejor valorados); y el tamaño del grupo (los grupos pequeños otorgan mayores puntajes). Por otra parte, el comportamiento de las variables estudiadas por área del conocimiento se concentra en la Tabla 9. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 18 Tabla 9. Variables por área del conocimiento y diferencias entre el grupo de mayor y menor puntaje* Área del conocimiento Variables Diferencias entre los grupos Mayores puntajes Menores puntajes Ingeniería y tecnología Reconocimiento académico Profesores con SNI y PROMEP Naturales y exactas Experiencia docente Reconocimiento académico Profesores con mayor experiencia Profesores con SNI Administrativas y Contables Experiencia docente Escolaridad Tipo de contrato Reconocimiento académico Profesores con mayor experiencia Profesores por asignatura Profesores sin distinción Profesores con Doctorado Ciencias de la Salud Experiencia docente Tamaño del grupo Reconocimiento académico Escolaridad Tipo de contratación Los profesores con mediana experiencia Los grupos pequeños Profesores con SNI Profesores con Maestría Profesores técnicos académicos Humanidades Tipo de contratación Experiencia docente Reconocimiento académico Profesores de tiempo completo Profesores con mayor experiencia Profesores con PROMEP *Sólo se presentan los valores estadísticamente significativos al nivel p<0.05 Discusión Los resultados de esta investigación arrojan información respecto a las variables asociadas a las características del profesor y del curso, y su relación con la percepción de los estudiantes sobre la efectividad docente en el contexto de una universidad pública mexicana. Si bien, estas variables (la escolaridad del profesor, el tipo de contrato, el reconocimiento académico, la experiencia docente, el Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 19 tamaño del grupo y el área de conocimiento) no se encuentran relacionadas de manera directa con los procesos de interacción didáctica en el aula, si conforman características específicas del docente y refieren elementos del contexto de enseñanza; aspectos que en los últimos años son parte de líneas de investigación definidas (v. gr. Smart, Feldman, & Ethington, 2000; Murray, 2007), las cuales tienen en común considerar que el conocimiento de las características del profesor y del contexto pedagógico que favorecen una enseñanza efectiva puede ayudar a la comprensión teórica de la enseñanza, al mejoramiento de los programas de evaluación y formación de profesores, así como a orientar las políticas de evaluación del profesorado. Cabe mencionar que el tema estudiado en este trabajo ha sido poco investigado empíricamente en el ámbito iberoamericano pese a la larga tradición anglosajona. Asimismo, además de las variables típicas identificadas en la literatura internacional se incluyeron otras propias del contexto mexicano, como son: el reconocimiento al perfil deseable otorgado por el Programa de Mejoramiento del Profesorado (PROMEP); y formar parte del Sistema Nacional de Investigadores (SNI). Estas son distinciones concedidas al docente por organismos gubernamentales externos a la universidad, y ambas certificaciones han sido altamente ponderadas por la política educativa y se promueven como el ideal a cumplir por los docentes de tiempo completo de las Instituciones de Educación Superior del país. De esta manera, este estudio permite valorarlas a la luz de su relación con la competencia docente en opinión de los estudiantes. En concordancia con lo reportado en investigaciones anglosajonas se halló que según el área de conocimiento los estudiantes evalúan de forma diferente la efectividad docente (Beran & Violato, 2005). En particular, un resultado a destacar es que se encontró que las variables estudiadas al interior de cada área del conocimiento se comportan de forma diferencial, lo que da cuenta de la importancia de la disciplina como conocimiento base de cada profesión y su interacción con las características que definen el perfil profesional del profesorado mediado por las características del curso (Shulman, 2005). En cuanto a la escolaridad del profesor, llama la atención que en los resultados de la muestra general los maestros con nivel de licenciatura fueron los mejor evaluados por los estudiantes y los que cuentan con el grado de doctor recibieron los puntajes más bajos. De igual manera se comporta el área de Ciencias Administrativas y Contables. No obstante, en Ciencias Naturales los profesores mejor valorados son los que cuentan con doctorado, y en el caso de Ciencias de la Salud los que cuentan con maestría son los menos favorecidos. Al respecto, cabe comentar que en los últimos quince años, una política prioritaria en las instituciones de educación superior en México ha sido mejorar el nivel de habilitación de los profesores, entendido como la obtención del máximo grado y como una medida para mejorar la calidad educativa. Sin embargo, en este estudio se confirma que, desde la percepción de los estudiantes, el hecho de que el maestro cuente con grado de maestría o doctorado no lo define como un buen profesor. Al respecto, cabe tener presente que la competencia docente es una actividad compleja y multidimensional integrada tanto por el dominio de la disciplina objeto de enseñanza, como por el dominio del contenido pedagógico y los elementos contextuales y situacionales que pueden funcionar como obstáculos o facilitadores de la acción educativa (Shulman, 2005; Jornet, 2011). En relación con la variable tipo de contratación, tanto en la muestra general y con un peso estadístico importante en el área de Ciencias Administrativas y Salud, los profesores contratados por asignatura reciben de los estudiantes puntajes significativamente superiores que quienes cuentan con tiempo completo. Sin embargo, en Ingeniería y Humanidades son los profesores de tiempo completo quienes reciben los puntajes más altos seguidos de los de asignatura. En Ciencias Naturales y exactas fueron los técnicos académicos quienes recibieron los puntajes más altos seguidos de los profesores de tiempo completo. Los resultados muestran una variabilidad que remite al estudio de las culturas académicas en las diferentes disciplinas. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 20 Respecto al reconocimiento académico, los profesores que pertenecen al SNI reciben los puntajes más altos, tanto en la muestra general como en las áreas específicas de Ciencias Naturales y Ciencias de la Salud. Sin embargo, es importante señalar que los profesores con esta distinción únicamente tienen la obligatoriedad de impartir un curso por semestre, situación que pudiera representar una ventaja respecto a quienes imparten dos o más asignaturas. En el caso de Ciencias Administrativas los que no tienen ninguna distinción son los mejor valorados, y destaca que los profesores que cuentan únicamente con el perfil PROMEP son a los que se les otorgan las puntuaciones más bajas. Estos datos son particularmente relevantes dado que los datos reportados corresponden a una muestra robusta, representativa de la población de estudiantes de una universidad pública. En este estudio la experiencia del profesor es una variable que guarda relación con los puntajes a la efectividad docente, los profesores con mayor y mediana experiencia son los mejor evaluados por los estudiantes. Lo cual contrasta con lo encontrado en los estudios anglosajones donde esta variable no guarda relación (Marsh, 2007). En relación con el tamaño del grupo, los resultados correspondientes a la muestra general revelan que los grupos pequeños otorgan puntajes superiores a sus profesores, a diferencia de los de tamaño mediano, grande y muy grande. Este es un dato que coincide con los resultados de otras investigaciones (v. vg., Felman, 1997); mismo que debería ser tomado en cuenta por los funcionarios que dictan las políticas para la conformación del tamaño de los grupos, dado que con el propósito de aumentar la cobertura la tendencia ha sido conformar grupos de gran tamaño, situación que no favorece a la calidad de la docencia. En el país, mucho se ha argumentado sobre las limitaciones que tienen las políticas educativas de los últimos 15 años dirigidas al profesorado, en particular el PROMEP por su impacto en el quehacer académico. Sin embargo, existen pocos estudios empíricos que valoren su relación con la mejora de la calidad de la enseñanza. Este estudio muestra de manera contundente que en la opinión de los alumnos, las características ponderadas por este programa no definen a un buen profesor. En México, a pesar de que la docencia representa la función sustantiva de mayor importancia que desarrolla la universidad, la evaluación de la actividad docente ha quedado relegada. En este sentido, la evaluación de la docencia ha estado de manera predominante asociada con el control y con formas de compensación salarial, en detrimento de estrategias dirigidas al mejoramiento de tan importante actividad (Rueda, Luna, García & Loredo, 2010). Este estudio hace evidente la complejidad de la docencia, y aboga porque los programas de evaluación del docente sean sensibles a su complejidad considerando sus particularidades. Asimismo, se considera necesario reconocer que la actividad docente sigue en la espera de políticas que la reconozcan como una actividad medular de las universidades y orienten estrategias dirigidas a mejorar la calidad de la enseñanza. Referencias Abrami, P. C., d’Apollonia, S. & Cohen, P. A. (1990). Validity of student ratings of instruction what we know and what we do not. Journal of Educational Psychology, 82(2), 219-231. Abrami, P. C., d’Apollonia, S. & Rosenfield, S. (2007). The dimensionality of student ratings of instruction: what we koww and what we do not. En R. Perry & J. Smart (Eds.). The Scholarship of teaching and learning in higher education: an evidence-based perspective (pp. 385-445). Dordrecht, Países Bajos: Springer. Beran, T. & Violato, C. (2005). Ratings of university teacher instruction: How much do student and course characteristics really matter? Assessment and Evaluation in Higher Education, 30(6), 593– 601. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 21 Braskamp, L. A. & Ory, J. C. (1994). Assessing faculty work: Enhancing individual and institutional performance. San Francisco, CA: Jossey-Bass. Canales, A. & Luna, E. (2003). ¿Cuál política para la docencia? Revista de Educación Superior, 32(3), 45- 52. Cashin, W. E. (1990). Student do rate different academic field differently. En M. Theall, y J. Franklin (Eds.), Student ratings of instruction: Issues for improving practice (pp. 113-122). New Directions for Teaching and Learning, San Francisco: Jossey Bass. Centra, J. A. (1993). Reflective Faculty Evaluation. San Francisco: Jossey-Bass. Centra, J. A. (2002). Will teachers receive higher student evaluations by giving higher grades and less coursework? Research in Higher Education, 44, 495-518. Coll, C., & Solé, I. (2007). Enseñar y aprender en el contexto del aula. En C. Coll, A. Marchesi, & J. Palacios. Desarrollo Psicológico y Educación 2. Psicología de la Educación Escolar (pp. 358-386) (4ª. Reimp.). Madrid: Alianza Editorial. Consejo Nacional de Ciencia y Tecnología. ([Conacyt], 2007). Estadísticas básicas. Recuperado de http://www.conacyt.gob.mx/SNI/Documents/SNI_Evaluacion2007.pdf Cox, C. (1993). Políticas de educación superior: categorías para su análisis. En H. Courard (Ed.). Políticas comparadas de educación superior en América Latina (pp. 87-130). Chile: Flacso. Estrella, G. (2010). Informe de rectoría 2010. Baja California, México: Universidad Autónoma de Baja California. Recuperado el 10 de enero de 20011 de http://www.uabc.mx/planeacion/informe/informe2010/informe2010.pdf Feldman, K. A. (1987). Research productivity and scholarly accomplishment: A review and exploration. Research in Higher Education, 26, 227-298 Feldman, K. A. (1997). Identifying exemplary teachers and teaching: Evidence from student ratings. En R. Perry & J. Smart (Eds.). Effective teaching in higher education: Research and practice (pp. 368- 395). Nueva York: Agathon Press. Jornet, M. J. (2011). Dimensiones docentes y cohesión social: reflexiones desde la evaluación. II Coloquio Iberoamericano sobre Evaluación de la Docencia: Valencia, España. Latapí, P. (2004). La política educativa del Estado mexicano desde 2002. Revista Electrónica de Investigación Educativa, 6 (2). Recuperado el 24 de mayo de 2012 de http://redie.uabc.mx/vol16no2/contenido-latapi.html Luna E. & Valle, C. (2005, octubre). Características pedagógicas y validación de un instrumento para la evaluación de la docencia universitaria. Trabajo presentado en el VIII Congreso Nacional de Investigación Educativa. Hermosillo, Sonora, México. Marsh, H. W. (1987). Students’ evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Education Research, 11(3), 253– 288. Marsh, H. W. (2007). Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and usefulness. En R. Perry & J. Smart (Eds.). The Scholarship of teaching and learning in higher education: an evidence-based perspective (pp. 319-384). Dordrecht, Países Bajos: Springer. Marsh, H. W. & Dunkin, M. J. (1997). Students’ evaluations of university teaching: A multidimensional perspective. En R. Perry & J. Smart (Eds.). Effective teaching in higher education: Research and practice (pp. 241-320). Nueva York: Agathon Press. Méndez, I. Namihira, D. L. Moreno, L. & Sosa, J. (2001). El protocolo de investigación. Lineamientos para su elaboración y análisis. México: Trillas. Mendoza, R. J. (2002). Transición de la educación superior contemporánea en México: de la planeación al Estado evaluador. México: CESU-UNAM, Miguel Ángel Porrúa. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 22 Murray, H. (2007). Low-inference teaching behavior and college teaching effectiveness: recent developments and controversies. En R. Perry & J. Smart (Eds.), The scholarship of teaching and learning in higher education: an evidence-based perspective. (pp. 145-183). Dordrecht, Países Bajos: Springer. Nasser, F. & Hagtvet, K. (2006). Multilevel analysis of the effects of student and instructor/course characteristics on student ratings. Research in Higher Education, 47(5), 559-590. Neave, G. (1990). La educación superior bajo la evaluación estatal. Tendencias en Europa Occidental, 1986-1988. Universidad Futura, 5 (2), 5-16. Red Iberoamericana de Investigadores de la Evaluación de la Docencia (2008). Reflexiones sobre el diseño y puesta en marcha de programas de evaluación de la docencia. Revista Iberoamericana de Evaluación Educativa, 1(3), 163-168. Recuperado el 12 de diciembre de 2011 de http://www.rinace.net/riee/numeros/vol1-num3_e/reflections.html Rueda, M., Luna, E., García, B. & Loredo J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3(1), 77-92. Recuperado el 20 de enero de 201, de http://www.rinace.net/riee/numeros/vol3-num1_e/art6.pdf. Schoenfeld, A. (1998). Toward a theory of teaching in context. Recuperado el 14 de febrero de 2010, de https://gse.soe.berkeley.edu/faculty/AHSchoenfeld/tic.pdf Shulman, S. L. (2005). Conocimiento y enseñanza: fundamentos de la nueva reforma. Revista de currículum y formación del profesorado, 9(2), 1-30. Recuperado el 1 de mayo de 2011 de http://www.ugr.es/local/recfpro/Rev92ART1.pdf Secretaría de Educación Pública. ([SEP] 2010). Programa de Mejoramiento del Profesorado. Recuperado el 16 de diciembre de 2010, de http://promep.sep.gob.mx/presentacion.html. Secretaría de Educación Pública. (1979). Programas y metas del sector educativo 1979-1982. México: SEP. Smart, J. C., Feldman, K. A. & Ethington, C. A. (2000). Academic disciplines. Holland’s theory and the study of college students and faculty. USA: Vanderbit University Press. Seldin, P. (1993). The use and abuse of student ratings of professors. The Chronicle of Higher Education, 39(46) 40. Theall, M. & Franklin J. (1990). Student ratings in the context of complex evaluation systems. En M. Theall, and J. Franklin (Eds.), Student ratings of instruction: Issues for improving practice (pp. 17- 34). New Directions for Teaching and Learning, San Francisco: Jossey Bass. Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 23 Sobre los Autores Dra. Edna Luna Serrano Universidad Autónoma de Baja California eluna@uabc.edu.mx Investigador de Carrera Titular Nivel “C” Coordinadora del Doctorado en Ciencias Educativas de la UABC Responsable del Cuerpo Académico “Evaluación Educativa” nivel consolidado Coordinadora de la Red de Investigadores sobre Evaluación de la Docencia (RIED) Vicente Arámburo Vizcarra Universidad Autónoma de Baja California vicente@uabc.edu.mx Profesor-investigador de la Facultad de Ciencias Administrativas y Sociales archivos analíticos de políticas educativas Volumen 21 Número 1 7 de enero 2013 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, y distribuir este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, se distribuya con propósitos no-comerciales, no se altere o transforme el trabajo original. Más detalles de la licencia de Creative Commons se encuentran en http://creativecommons.org/licenses/by-nc- sa/3.0 Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, , ERIC, Education Full Text (H.W. Wilson), QUALIS A2 (Brasil), SCImago Journal Rank; SCOPUS, SOCOLAR (China) Contribuya con comentarios y sugerencias en http://epaa.info/wordpress/. Por errores y sugerencias contacte a Fischman@asu.edu. Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 24 archivos analíticos de políticas educativas consejo editorial Editor: Gustavo E. Fischman (Arizona State University) Editores. Asociados Alejandro Canales (UNAM) y Jesús Romero Morante (Universidad de Cantabria) Armando Alcántara Santuario Instituto de Investigaciones sobre la Universidad y la Educación, UNAM México Fanni Muñoz Pontificia Universidad Católica de Perú Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Imanol Ordorika Instituto de Investigaciones Economicas – UNAM, México Pilar Arnaiz Sánchez Universidad de Murcia, España Maria Cristina Parra Sandoval Universidad de Zulia, Venezuela Xavier Besalú Costa Universitat de Girona, España Miguel A. Pereyra Universidad de Granada, España Jose Joaquin Brunner Universidad Diego Portales, Chile Monica Pini Universidad Nacional de San Martín, Argentina Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Paula Razquin UNESCO, Francia María Caridad García Universidad Católica del Norte, Chile Ignacio Rivas Flores Universidad de Málaga, España Raimundo Cuesta Fernández IES Fray Luis de León, España Daniel Schugurensky Universidad de Toronto-Ontario Institute of Studies in Education, Canadá Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Orlando Pulido Chaves Universidad Pedagógica Nacional, Colombia Inés Dussel FLACSO, Argentina José Gregorio Rodríguez Universidad Nacional de Colombia Rafael Feito Alonso Universidad Complutense de Madrid. España Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Pedro Flores Crespo Universidad Iberoamericana, México Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM México Verónica García Martínez Universidad Juárez Autónoma de Tabasco, México José Luis San Fabián Maroto Universidad de Oviedo, España Francisco F. García Pérez Universidad de Sevilla, España Yengny Marisol Silva Laya Universidad Iberoamericana, México Edna Luna Serrano Universidad Autónoma de Baja California, México Aida Terrón Bañuelos Universidad de Oviedo, España Alma Maldonado Departamento de Investigaciones Educativas, Centro de Investigación y de Estudios Avanzados, México Jurjo Torres Santomé Universidad de la Coruña, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM México Antoni Verger Planells University of Amsterdam, Holanda José Felipe Martínez Fernández University of California Los Angeles, USA Mario Yapu Universidad Para la Investigación Estratégica, Bolivia Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes 25 education policy analysis archives editorial board Editor Gustavo E. Fischman (Arizona State University) Associate Editors: David R. Garcia (Arizona State University), Stephen Lawton (Arizona State University) Rick Mintrop, (University of California, Berkeley) Jeanne M. Powers (Arizona State University) Jessica Allen University of Colorado, Boulder Christopher Lubienski University of Illinois, Urbana- Champaign Gary Anderson New York University Sarah Lubienski University of Illinois, Urbana- Champaign Michael W. Apple University of Wisconsin, Madison Samuel R. Lucas University of California, Berkeley Angela Arzubiaga Arizona State University Maria Martinez-Coslo University of Texas, Arlington David C. Berliner Arizona State University William Mathis University of Colorado, Boulder Robert Bickel Marshall University Tristan McCowan Institute of Education, London Henry Braun Boston College Heinrich Mintrop University of California, Berkeley Eric Camburn University of Wisconsin, Madison Michele S. Moses University of Colorado, Boulder Wendy C. Chi* University of Colorado, Boulder Julianne Moss University of Melbourne Casey Cobb University of Connecticut Sharon Nichols University of Texas, San Antonio Arnold Danzig Arizona State University Noga O'Connor University of Iowa Antonia Darder University of Illinois, Urbana- Champaign João Paraskveva University of Massachusetts, Dartmouth Linda Darling-Hammond Stanford University Laurence Parker University of Illinois, Urbana- Champaign Chad d'Entremont Strategies for Children Susan L. Robertson Bristol University John Diamond Harvard University John Rogers University of California, Los Angeles Tara Donahue Learning Point Associates A. G. Rud Purdue University Sherman Dorn University of South Florida Felicia C. Sanders The Pennsylvania State University Christopher Joseph Frey Bowling Green State University Janelle Scott University of California, Berkeley Melissa Lynn Freeman* Adams State College Kimberly Scott Arizona State University Amy Garrett Dikkers University of Minnesota Dorothy Shipps Baruch College/CUNY Gene V Glass Arizona State University Maria Teresa Tatto Michigan State University Ronald Glass University of California, Santa Cruz Larisa Warhol University of Connecticut Harvey Goldstein Bristol University Cally Waite Social Science Research Council Jacob P. K. Gross Indiana University John Weathers University of Colorado, Colorado Springs Eric M. Haas WestEd Kevin Welner University of Colorado, Boulder Kimberly Joy Howard* University of Southern California Ed Wiley University of Colorado, Boulder Aimee Howley Ohio University Terrence G. Wiley Arizona State University Craig Howley Ohio University John Willinsky Stanford University Steve Klees University of Maryland Kyo Yamashiro University of California, Los Angeles Jaekyung Lee SUNY Buffalo * Members of the New Scholars Board Archivos Analíticos de Políticas Educativas Vol. 21, No. 1 26 arquivos analíticos de políticas educativas conselho editorial Editor: Gustavo E. Fischman (Arizona State University) Editores Associados: Rosa Maria Bueno Fisher e Luis A. Gandin (Universidade Federal do Rio Grande do Sul) Dalila Andrade de Oliveira Universidade Federal de Minas Gerais, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Paulo Carrano Universidade Federal Fluminense, Brasil Luciano Mendes de Faria Filho Universidade Federal de Minas Gerais, Brasil Alicia Maria Catalano de Bonamino Pontificia Universidade Católica-Rio, Brasil Lia Raquel Moreira Oliveira Universidade do Minho, Portugal Fabiana de Amorim Marcello Universidade Luterana do Brasil, Canoas, Brasil Belmira Oliveira Bueno Universidade de São Paulo, Brasil Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil António Teodoro Universidade Lusófona, Portugal Gaudêncio Frigotto Universidade do Estado do Rio de Janeiro, Brasil Pia L. Wong California State University Sacramento, U.S.A Alfredo M Gomes Universidade Federal de Pernambuco, Brasil Sandra Regina Sales Universidade Federal Rural do Rio de Janeiro, Brasil Petronilha Beatriz Gonçalves e Silva Universidade Federal de São Carlos, Brasil Elba Siqueira Sá Barreto Fundação Carlos Chagas, Brasil Nadja Herman Pontificia Universidade Católica –Rio Grande do Sul, Brasil Manuela Terrasêca Universidade do Porto, Portugal José Machado Pais Instituto de Ciências Sociais da Universidade de Lisboa, Portugal Robert Verhine Universidade Federal da Bahia, Brasil Wenceslao Machado de Oliveira Jr. Universidade Estadual de Campinas, Brasil Antônio A. S. Zuin Universidade Federal de São Carlos, Brasil