Titulo: LA IMPORTANCIA DE LA CALIDAD DE LA INFORMACIÓN EN INTERNET PARA EL DESARROLLO DE UNA SOCIEDAD INFORMACIONAL. Autor: Dra. Caridad Fresno Chávez* * Centro de Cibernética Aplicada a la Medicina CECAM email: cfresno@cecam.sld.cu Índice general Resumen. Introducción. Conclusión. Bibliografía. Resumen Se realiza una revisión de la literatura, sobre los conceptos, criterios y herramientas que han sido propuestos, para evaluar la calidad de la información en Internet y la evolución de los mismos. Se analiza la pertinencia y asequibilidad, así como el enfoque que caracteriza el diseño de estas herramientas, considerando el valor social y económico, del manejo de una información de calidad, para el desarrollo de una economía informacional. Se propone una pequeña "guía de usuario" que contribuya a orientar a usuarios de la información no expertos, en los elementos esenciales a considerar en la evaluación de la calidad de la información en Internet. Abstracts It is made a checking of the literature about the concepts, criterios and tools that have been proposed to evaluate the quality of the information in INTERNET and the evolution of them. The correct choice and its assequibility is analized, as well as the approach that characterizes the design of these tools considering the social and economical value in the handing of a qualified information for the development of an informatical economy. A small "guide for the client" is propused to help in the orientation to them of not experienced clients information in the esencial elementes to be considered in the evaluation of the quality of the information in INTERNET. Clasificación: Artículo de revisión Descriptores (DeCS): CALIDAD; EVALUACION; INTERNET; INFORMACION; SALUD;CIENCIAS DE LA INFORMACION; CONTROL DE CALIDAD Descriptores (DeCI): EVALUACION DE LA CALIDAD; RECURSOS DE INFORMACION; INTERNET; INFORMACION EN SALUD Introducción La esencia de la filosofía de desarrollo de Internet, promueve una absoluta libertad de participación en la red de redes, solo limitada por las barreras tecnológicas. Esto ha determinado su posicionamiento estratégico, como el mayor canal de información y proveedor de fuentes de información posible. Pero lo que fue quizás en los momentos iniciales, una postura adecuada para convertir a Internet en una fuente de información y conocimiento, ha engendrado efectos negativos, tales como la existencia de información nociva (pornografía infantil, violencia, incentivación de toxicómanas, entre otros), un orden caótico que dificulta la recuperación de la información disponible y sobre todo una sobreabundancia de información, no útil, distorsionada o de mala calidad, que limita las posibilidades del uso eficiente y seguro de Internet, como canal de información utilizado masivamente, como ha quedado evidenciado en una encuesta realizada en el año 2001 en EE.UU. que demostró, que alrededor de 100 millones de adultos de ese país, buscaban regularmente información sobre temas de salud en la red, y las estimaciones efectuadas que arrojan que en el año 2002 , había aproximadamente 100.000 sitios con información de salud en Internet (1). Para superar las dificultades en cuanto a disponibilidad y calidad de recursos de información, han surgido iniciativas entre algunas instituciones, organizaciones e incluso aportes personales, en la creación de directorios y pasarelas temáticas, que han devenido en verdaderos catálogos de información organizada; e incluso podríamos considerar en este sentido la transformación que han sufrido los buscadores mas importantes de Internet, al convertirse en herramientas de búsqueda de información, de muy fácil manejo aun para individuos no experimentados. Pero el control de la calidad de la información en Internet a pesar de las iniciativas desplegadas, resulta aún insuficiente considerando, que existen estudios que avalan que una información mal incorporada por parte de los usuarios directos de la información en Internet, puede conllevar resultados dramáticos, incrementando la morbilidad e incluso la mortalidad de pacientes (2). El valor social y económico de la información. Internet y la Economía Informacional. En un inicio, sólo resultó de interés para aquellos que velaban por la calidad de la información en Internet o publicaban en Internet, considerar los aspectos de forma o presentación de la información que el usuario de la información consultaba, para hacerla atractiva y asequible para su consumo; pero en la medida en que Internet ganó popularidad y fue mayor el público que buscaba información en la misma, se hizo necesario considerar también los aspectos de contenido. Los profesionales de las Ciencias de la información, ya habían creado un sistema de recursos, entre los que cuentan: la consulta de expertos, los denominados factores de pronóstico de la calidad como son determinados autores, Instituciones, editoriales u otros elementos para evaluar la calidad de libros, revistas, y otros documentos (3) fundamentado estos en el desarrollo de leyes como la de Bradford que plantea que independientemente de la esfera de la ciencia de que se trate existe una pequeña proporción de autores, instituciones y países que generan la gran mayoría de los trabajos que se publican. (4). Pero con el surgimiento de Internet, se trata de evaluar los recursos de información presentes en Internet, y entiéndase por recurso de información todo dato estructurado, que puede aparecer en la red; es por ello que en Internet resulta aun más complicado evaluar la calidad de la información que en los otros canales de información hasta ahora utilizados, ya que existen múltiples formas de publicar en ella y no existe un control central de lo que se publica y sólo en el caso de la W.W.W., van desde la creación de una página web personal donde el autor expone sus trabajos, instituciones que tienen un objetivo comercial y pueden desvirtuar la información que presentan, hasta instituciones académicas que pueden estar representadas en Internet. Es por ello que se ha planteado que utilizar Internet de modo efectivo, acompañado de procesos de asimilación, reflexión y creación no puede ser una actividad espontánea, sino que es necesario desarrollar ciertas capacidades (5) ya que la información se encuentra dispersa y resulta muy diversa y es necesario contar con las habilidades que eran anteriormente propias de los profesionales de la información para lograr una explotación adecuada de Internet, ante esta avalancha de información que genera el desarrollo de Internet; es decir debemos ser capaces de identificar y recuperar aquellos recursos de información de calidad adecuada, para garantizar el proceso de construcción del conocimiento en una economía en red. La economía informacional, está caracterizada por el hecho que la productividad y la competitividad se basan, de forma creciente, en la generación de nuevos conocimientos y en el acceso al procesamiento de la "información adecuada" ( 6). Para ello resulta necesario que exista la suficiente disponibilidad de información, para garantizar al usuario la satisfacción de sus necesidades independientemente del lugar en que se encuentre y esto puede lograrse mediante la utilización eficiente de Internet, que se considera la infraestructura tecnológica adecuada para ello y confiriendo a la información, un valor social y económico, dado por el reconocimiento individual o colectivo, que asume en el desarrollo de la sociedad, su utilización y conservación. (7). Es decir la utilización consciente de Internet, como herramienta para la transformación social, que depende de tres elementos intrínsecamente relacionados; el acceso, el uso y la apropiación de conocimientos (5) elementos, que resultan imprescindibles conjugar para dar paso a una economía informacional. La información, en una economía informacional debe ser manejada como un producto, (8) cuando pueda lograrse esto, estaremos en camino de crear la Sociedad de la Información /Conocimiento que avizoramos. Estamos refiriéndonos a una Sociedad o Economía del Conocimiento, en la que las bases de la creación del valor lo constituye, el conocimiento, donde el foco central de la economía, es el conocimiento a través de la innovación, más que a través de la producción o distribución masiva de productos (9). Y en esta nueva economía en que el conocimiento establece las nuevas relaciones de producción, resulta indispensable crear información de calidad que pueda hacer posible la creación de conocimiento, considerando por supuesto todos los atributos característicos de una información de calidad y el carácter subjetivo que encierra este concepto. Al decir de English L. (8) "se trata de servir al cliente, proveyéndolo de productos de información y servicios, que consistentemente cumplan las expectativas de calidad del cliente y de los trabajadores de la información y el conocimiento, de modo eficiente y efectivo" Las dificultades con el control de la Calidad de la Información en Internet. La calidad de la información se refiere a la calidad de las comunicaciones en todas las formas, por lo que implica determinados principios y procesos que involucran a clientes y productores de la información. Pero debemos tener en cuenta que la calidad, es un fenómeno con componentes objetivos y subjetivos es decir, depende de las expectativas del cliente (8) y también de sus requerimientos y necesidades y no más allá (10). El ejemplo más rotundo de esto, es la quiebra de la productora de autos Rolls Royce, la que concibió el auto perfecto, hecho a mano y no consideró que el costo, sobrepasaba las posibilidades económicas del sector más importante del mercado para su adquisición. Cuando se habla de calidad debe tenerse en cuenta, que se habla de la calidad en forma y contenido (y que estas dos categorías se encuentra interactuando como en todos los ordenes de la vida) por lo que deben ser estos los dos raseros fundamentales en la medición de la calidad, ya que existen estudios por ejemplo, que avalan que un usuario de la información puede abandonar la búsqueda, si la presentación del sitio web, resulta de difícil navegación o se pierde en el mismo (11). Los aspectos de contenido por otro lado, resultan muy difíciles de evaluar, pues resulta imposible tener un dominio en todos los temas en los que realizamos alguna consulta, que nos permita discriminar, que autores ofrecen información confiable y quienes no, por lo que se ha hecho necesario valorar criterios de carácter general, para al menos tener una aproximación, a un criterio de calidad, deteniéndose a considerar además, que cada tipo de recurso de información debe tener su propio esquema de evaluación. Súmese a todo ello entonces, todas las características peculiaridades o atributos, que pueden relacionarse con la calidad de la información, sin dejar de considerar los fenómenos de subjetividad y necesidad de los usuarios y se comprenderá, cuan difícil resulta establecer una serie de criterios en este sentido, a pesar de la abundante literatura publicada sobre el tema (12, 13, 14, 15).Cuando se realiza una revisión de la misma, se constata que todos los autores con un mayor o menor nivel de aproximación, establecen sus criterios para la evaluación de la calidad en Internet, en torno a las preguntas que definen la satisfacción de las necesidades informativas, es decir: quién, qué, cuándo, dónde y por qué (16) y consideran los aspectos o atributos de una información de calidad (17) que pueden resumirse en: -Calidad intrínseca (precisión, objetividad, credibilidad, reputación) -Calidad de accesibilidad a la información (accesibilidad, facilidad de tratamiento, seguridad) -Calidad contextual de la información (relevancia, valor añadido, puntualidad, carácter completo, cantidad de información) -Calidad representativa de la información (interpretabilidad, facilidad de comprensión, representación concisa y coherente. La conjugación de estos factores debe proporcionar criterios de evaluación de la calidad fiable, pero como se comprenderá estos resultan de una gran complejidad para la utilización de la gran mayoría de los usuarios de la información en Internet. Es por ello que se ha fomentado la utilización de: A)- Indicadores indirectos de calidad de un sitio web (18) entre ellos, lo que se ha dado en llamar la "web citation", que pudiera tener analogía con el Citation Index, descrito por Garfield en 1976 (19) y que en la web tiene su expresión en http://webcite.net. El número de visitantes por día en el sitio web, que guarda una analogía con la circulación de las publicaciones tradicionales en papel y el comportamiento de uso del sitio web, que representa toda una nueva disciplina donde se conjugan especialidades como la psicología, diseño de páginas web, arquitectura de la información, entre otras, hasta dar lugar a la Cibermetría, nueva disciplina que se encarga de medir el impacto de los sitios web, por medio del análisis del comportamiento de usuario , esquemas de uso, complejidad del web y otros. B)- Alianzas entre sociedades médicas, para ofrecer un supersitio, e intentar potenciar con esta acción la búsqueda de calidad, ha sido otra de las estrategias desplegadas en un intento por incrementar la calidad de la información que se publica en Internet (20) y podemos ver un ejemplo típico en esta página http://www.medem.com C)- Contribuciones Especiales de algunos países tales como "The Centre for Health Information Quality" de Gran Bretaña que ha desarrollado una guía genérica para contribuir a crear la información relacionada con salud, partiendo de tres conceptos básicos, la información debe ser: precisa, clara y relevante (21); proveyendo para tal fin de guías dirigidas a los productores de información y a los consumidores de información. La integración de la Unión Europea que ha establecido toda una serie de regulaciones basadas en normativas y directivas, a la manera de una guía para el control de la calidad de los sitios web relacionados con la salud, que abarca desde la definición de los elementos esenciales a tener en cuenta, como puede ser el nivel de accesibilidad del sitio web, la regulacion de los propósitos comerciales, hasta la privacidad, seguridad y confidencialidad de las políticas y herramientas a considerar en la evaluación de la calidad (22). Pero a pesar de ello los especialistas en calidad de la información en Internet consideran que estas herramientas aun son insuficientes, no funcionales y resultan muy simples o bien de muy compleja interpretación. (23, 24) De modo general y para su mejor interpretación pueden clasificarse las herramientas para evaluar la calidad de la información en Internet (1) como: a)- Códigos de Conducta y podemos consultar algunos ejemplos en: eHealth Code of Ethics of the Internet Health Coalition (www.ihealthcoalition.org/ethics/ethics.html) The American Medical Association (http://www.ama-assn.org/ama/pub/category/1905.html) Health Summit Working Group (http://www.mitretek.org/) eEurope Draft Good Practice Guidelines for the Health Internet (europa.eu.int/information_society/eeurope/ehealth/quality/draft_guidelines/) b)- Etiquetas de Calidad Health On the Net Foundation (http://www.hon.ch/) Hi-Ethics code (www.hiethics.com/Principles/index.asp) c)- Filtros y d)- Certificación por Terceras Partes MEDCERTAIN (www.medcertain.org/) TNO QMIC (www.health.tno.nl/en/news/qmic_uk.pdf) URAC (www.urac.org/) e)- Guías de Usuarios DISCERN (http://www.discern.org.uk/) NETSCORING (www.chu-rouen.fr/dsii/publi/critqualv2.html) Existen factores que se consideran como elementos predictores de calidad, como habíamos apuntado previamente, que van desde un autor determinado que se considera líder en el tema de nuestro interés, la editorial que publica los resultados y que puede tener un carácter mas o menos riguroso y lo mismo sucede con el título de una publicación dada, en el caso de Internet podemos hacer una extrapolación de estos indicadores y considerar el sitio web que representa una institución académica, por ejemplo, como fuente de una información de calidad. Para los que se inician en la búsqueda de información en Internet, resulta sumamente difícil realizar un análisis en otros aspectos, pero podemos indicar la necesidad de observar algunos elementos básicos, como los que aparecen en la guía de usuario que hemos elaborado, reuniendo los criterios de varios autores (25, 26, 27, 28, 29) y que ofrecemos a continuación. Resumen de elementos importantes que deben considerarse en la valoración de la Calidad de la Información en el web. ( GUÍA DE USUARIO) 1.- El URL puede proporcionar información sobre las características del documento que está consultando. Los subdominios .gov. edu; . org , indican respectivamente que se trata de sitios con carácter gubernamental; educacionales y de organizaciones respectivamente. El subdominio. com; indica generalmente que se trata de empresas comerciales y existen algunos en los que pueden alojarse páginas personales que por supuesto reflejaran solo el criterio del autor. 2.- En cuanto al Sitio WEB; tenga en cuenta que el webmaster no es el autor del documento que está revisando. Revise además el nivel de actualización que presenta el sitio web, en general esto es un predictor de calidad si está actualizado recientemente. Observe si existe un registro de acceso al sitio, es decir el número de visitantes, esto puede considerarse, si es un número elevado, también un predictor de calidad, en analogía con el índice de citación de las revistas en soporte papel. Si el sitio web le ofrece dudas en cuanto a calidad, pruebe a rastrearlo en dos de los buscadores más importantes Google ( http://www.google.com) y Alltheweb (http://www.alltheweb.com) pues por las características de complementariedad de estos buscadores, si ha sido ubicado en la base de datos de alguno de estos buscadores esto puede considerarse un predictor de calidad. 3.- En cuanto al Documento Consultado, son elementos predictores de calidad: -La existencia de los datos del autor, institución en que trabaja, categoría como investigador o docente, teléfono, correo electrónico donde localizarlo. -La presencia de bibliografía referenciada o notas al pie de la página. -Si en las referencias citadas por el autor se encuentran algunas de otros autores que contradigan lo expuesto por el autor, o si utiliza referencia procedente de instituciones académicas, libros o de autores conocidos por usted. Si el autor del documento que está revisando, no resulta conocido para usted y quiere conocer sus características, pruebe a buscar su trayectoria en publicaciones en una Base de Datos o en un buscador; acotando simplemente el nombre del autor. Recuperará las publicaciones efectuadas por el autor de su interés o podrá comprobar si resulta citado por otros autores o autoridades. 4.- Tenga en cuenta que en Internet pueden considerarse como evaluados, en cuanto a calidad, los materiales que correspondan a: Revistas que cuentan con ISSN y que se encuentran editadas electrónicamente. Artículos que han sido tomados de revistas Libros y capítulos de libros editados en la red. Sitios web de carácter informativo de diferentes organizaciones sin fines de lucro o con carácter académico. Conclusiones En una Sociedad o Economía del Conocimiento, en la que la bases de la creación del valor lo constituye, el conocimiento, y el foco central de la economía, es el conocimiento a través de la innovación, más que a través de la producción o distribución masiva de productos, es incuestionable la necesidad de manejar la información, como un producto, de modo que la generación de nuevos conocimientos se efectúe mediante el procesamiento de la "información adecuada" En esta nueva economía en que el conocimiento establece las nuevas relaciones de producción, resulta indispensable crear información de calidad que de lugar a su vez, a la creación de conocimiento, considerando por supuesto todos los atributos característicos de una información de calidad y el carácter subjetivo que encierra este concepto, lo que determina la complejidad del proceso. Para superar las dificultades en cuanto a disponibilidad y calidad de recursos de información, han surgido iniciativas entre algunas instituciones, organizaciones e incluso aportes personales, por ejemplo con la creación de directorios y pasarelas temáticas, alianzas corporativas entre otras y una serie de herramientas categorizadas como Códigos de Conducta, Etiquetas de Calidad, Filtros, Certificaciòn por Terceras Partes y Guías de Usuarios. Pero a pesar de ello los especialistas en calidad de la información en Internet consideran que estas herramientas aun son insuficientes, no funcionales y resultan muy simples o bien de muy compleja interpretación. Los aspectos de calidad en los contenidos, resultan muy difíciles de evaluar, pues resulta imposible tener un dominio en todos los temas en los que realizamos alguna consulta, que nos permita discriminar, que autores ofrecen información confiable y quienes no, por lo que se ha hecho necesario valorar criterios de carácter general, para al menos tener una aproximación, a un criterio de calidad, deteniéndose a considerar además, que cada tipo de recurso de información debe tener su propio esquema de evaluación. Para los que se inician en la búsqueda de información en Internet, resulta sumamente difícil realizar un análisis en cuanto a la calidad de la información consultada, pero es posible observar algunos elementos básicos, como los que aparecen en la guía de usuario que hemos elaborado, reuniendo los criterios de varios autores. Bibliografía 1- Wilson P. How to find the good and avoid the bad or ugly: a short guide to tools for rating quality of health information on the internet. BMJ [on-line] Mars 9 2002;324(7337):598-602. Disponible en: <http://bmj.bmjjournals.com/cgi/content/full/324/7337/598>. 2- KIlley R. Letters. Does the internet harm health? BMJ [on-line] Jan 26 2002;324(7331):238 .Disponible en: <http://bmj.bmjjournals.com/cgi/content/full/324/7331/238/a --> 3- Fresno C. Cañedo R. Propuesta preliminar de adquisición de posibles publicaciones seriadas primarias para RESUMED. ACIMED [en línea] Septiembre-Diciembre1997;5 (3):11-13. Disponible en: <http://bus.sld.cu/revistas/aci/vol_5:3:97/aci05397.htm>. 4- Cañedo R. Identificación, evaluación, selección y adquisición de fuentes y canales de información en las organizaciones científicas ACIMED Mayo-Agosto1996; 2(4):25-35 5- Camacho K. Internet como herramienta para el cambio social. Elementos para una discusión necesaria [en línea] Fundación Acceso, 2002. Disponible en: <http://www.acceso.org.cr/publica/Telecom/conocimiento22.shtml>. 6- Castells M. The Information Age: Economy, Society, and Culture. [on-line] Vol.3 End of Millenium. Oxford and Mal den,Ma: Blackwell Publisher; 1998. Disponible en <http://sociology.berkeley.edu/faculty/castells/trilogy_reviews.html>. 7- Morales E. La Sociedad de la información en el siglo XXI y la Biblioteca Universitaria. Revista Digital Universitaria [en línea] 30 de Junio 2001; vol. 2 No.2.Disponible en <http://www.revista.unam.mx/curriculum.html#estela>. 8- English L. Information Quality in the Knowledge Age. Information Impact. DM Review [on-line ] November 2000. Disponible en: < http://www.dmreview.com>. 9- Stewart T. Intellectual Capital: The New Wealth of Organization[online ]KI Executive Editor. Doubleday/Currency. N.Y.,1999. Disponible en: < http://members.aol.com/thosstew/>. <http://www.knowledgeinc.com>. 10- Crosby P. Strategic Quality Management [on-line ] Philip Crosby Associates. Asia Pacific Region. Archived Assays,2000. Disponible en: <http://q2000com.au/philipcrosby>. 11- Nielsen J. Top Ten Mistakes Revisited Three Years Later[on-line ]The Alertbox: Current Issues in Web Usability,1999. Disponible en: <http://www.useit.com/alertbox/990502.html>. 12- Ciolek T. Information Quality WWW Virtual Library. The Internet Guide to Construction of Quality Online Resources [on-line ] The World-Wide Web Virtual Library ,15 Mar 1996.Last updated: 10 Oct 1999. Disponible en: <http://www.ciolek.com/WWWVL-InfoQuality.html>. 13- Alexander J. Tate M. Checklist for an Informational Web Page[on-line ] Wolfgram Memorial Library. Widener University, Oct 1996.Last Revised: 11 Sept 1999.Disponible en: <http://www2.widener.edu/Wolfgram-Memorial-Library/inform.htm>. 14- Hootman J. Evaluating Internet Resources. Points to consider [on-line ] Milner Library. Illinois State University. Last revised: September 9, 2002.Disponible en: <http://www.mlb.ilstu.edu/ressubj/subject/intrnt/evaluate.htm>. 15- Auer N. Bibliography on Evaluating Internet Resources[online ]Virginia Tech University Libraries. Last Updated: April 25, 2003. Disponible en: <http://www.lib.vt.edu/research/evaluate/evalbiblio.html>. 16- Berten F. L'évaluation d'un site [on-line] Commission Français et Informatique ,2003.Disponible en: < http://users.skynet,be/ameurant/francinfo/index.html >. 17- Kahn B. Strong D. Wang R. Information quality benchmarks. Product and service performance. Communications of the ACM [on-line] April 2002; vol.45 no.4. Disponible en: <http://www.crg2.com/igconference/documents/publications/TDQMpub/KahnStrongWangCACMApro2.pdf>. 18- Eysembach G. Diepsen T. Towards quality management of medical information on internet: evaluation labeling and filtering of information BMJ[on-line ] 20 November 1998;317(7171):1496-1502.Disponible en: <http://www.bmj.com/cgi/content/full/317/7171/1496? >. 19- Garfield E Significant Journals In Sciences. Nature 1976; 264:609 -615 20- Charatan F. American Medical Association launches new Internet "Supersite" BMJ 1999; 319:1217-1222. 21- CHIQ . Guidelines for producing Health Information [on-line ] The Center for Health Information Quality, December 2003. Disponible en: <http://www.hfht.org/chiq/quality.htm>. 22- eEurope 2002 .Guidelines for Quality Criteria for Health Related Websites [on-line ] eHealth High Level Conference Brussels, Charlemagne, 22-23 May 2003 .Last Updated: 23/06/2003. Disponible en: <http://europe.eu.in/information_society/europe/ehealth/quality/draft_guidelines/index_in-htm>. 23- Eysenbach G. Kohler C. How do consumers search for an appraise health information on the world wide web?. Quantitative study using focus group, usability tests and in depth interviews BMJ[on-line ] 9 March 2002;324(7337):573-577.Disponible en: <http://wwww.bmj.bmjjournals.com/cgi/content/full/324/7337/573>. 24- Gagliardi A. Jadad A. .Examination of instruments used to rate quality of health information on the internet: Chronicle of a voyage with an unclear destination BMJ [on-line ] 9 March 2002;324(7337):559-567.Disponible en: <http://wwww.bmj.bmjjournals.com/cgi/content/full/324/7337/573>. 25- Phillips M. Critical evaluation of resources [on-line] UC Berkeley Library, 2002.: .Last Updated: marzo 2002. Disponible en: <http//www.lib.berkeley.edu/teachingLib/Guides.Evaluation.html>. 26- Ormondrayd J. Critically Analyzing Information Sources [on-line] Reference Services Division Olin * Kroch* Uris Libraries Cornell. University Library, 2003. Last Updated: 15 august 2003. Disponible en: <http://www.library.cornell.edu/okuref/research/skill26.htm>. 27- Kirk E. Evaluating Information Found on the Internet [on-line] The Sheridan Libraries of the Johns Hopkins University, 2002. Last Updated: 06/5/2002. Disponible en: < http://www.library.jhu.edu/elp/useit/evaluate.html>. 28- Beck S. " Evaluation Criteria ". The Good, The Bad & The Ugly or, Why it`s a Good idea to Evaluate web Sources [online]. Institute for Technology - Assisted Learning. New Mexico State University, 1997. Last Updated: Jan 11 2004. Disponible en : <http://lib.nmsu.edu/instruction/evalcrit.html. >. 29- Binghamton University Libraries. The ABCDs of Evaluating Internet Resources [on-line]. Binghamton University Libraries, August 14, 1998. Last Updated: april 8 2003. Disponible en: < http://library.lib.binghamton.edu/search/evaluation.html >.