Loading...
EVALUACION DE INFORMATICA
Quiz by Consuelo Ferrer
Customize this quiz to suit your class
Instantly translate to 100+ languages
Tag the questions with any skills you have. Your dashboard will track each student's mastery of each skill.
Give this quiz to my class
EVALUACIÓN DE INFORMÁTICA EVALUACION DE INFORMATICA 3F-UNIDAD 1: Création d'un test en ligne pour une évaluation de fin de semestre en informatique EVALUER LE RISQUE CLIENT I Les enjeux liés au risque client II la prise de renseignements pendant la phase commerciale III L’évaluation de la solvabilité d’un prospect ou client 1. A partir du bilan comptable 2. A l’aide d’indicateurs internes IV Les outils d’évaluation des risques I Les enjeux liés au risque client 1. Définition et critères de risques On entend par risque client l’ensemble des situations dans lesquelles le client pourrait compromettre la pérennité du fournisseur. Quelques critères permettent de repérer le risque client : - la taille et l’âge de l’entreprise - le produit qu’elle propose, - son client avec ses propres clients (la sous traitance par exemple induit un lien de dépendance) - le secteur sur lequel elle évolue - la concurrence qu’elle subit - et le montant de ses disponibilités On peut ainsi répartir les degrés de risque : 2. Les impayés clients : première cause de faillite des entreprises Par principe, l’entreprise dépense avant d’encaisser. En accordant des délais de paiement, elle se prive de trésorerie. Elle a alors un besoin en fonds de roulement (BFR), c'est-à-dire besoin de disposer d’une trésorerie d’avance. Tout retard de paiement engendre donc une augmentation du BFR que l’entreprise n’est parfois plus en état de couvrir (découvert bancaire).Lorsque le client est insolvable, c’est un manque de trésorerie qui pèse sur l’entreprise et donc sur sa pérennité. La PME limite donc les risques si certains de ses clients payent comptant. Les entreprises activent donc plusieurs stratégies pour faire face à leurs impayés : 29% gèrent les relances en interne, 24% négocient des facilités de caisse avec leur banque et 19% négocient avec les fournisseurs. II la prise de renseignements pendant la phase commerciale L’entreprise qui souhaite conclure un contrat avec un prospect professionnel peut consulter un certain nombre de documents disponibles auprès d’organismes. Les organismes les plus sollicités sont : - la greffe du tribunal de commerce : elle délivre gratuitement des informations sur les entreprises immatriculées au registre du commerce et des sociétés telles que les statuts, les comptes annuels, l’état d’endettement, l’extrait kbis. L'extrait Kbis représente la véritable « carte d'identité » à jour d'une entreprise immatriculée au Registre du Commerce et des Sociétés (RCS). - les sociétés spécialisées fournissent des informations commerciales et financières, des documents comptables et des analyses payantes permettant de vérifier l’état de santé des entreprises : - les cabinets de recouvrement et sociétés d’assurance : ils réalisent des enquêtes de solvabilité et émettent un avis sur le risque de défaillance sous forme de score ou de note. - Les banques : les entreprises sont notées par les banques. La cotation de la banque mesure la capacité de l’entreprise à honorer ses engagements financiers sur 3 ans. Grâce à cette cotation, la PME peut ainsi , par l’intermédiaire de la banque, vérifier si le prospect ou client est solide financièrement. III L’évaluation de la solvabilité d’un prospect ou client La solvabilité correspond à la capacité de l’entreprise à faire face à ses engagements à long terme. L’entreprise est solvable si la valeur de ses actifs (immobilisations, créances, stocks et disponibilités) est supérieure à ses emprunts et dettes. Une entreprise peut être solvable mais peut manquer de liquidités, c'est-à-dire d’argent disponible au quotidien. La liquidé mesure donc la capacité de l’entreprise à faire face à ses engagements à court terme. 1. A partir du bilan comptable Le bilan comptable fournit des indications sur la santé financière de l’entreprise prospect Les définitions que vous devez maitriser : • Pour l’actif : C’est quoi une Immobilisation ? La notion d'immobilisation intègre l'ensemble des biens durables détenus par une entreprise sur plus d'un exercice comptable et qui ne sont pas destinés à la revente. Les immobilisations financières correspondent aux actifs financiers d'utilisation durable possédés par l'entreprise. Il s'agit notamment des titres de participation, des prêts accordés… Les immobilisations incorporelles comprennent les frais d'établissement, les frais de recherche et développement, les concessions, brevets, licences, marques, logiciels et autres droits similaires, le droit au bail, le fonds commercial. Une immobilisation corporelle correspond à un actif physique que l’entreprise entend utiliser au-delà de la clôture de l’exercice comptable en cours : les terrains, les constructions, l’agencement et les installations générales, l’outillage, le matériel, les véhicules, le mobilier et les équipements informatiques. Que signifie disponibilités ? Le poste "Disponibilités" est constitué des montants détenus en caisse (pièces et billets que l'entreprise possède) et des avoirs en banque (argent détenu sur les comptes bancaires de l'entreprise). On utilise également le terme de trésorerie. C’est quoi une valeur mobilière de placement ? Ce sont des titres financiers, actions ou obligations. En comptabilité, elles correspondent aux excédents de trésorerie placés par l'entreprise. • Pour le passif : Que signifie capitaux propres ? Les capitaux propres sont les ressources financières que possède l'entreprise Le capital social d’une entreprise est égal au montant total des apports de biens et d’argent des associés Que signifie réserves ? Cumul des bénéfices des exercices antérieurs qui n'ont pas été redistribués aux propriétaires de l'entreprise, ni intégrés dans son capital Que signifie résultat ? Il correspond aux ressources restantes à l'entreprise une fois les charges déduites du chiffre d'affaires. 2 A l’aide d’indicateurs internes Une entreprise manque souvent de temps et de moyens pour suivre l’ensemble des ses encours clients. Toutefois, il est nécessaire d’analyser régulièrement certains supports pour anticiper les problèmes de trésorerie. Elle peut - analyser son portefeuille clients via la méthode ABC (vu dans un chapitre précédent), - prendre du recul sur les retards de paiement : le service comptable signale les retards de paiement ou les demandes régulières de report d’échéances. La balance âgée permet de visualiser les clients à relancer Exemple : - mettre en place des indicateurs de suivi des impayés via un tableau Excel Exemple : IV Les outils d’évaluation des risques Les entreprises peuvent se procurer des logiciels dédiés au risque client mais il sont souvent très complexes à utiliser. Certaines entreprises utilisent le crédit management : c’est l’ensemble des procédures financières ou juridiques visant à optimiser le chiffre d’affaires de l’entreprise en accélérant les règlements clients. Une des méthodes de crédit management s’appelle la méthode des points de risque. Elle consiste à classer les clients selon leur risque afin de leur fixer des modalités de paiement adaptés. Elle permet donc d’évaluer les risques de coopération et de se prémunir au cas par cas. Exemple de tableau des points de risqueCaractéristiques générales de la synthèse de documents La synthèse est un exercice assez simple, car très technique. Pour réussir, il faut néanmoins faire preuve de rigueur car elle est très codifiée. Les pièges de la synthèse La plupart des étudiants ignorent la technique de synthèse telle qu’elle est attendue en BTS. Aussi plusieurs pièges sont à éviter. La synthèse n’est pas une dissertation personnelle Premier écueil : si l’on se souvint de la consigne vue plus avant, le travail demandé doit être objectif. Aucun point de vue personnel ou même appréciation subjectif sur les documents ne doit apparaître dans la rédaction. On recommande d’ailleurs aux étudiants de ne pas utiliser le pronom « je » dans leur travail de façon à éviter tout malentendu. Le candidat doit donc rapporter les idées des auteurs de façon neutre, sans jugement de valeur. La synthèse n’est pas un résumé des documents La plus grande erreur commise en première année de BTS consiste à résumer les documents, les uns après les autres. Un petit détour par l’étymologie nous permettra de mieux comprendre le travail attendu. Le terme « synthèse » vient du grec sunthesis qui signifie « mise en commun ». Il s’agit donc de rassembler les informations collectées dans les différents documents en un ensemble organisé, donc cohérent. Les idées doivent être confrontées en établissant des liens entre les documents. La synthèse n’est pas un montage de citations Le Bac de français est derrière vous. Oubliez (en partie) cette épreuve. Ici, pas de citations, de numéros de lignes pour appuyer votre rédaction. Votre travail consiste à reformuler de façon synthétique le contenu et les enjeux des documents. La nature du travail demandé Une consigne codifiée pour rédiger votre synthèse Trois adjectifs dans cette consigne. Tout d’abord, la synthèse doit être concise, c’est-à-dire courte et dense. Quatre pages maximum sont généralement attendues à l’épreuve. Nous l’avons déjà évoqué plus haut, la synthèse est un exercice absolument objectif. Aucune idée extérieure aux documents ni commentaire personnel ne doivent figurer dans la rédaction. Enfin, la synthèse est un travail ordonné. Un plan soutient donc la rédaction, on attend ainsi : • une introduction; • un développement; • une conclusion. La démarche à adopter pour votre synthèse La préparation de la synthèse se décompose en deux temps : • Un premier temps consacré à la lecture active de chaque document. Les idées importantes sont relevées, les arguments sont listés, le raisonnement de l’auteur est analysé. • Un second temps consacré à la mise en relation des différents documents de façon à établir des liens entre eux : il s’agit en fait de recomposer un débat entre les auteurs. Sont-ils d’accord ? S’opposent-ils ? Si oui sur quels point ? … La synthèse : un acte de communication On veut donc vérifier que vous savez « lire » : c’est-à-dire que vous êtes capable de comprendre ce qui est écrit dans les documents et de reformuler selon des contraintes de longueur de texte. L’étymologie du verbe « lire » nous le confirme : legere, en latin, signifique « choisir » La méthodologie de synthèse en 10 points Voici un récapitulatif des 10 maladresses principales à éviter et des 10 règles à adopter Les interdits de la synthèse 1. Faire des citations des auteurs des documents pour soutenir les idées avancées. 2. Donner son avis, émettre des remarques subjectives : ex : l’auteur oublie malheureusement que… 3. Faire des références à des documents hors corpus, faire allusion à une autre œuvre de l’auteur. 4. Rédiger un « catalogue » des idées sans lien logique entre elles. Rédiger au fil de son inspiration. 5. Rédiger une synthèse longue et détaillée. 6. Laisser de côté un document, parce que l’on ne l’a pas compris ou qu’il nous semble inintéressant… 7. Utiliser le pronom « je ». 8. Faire un plan apparent (A, B…) avec des titres. 9. Juxtaposer des résumés des documents. 10. Faire référence aux documents par le numéro attribué dans le dossier. Ce qu’il faut faire 1. Reformuler les idées. 2. Rester neutre, objectif. 3. Ne traiter que les documents proposés. 4. Traiter les idées selon un plan précis. 5. Quatre pages maximum 6. Traiter tous les documents, même de façon inégale, certains documents sont plus « riches » en idées que d’autres. 7. Préférer le « on » ou le « nous ». 8. Rédiger sans titres avec des phrases de transition. 9. Confronter les idées communes aux documents. 10. Faire référence aux documents par le nom de l’auteur et l’initiale du prénom. Si ces 10 règles sont respectées, une importante partie de la méthode est acquise ! L'évaluation du travail de synthèse On se rappelle que cette épreuve est notée sur 40 points. En règle générale, les correcteurs adoptent le barème suivant qui vise à valider 4 grandes compétences, chacune notée sur 40 points. Comprendre les documents Ces 10 premiers points valident vos compétences de lecture : Les idées essentielles ont-elles été bien relevées ? Tous les documents ont-ils été bien compris ? L’unité thématique des documents doit apparaître ans le traitement des informations collectées. Confronter Le correcteur vérifiera notamment que tous les documents ont bien été exploités, qu’aucune « impasse » n’a été faite. Il sanctionnera, le cas échéant, l’ajout d’idées extérieures. Certains étudiants pensent que l’introduction d’idées extérieures vient enrichir leur travail et montre leur connaissance du sujet. Il faudra attendre l’épreuve d’écriture personnelle pour le faire. Ici, rappelons-le, seuls les documents proposés à l’étude figurent dans la synthèse. La confrontation des idées sera également évaluée : Le candidat a-t-il établi des liens entre les idées des auteurs ? Chaque partie de la rédaction repose-t-elle sur plusieurs documents ? Structurer Quelle que soit la logique suivie, la synthèse suit un plan. Introduction et conclusion doivent apparaître clairement. La rédaction suit une ligne directrice et un parcours. Les documents sont référencés, l’ensemble est organisé. Utilisez des connecteurs logiques pour lier les parties entre elles. Ils faciliteront grandement la lecture et la progression de vos idées sera plus claire. Rédiger & reformuler Une expression écrire claire est attendue. Elle respecte les normes et usages de la langue écrite courante. La richesse du vocabulaire sera valorisée. Le tout est rédigé : pas de tirets, de titres ou de tissage de citations. Les propos des auteurs sont reformulés, on sanctionnera ici toute formulation d’appréciations personnelles.What is a rubric? A tool comprising a set of criteria (with possible levels of performance quality on the criteria) developed to assess learners’ work, from written to oral to visual. It is used tomeasureperformance,suchastheprocess of doing something (e.g.,playing a musical instrument, making a speech) or products of the learners’ work (e.g., concept map, laboratory report, bookshelf) (Brookhart, 2013). BENEFITS OF USING RUBRICS Support authentic assessment Reflects how well learners are able to apply knowledge inthe real-world context. Communicate expectations Gives learners an idea of what is expected of them. It is especially useful when the rubrics are communicated to the learners before they are assessed. Improve performance Explicit criteria and performance level descriptions allow learners to understand the desired performance. Learners are able to assess themselves by referring to the specific criteria and performance-level descriptions. Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Promote thinking andlearning 4 Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Learners are able to review and revise their work,thus reflecting on their learning experiences. Ensure fairness Learner performance assessed fairly given its objectivity. It helps avoid disputes between learners and instructors about the scores/grades achieved. TYPES OF RUBRIC ANALYTIC It consists of individual criterion with corresponding descriptor of performance. HOLISTIC It consists of performance descriptors that are placed together to refeclet to overalll performance. ANATOMY OF ANANALYTIC RUBRIC Rating scales with corresponding scores or weights The row represents the criteria for the desired performance, while the column represents the evaluation score. Under the rating scale (corresponding weights orscorescanbeassigned),theperformance descriptors are explicitly stated ANATOMYOF AHOLISTICRUBRIC Descriptions: It comprises the rating scale (corresponding weights or scores can be assigned) in the row while the combined desired performance descriptors are placed in the column. Description of the task The purpose of the assignment is to assess learner’s cognitive and analytic skills in applying knowledge gained and constructed throughout the course Diffusion of Innovation,bywatching the Surrogates movieand writing ananalytical review of the movie in the context of innovation diffusion.Iwant to provide learners with informative feedback on their cognitive and analytic skills such as the following: applying the concepts of innovation diffusion,making judgmentson the scenes related to innovation diffusion identified from the movie,selecting and critiquing theories of innovation diffusion and making connections between the theories,aswell asarguingand proposing necessary solutions to the problemss hown in the movie. ESTABLISHING ALTERNATIVEASSESSMENTINHIGHEREDUCATION VALIDITYAND RELIABILITYOF RUBRICS. Validity Measuring what is supossedto be measured. Reability Yielding consists results. Instruments that are used in the alternative assessment must be aligned to the learning outcomes and measure well what it intends to measure (valid) and produce consistent scores (reliable). The valid instrument will manifest the true ability (latent trait) of learners and permit appropriate inferences to be made about a specific group of people for specific purposes. TYPES OF VALIDITY FACE VALIDITY Simple form of validity thatapplies a superficial and subjective assessment whether the instrument measures what it is supposed to measure. CONTENT VALIDITY Refers to the extent to which the items on a measure assess the same content or how wellthe content material was sampled inthe measure. CONSTRUCT VALIDITY Refers to the extent to which the test may be said to measure a theoretical construct or trait. CONCURRENT VALIDITY Refers to the extent to which scores onanewmeasure are related to scores from a criterion measure administered at the same time. PREDICTIVE VALIDITY Refers to the uses of the scores from the new measure to predict performance on a criterion measure administered ata later time. STEPS TO CONSIDER WHEN ESTABLISHING CONTENT VALIDITY Calculate the level of expert agreeement for the content validity, get expert to verfy. Interview the expert ,make meta contentdata análisis from literatura. STEPS TO CONSIDER WHEN ESTABLISHING CONSTRUCCT VALIDITY Administer the instrument for alll learners, revise any item necccesay, run an apropriates statistical analiysis, administerthe instrument to learners as a pilot test . CONSTRUCTMAP Morepreciseconceptthan construct. Ranges from one extreme to another(fromhightolow,small tolarge,positivetonegative,or strongtoweak). Identifiesthepositionofthe respondentsinthisrange. Representativenessofsampling (questions and ability of respondents). EXAMPLEO FACONSTRUCTMAP:AFFECTIVE LEVELOF AFFECTIVE VARIABLES EXAMPLESOFITEMSIN MEASURINGTEAM WORKING SKILLS 5. Characterisation Learnersvolunteerstodothe groupworks. 4. Organisation Learners are willing to help others,althoughitisnottheir scopeoftask. 3. Valuing Learners respect other team members’opinionwhendoing thediscussion. 2. Responding Learnergivescooperationwhen neededingroupworks. 1. Receiving Learneracceptsthediversityof races and nationalities among groupmembers. EXAMPLEOFACONSTRUCTMAP:PSYCHOMOTOR LEVELOF PSYCHOMOTOR VARIABLES EXAMPLESOFITEMSIN MEASURING DIGITAL SKILLS 7.Origination Learnerscanmodifytheirowndevicesto performbetter. 6.Adaptation Learnerscansolveandtroubleshootthe problemwhileusingthecomputer. 5.ComplexOvertResponse Learnerscanusethecomputercompetently. 4.Mechanism Learners can use the computer independently,butstillmakeminorerrors. 3.GuidedResponses Learnerscanusethecomputer,butstill needguidance. 2.Set Learnersarereadytousethecomputer. 1.Perception Learnerscanobservehowtousecomputer. EXAMPLEOFACONSTRUCTMAP:COGNITIVE LEVELOF COGNITIV E VARIABLES EXAMPLESOFITEMS IN MEASURING THINKINGSKILLS 6. Creating Learners are able to suggest anewmodelorframeworkof learningdigitalcommunity. 5. Evaluating Learners are able to judge the impactofthescenariotowards educationperspective. 4. Analysing Learnerscandifferentiate the factsusingafew theories. 3. Applying Learnerscansolveproblems usingthefactsgiven. 2. Understanding Learnersareabletoexplainthe factsusingtheirownwords. 1. Remembering Learnersonlymemorisethe. Direction of Increasing “X” Learners Learners with high “X” Learners with mid range “X” Learners with low “X” Responses to Item Item response indicate highest level of X Item response indicate higher level of X Item response indicate lower level of X The construct map shows the lower ability students are in line with the lower level of items. This shows that when educators plan to develop an instrument, it Item response indicate lowest level of X Direction of Decreasing “X” is crucial to create an item difficulty thatrepresents learners’ ability. Learners’ ability Learners who engage in level characterisation Learners who engage in level organisation Learners who engage in level valuing Learners who engage in level responding Learners who engage in level receiving Direction of Decreasing“X” MEASURINGCONSTRUCTVALIDITY Unlike content validity, this construct validity can be analysed using statistical analysis. Use Exploratory FactorAnalysis [EFA], Confirmatory FactorAnalysis [CFA] or Unidimensionality to confirm all items are measuring the right construct and the raw variance explained for the latent variables is sufficient. Gap initem map also can show accuracy in construct validity. RELIABILITY The degree to which test scores are consistent over repeated administrations of the same/ equivalent test and therefore considered dependable and repeatable for an individual learner.A test thatproduces highly consistent and stable results (i.e. relative free from random error) is said to be highly reliable. TYPESOFRELIABILITY Test-retest demonstrates the stability of a measure over time 01 Internal consistency most of the items within a rating scale of a concept show consistency of scoring. Inter-rater the extent to which two or more independent raters are consistent in observing, recording and scoring data (should be 70% or higher agreement) 04 Intra-rater relies on one rater to rate an object or event twice (70% or higher of agreement) FACTORSAFFECTING VALIDITYANDHOWTO INCREASEVALIDITY? FACTORS AFFECTING VALIDITY HOWTO INCREASE VALIDITY? 1. Inaccuracy of items in measuringtheoutcomes 1. Vetting session to get reviewsfromtheexpert. 2. Pooritemsdevelopment 2. Followtheformatandtips indevelopinggooditems. 3. Unclearinstructions 3. Do pilot testing to measuretheusabilityof thetest. 4. Interveningevents 4. Controltheinternalthreats validityfactors. 5. Itemsdifficultyisnot suitableforthelearners 5. Create a construct map toensurethereisanitem thatrepresentslearners ability. FACTORS AFFECTING RELIABILIT Y HOWTOINCREASERELIABILITY? 1. TestLength 1. Thetestlengthshouldbeappropriate withtestdifficulty. 2. Test retest interval 2. Suggesteddurationisbetween3 weeksto2months. 3. Variability of scores 3. Doconstructmaptoensuretheitems aresuitablewithlearners’ability. 4. Guessing 4. Penalisetheguessinganswers.You alsocandetecteitherthelearnersare guessing or not using the statistical analysis named guessing analysis andpersonfitanalysis. 5. Inconsistency score from different raters 5. Appointtheratertomarkcertain questionsforalllearners(Thisalways happen when you have more than onesectionandhavemorethanone lecturer). CONCLUSION Coming back to the issue of validity and reliability in assessment, there is a need for educators to put an effort to ensurethattheitemsintheformofquestionsorinstructions arenotonlyclearbutalsoabletomeasurewhatitisintended tomeasurebasedontherelatedlearningoutcomes. Establishingvalidityandreliabilityofinstrumentscan provide educators with some indications of the quality of the measuring tools being used. Valid and reliable instruments enabletheeducatorstocontinuouslyusethemeasuringtools withoutreservation. Reliablenot valid Precisenot Accurate Reliableand valid Preciseand Accurate NotReliable butvalid NotPrecisebut Accurate NotReliable butNotvalid NotPrecisebut NotAccurate 94 We found you were making a quiz on the subject of "What is a rubric? A tool comprising a set of criteria (with possible levels of performance quality on the criteria) developed to assess learners’ work, from written to oral to visual. It is used tomeasureperformance,suchastheprocess of doing something (e.g.,playing a musical instrument, making a speech) or products of the learners’ work (e.g., concept map, laboratory report, bookshelf) (Brookhart, 2013). BENEFITS OF USING RUBRICS Support authentic assessment Reflects how well learners are able to apply knowledge inthe real-world context. Communicate expectations Gives learners an idea of what is expected of them. It is especially useful when the rubrics are communicated to the learners before they are assessed. Improve performance Explicit criteria and performance level descriptions allow learners to understand the desired performance. Learners are able to assess themselves by referring to the specific criteria and performance-level descriptions. Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Promote thinking andlearning 4 Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Learners are able to review and revise their work,thus reflecting on their learning experiences. Ensure fairness Learner performance assessed fairly given its objectivity. It helps avoid disputes between learners and instructors about the scores/grades achieved. TYPES OF RUBRIC ANALYTIC It consists of individual criterion with corresponding descriptor of performance. HOLISTIC It consists of performance descriptors that are placed together to refeclet to overalll performance. ANATOMY OF ANANALYTIC RUBRIC Rating scales with corresponding scores or weights The row represents the criteria for the desired performance, while the column represents the evaluation score. Under the rating scale (corresponding weights orscorescanbeassigned),theperformance descriptors are explicitly stated ANATOMYOF AHOLISTICRUBRIC Descriptions: It comprises the rating scale (corresponding weights or scores can be assigned) in the row while the combined desired performance descriptors are placed in the column. Description of the task The purpose of the assignment is to assess learner’s cognitive and analytic skills in applying knowledge gained and constructed throughout the course Diffusion of Innovation,bywatching the Surrogates movieand writing ananalytical review of the movie in the context of innovation diffusion.Iwant to provide learners with informative feedback on their cognitive and analytic skills such as the following: applying the concepts of innovation diffusion,making judgmentson the scenes related to innovation diffusion identified from the movie,selecting and critiquing theories of innovation diffusion and making connections between the theories,aswell asarguingand proposing necessary solutions to the problemss hown in the movie. ESTABLISHING ALTERNATIVEASSESSMENTINHIGHEREDUCATION VALIDITYAND RELIABILITYOF RUBRICS. Validity Measuring what is supossedto be measured. Reability Yielding consists results. Instruments that are used in the alternative assessment must be aligned to the learning outcomes and measure well what it intends to measure (valid) and produce consistent scores (reliable). The valid instrument will manifest the true ability (latent trait) of learners and permit appropriate inferences to be made about a specific group of people for specific purposes. TYPES OF VALIDITY FACE VALIDITY Simple form of validity thatapplies a superficial and subjective assessment whether the instrument measures what it is supposed to measure. CONTENT VALIDITY Refers to the extent to which the items on a measure assess the same content or how wellthe content material was sampled inthe measure. CONSTRUCT VALIDITY Refers to the extent to which the test may be said to measure a theoretical construct or trait. CONCURRENT VALIDITY Refers to the extent to which scores onanewmeasure are related to scores from a criterion measure administered at the same time. PREDICTIVE VALIDITY Refers to the uses of the scores from the new measure to predict performance on a criterion measure administered ata later time. STEPS TO CONSIDER WHEN ESTABLISHING CONTENT VALIDITY Calculate the level of expert agreeement for the content validity, get expert to verfy. Interview the expert ,make meta contentdata análisis from literatura. STEPS TO CONSIDER WHEN ESTABLISHING CONSTRUCCT VALIDITY Administer the instrument for alll learners, revise any item necccesay, run an apropriates statistical analiysis, administerthe instrument to learners as a pilot test . CONSTRUCTMAP Morepreciseconceptthan construct. Ranges from one extreme to another(fromhightolow,small tolarge,positivetonegative,or strongtoweak). Identifiesthepositionofthe respondentsinthisrange. Representativenessofsampling (questions and ability of respondents). EXAMPLEO FACONSTRUCTMAP:AFFECTIVE LEVELOF AFFECTIVE VARIABLES EXAMPLESOFITEMSIN MEASURINGTEAM WORKING SKILLS 5. Characterisation Learnersvolunteerstodothe groupworks. 4. Organisation Learners are willing to help others,althoughitisnottheir scopeoftask. 3. Valuing Learners respect other team members’opinionwhendoing thediscussion. 2. Responding Learnergivescooperationwhen neededingroupworks. 1. Receiving Learneracceptsthediversityof races and nationalities among groupmembers. EXAMPLEOFACONSTRUCTMAP:PSYCHOMOTOR LEVELOF PSYCHOMOTOR VARIABLES EXAMPLESOFITEMSIN MEASURING DIGITAL SKILLS 7.Origination Learnerscanmodifytheirowndevicesto performbetter. 6.Adaptation Learnerscansolveandtroubleshootthe problemwhileusingthecomputer. 5.ComplexOvertResponse Learnerscanusethecomputercompetently. 4.Mechanism Learners can use the computer independently,butstillmakeminorerrors. 3.GuidedResponses Learnerscanusethecomputer,butstill needguidance. 2.Set Learnersarereadytousethecomputer. 1.Perception Learnerscanobservehowtousecomputer. EXAMPLEOFACONSTRUCTMAP:COGNITIVE LEVELOF COGNITIV E VARIABLES EXAMPLESOFITEMS IN MEASURING THINKINGSKILLS 6. Creating Learners are able to suggest anewmodelorframeworkof learningdigitalcommunity. 5. Evaluating Learners are able to judge the impactofthescenariotowards educationperspective. 4. Analysing Learnerscandifferentiate the factsusingafew theories. 3. Applying Learnerscansolveproblems usingthefactsgiven. 2. Understanding Learnersareabletoexplainthe factsusingtheirownwords. 1. Remembering Learnersonlymemorisethe. Direction of Increasing “X” Learners Learners with high “X” Learners with mid range “X” Learners with low “X” Responses to Item Item response indicate highest level of X Item response indicate higher level of X Item response indicate lower level of X The construct map shows the lower ability students are in line with the lower level of items. This shows that when educators plan to develop an instrument, it Item response indicate lowest level of X Direction of Decreasing “X” is crucial to create an item difficulty thatrepresents learners’ ability. Learners’ ability Learners who engage in level characterisation Learners who engage in level organisation Learners who engage in level valuing Learners who engage in level responding Learners who engage in level receiving Direction of Decreasing“X” MEASURINGCONSTRUCTVALIDITY Unlike content validity, this construct validity can be analysed using statistical analysis. Use Exploratory FactorAnalysis [EFA], Confirmatory FactorAnalysis [CFA] or Unidimensionality to confirm all items are measuring the right construct and the raw variance explained for the latent variables is sufficient. Gap initem map also can show accuracy in construct validity. RELIABILITY The degree to which test scores are consistent over repeated administrations of the same/ equivalent test and therefore considered dependable and repeatable for an individual learner.A test thatproduces highly consistent and stable results (i.e. relative free from random error) is said to be highly reliable. TYPESOFRELIABILITY Test-retest demonstrates the stability of a measure over time 01 Internal consistency most of the items within a rating scale of a concept show consistency of scoring. Inter-rater the extent to which two or more independent raters are consistent in observing, recording and scoring data (should be 70% or higher agreement) 04 Intra-rater relies on one rater to rate an object or event twice (70% or higher of agreement) FACTORSAFFECTING VALIDITYANDHOWTO INCREASEVALIDITY? FACTORS AFFECTING VALIDITY HOWTO INCREASE VALIDITY? 1. Inaccuracy of items in measuringtheoutcomes 1. Vetting session to get reviewsfromtheexpert. 2. Pooritemsdevelopment 2. Followtheformatandtips indevelopinggooditems. 3. Unclearinstructions 3. Do pilot testing to measuretheusabilityof thetest. 4. Interveningevents 4. Controltheinternalthreats validityfactors. 5. Itemsdifficultyisnot suitableforthelearners 5. Create a construct map toensurethereisanitem thatrepresentslearners ability. FACTORS AFFECTING RELIABILIT Y HOWTOINCREASERELIABILITY? 1. TestLength 1. Thetestlengthshouldbeappropriate withtestdifficulty. 2. Test retest interval 2. Suggesteddurationisbetween3 weeksto2months. 3. Variability of scores 3. Doconstructmaptoensuretheitems aresuitablewithlearners’ability. 4. Guessing 4. Penalisetheguessinganswers.You alsocandetecteitherthelearnersare guessing or not using the statistical analysis named guessing analysis andpersonfitanalysis. 5. Inconsistency score from different raters 5. Appointtheratertomarkcertain questionsforalllearners(Thisalways happen when you have more than onesectionandhavemorethanone lecturer). CONCLUSION Coming back to the issue of validity and reliability in assessment, there is a need for educators to put an effort to ensurethattheitemsintheformofquestionsorinstructions arenotonlyclearbutalsoabletomeasurewhatitisintended tomeasurebasedontherelatedlearningoutcomes. Establishingvalidityandreliabilityofinstrumentscan provide educators with some indications of the quality of the measuring tools being used. Valid and reliable instruments enabletheeducatorstocontinuouslyusethemeasuringtools withoutreservation. Reliablenot valid Precisenot Accurate Reliableand valid Preciseand Accurate NotReliable butvalid NotPrecisebut Accurate NotReliable butNotvalid NotPrecisebut NotAccurate 94 ". Would you like to continue making it or start afresh?EVALUACION DE ENTRENADORES DE VOLEIBOL NIVEL I