CONCEPTO DE PLAN DE NEGOCIO

Dès le début de vos recherches, vous allez collecter, produire et exploiter des données. La gestion des données (Research Data Management - RDM) fait partie du processus de recherche. Elle concerne l'ensemble des opérations de collecte, description, stockage, traitement, analyse, archivage et mise en accès des données. (extrait de : Passeport pour la Science Ouverte. Guide pratique pour les doctorants ) "La science ouverte est la diffusion sans entrave des publications et des données de la recherche. Elle s’appuie sur l’opportunité que représente la mutation numérique pour développer l’accès ouvert aux publications et – autant que possible – aux données de la recherche. "Les données de la recherche sont la matière première de la connaissance. Les partager, c'est ouvrir de nouvelles perspectives scientifiques" Source : Plan national pour la Science ouverte - Ministère ESR - Juillet 2018 Source image : https://bibliotheques.univ-tlse3.fr/file/composantes-science-ouverte Cette page est une introduction à la gestion des données de recherche. Elle présente quelques concepts et étapes clés pour vous engager dans cette démarche. Consultez les liens pour approfondir vos connaissances. • What are data ? Définition des données de recherche de l’OCDE (2007) « Enregistrements factuels (chiffres, textes, images, sons) utilisés comme source principale pour la recherche scientifique et généralement reconnus par la communauté scientifique comme nécessaires pour valider les résultats de la recherche. Un ensemble de données de recherche constitue une représentation systématique et partielle du sujet faisant l’objet de la recherche ». Exemples • les images d’une ville préhistorique deviennent des données pour un chercheur qui étudie l’histoire de cette ville; • les « données » d’un linguiste peuvent être des écrits ou des discours, des enregistrements de locuteurs ; • les « données » d’un médiéviste sont des sources archivistiques, archéologiques, épigraphiques, iconographiques, littéraires ; • les « données » d’un géologue rassemblent des coupes et observations de terrain consignées sur un carnet, des résultats de carottage, des analyses d’échantillons, des données sismographiques… • • Pourquoi partager ses données ? "La science ouverte vise à construire un écosystème dans lequel la science est plus cumulative, plus fortement étayée par des données, plus transparente, plus rapide et d’accès plus universel.La science ouverte favorise également les avancées scientifiques, particulièrement les avancées imprévues, ainsi que l’innovation, les progrès économiques et sociaux, en France, dans les pays développés et dans les pays en développement. Enfin, la science ouverte constitue un levier pour l’intégrité scientifique et favorise la confiance des citoyens dans la science. Elle constitue un progrès scientifique et un progrès de société." Source : Plan national pour la Science Ouverte (2018) Les enjeux de l'Open Data • enjeux patrimoniaux o preuve et mémoire (éviter les pertes de données) • enjeux économiques o valeur économique de la donnée o réutilisation gratuite ou payante des données, exploitation des résultats de recherches antérieures (éviter de refaire ce qui a déjà été validé), o accélération de l'innovation et le retour sur investissement dans la R&D • enjeux scientifiques o de "hypothesis-driven" à "data-driven" o plus de visibilité pour le scientifique • enjeux sociétaux o participation des citoyens et de la société civile : "Citizen science" o confiance en la recherche Pour aller plus loin • Site Doranum : https://doranum.fr/enjeux-benefices/fiche-synthetique/ • Adopter de bonnes pratiques tout au long du cycle de vie des données De bonnes pratiques de gestion à toutes les étapes du cycle de vie de la donnée sont un préalable indispensable à l’ouverture des données et à leur réutilisation. • Rechercher des données Pour identifier des jeux de données (datasets) pertinents pour votre thèse, des outils de recherche sont disponibles. Suivez ces liens pour les découvrir : • Site Doranum : https://doranum.fr/acces-visualisation/rechercher-donnees/ • Site DataCC - Vos besoins, trouver des données : https://www.datacc.org/vos-besoins/trouver-des-donnees/ • Fiche CoopIST : Trouver des jeux de données via des bases pluridisciplinaires et des moteurs de recherche Pensez-aussi à consulter l'entrepôt institutionnel Data INRAE Page de présentation du portail • Choisir les bons formats et bien organiser vos données  Choisir des formats de fichier : https://www6.inrae.fr/datapartage/Gerer/Choisir-des-formats-de-fichier  Nommer et organiser vos fichiers de données : https://www6.inrae.fr/datapartage/Gerer/Nommer-et-organiser-ses-fichiers-de-donnees Pour aller plus loin • Jaouen, G.- Gérer ses données. Pourquoi, Comment ? Séminaire - Guadeloupe, du 25 au 27 Novembre 2019 – CRAG INRA • Bien décrire et documenter ses données La description d’un jeu de données se fait à l’aide de métadonnées (*) qui doivent apporter suffisamment d'éléments (sur la collecte des données, les unités de mesure employées...) pour chercher et trouver le jeu de données, juger de sa qualité/fiabilité, et pouvoir le comprendre ou le réutiliser dans un autre contexte. (*) Définition des métadonnées : Ensemble d’informations structurées qui décrit, explicite, localise une ressource informationnelle, dans le but d’en faciliter la recherche, l’usage, et la gestion. Source : NISO. Understanding Metadata. 2004. Quelques liens utiles : • Site Doranum : https://doranum.fr/metadonnees-standards-formats/ • DataCC : https://www.datacc.org/vos-besoins/documenter-ses-donnees/metadonnees/ • Site DataPartage INRAE : https://www6.inrae.fr/datapartage/Gerer/Documenter-les-donnees En complément des métadonnées, la rédaction d'un fichier READ ME.txt est également recommandée. • Stocker, sécuriser, préserver ses données Bien différencier les notions de stockage et d'archivage. Anticiper pour déterminer les données à éliminer et celles qui doivent être préservées à long terme. • Dans l'environnement INRAE : https://www6.inrae.fr/datapartage/Gerer/Stocker-les-donnees • Site Doranum : https://doranum.fr/stockage-archivage/ • Site DataCC : https://www.datacc.org/vos-besoins/conserver-ses-donnees/ • Partager, ne pas partager ses données ? Dans le cadre de la Science Ouverte, il y a de plus en plus d'incitations voire d'exigences pour rendre accessibles les données, en particulier les données liées aux publications : • de l'édition scientifique : de plus en plus de revues adoptent une "data policy" (à consulter dans les instructions aux auteurs) et exigent des auteurs qu'ils fournissent les données associées aux publications, • des organismes de financement (ANR, Commission Européenne ...), • des politiques nationale (Plan national pour la Science ouverte - Ministère ESR - Juillet 2018) et institutionnelle. Mais attention, toutes les données ne sont pas partageables : assurez-vous que vos données sont bien diffusables au regard du droit et des conditions d'exercice de votre thèse et de son mode de financement (se reporter à votre contrat de thèse). Les données produites dans les organismes de recherche publics sont communicables à tous si elles n'entrent pas dans le cadre d'exceptions légales (sécurité défense, sécurité des populations, patrimoine scientifique et technique, données personnelles, données liées au secret, statistique, etc.) Liens utiles : • sur le site Data Partage, la page Partager-Publier ou la page : "Données de la recherche : qui a les droits, qui doit partager ?" • le site INRAE dédié à la protection des données personnelles et l'application du RGPD (Règlement général sur la protection des données) : https://intranet.inrae.fr/cil-dpo • Valoriser ses données Voici les principales voies de diffusion •  Partager ses données en les déposant dans un entrepôt  Choisir un entrepôt  Déposer dans Data INRAE  Partager ses données comme matériel supplémentaire d'un article (à la demande de l'éditeur)  Publier un Data Paper (article de données) : la meilleure voie en terme de visibilité des données, et pour faciliter leur réutilisation. Pour aller plus loin • Site Doranum o Dépôts et entrepôts. Comment et où déposer mes données ? o Data papers et Data journals. Comment publier mes données comme un article scientifique ? • Site DataCC o Valoriser ses données • Site CoopIST o Déposer des données de recherche dans un entrepôt o Rédiger et publier un data paper dans une revue scientifique A télécharger : Synthèse du processus de rédaction d'un article avec des données associées • Pourquoi ne pas rédiger un plan de gestion de données (PGD) pour votre thèse ? La thèse peut être assimilée à un projet et certaines universités au Royaume Uni, aux Pays-Bas et plus récemment en France préconisent la rédaction d'un plan de gestion associé à la thèse. Le PGD (ou DMP = Data Management Plan) est un outil de planification qui peut vous aider à anticiper et bien gérer toutes les étapes du cycle de vie de vos données, à limiter les risques de perte ou corruption de données, à adopter de bonnes pratiques de gestion, pour in fine produire des données respectueuses des principes FAIR, adoptés aujourd'hui par l'ensemble des acteurs de la recherche. Il est désormais exigé par la plupart des financeurs de la recherche (Commission Européenne et ANR ...) dans le cadre de projets financés. Rédiger un PGD pour votre thèse, peut être un bon exercice pour vous préparer à la future rédaction de réponses à des appels d'offre. Comment faire en pratique ? • Site DataPartage : Pourquoi et comment rédiger un plan de gestion de données ? • Site Doranum : https://doranum.fr/plan-gestion-donnees-dmp/, La minute vidéo PGD • Site DataCC : https://www.datacc.org/bonnes-pratiques/adopter-un-plan-de-gestion-des-donnees/ • Suivre une classe virtuelle INRAE : Open Class "Rédaction d'un PGD" • Produire des données FAIR ! Favoriser la production de données FAIR (Findable - Accessible - Interoperable - Reusable) est aujourd'hui un objectif soutenu par l'ensemble des acteurs de la recherche. Source : https://open-science-training-handbook.gitbook.io/book/ Si vous suivez les conseils et recommandations de cette page, vous avez toutes les chances d'avoir produit des données de qualité. Si vous préférez une version illustrée : "Pensez FAIR" - https://datapartage.inrae.fr/Gerer/Cycle-de-la-donnee Affiche cycle de vie des données réalisée dans le cadre des Missions QualiNous & RGPD, INRAE-ACT Vous pouvez tester le niveau de "Fairification" de vos données grâce à ces outils :  ARDC : https://ardc.edu.au/resources/working-with-data/fair-data/fair-self-assessment-tool • D'autres ressources pour se former ou s'autoformer En interne INRAE • Formation à la science ouverte OSCAR - Module "Gestion et partage des données" • Le site "Gestion et partage des données" • Des classes virtuelles d'environ 2h (Open Class) sont régulièrement proposées sur : o la rédaction des plans de gestion de données, o le dépôt et la description d'un jeu de données dans Data INRAE, o la rédaction et la publication de data papers, Sites externes • Le site DORANUM (Données de la Recherche : Apprentissage NUMérique à la gestion et au partage) propose un dispositif de formation à distance intégrant de nombreuses ressources d’auto-formation déclinées sur différents supports (textes, infographies, vidéos) et sur 9 thématiques. o Parcours interactif sur la gestion des données de la recherche (2020) o • Le site DataCC. Accompagnement à la gestion des données de recherche en physique et en chimie : https://www.datacc.org/ o Data Stories : https://www.datacc.org/reseau-datacc/data-stories/ o • Le dossier "Open Access & Open Data" réalisé par l'Ecole des Ponts - ParisTech • • The Open Science Training Handbook : https://www.ouvrirlascience.fr/the-open-science-training-handbook/

What is a rubric? A tool comprising a set of criteria (with possible levels of performance quality on the criteria) developed to assess learners’ work, from written to oral to visual. It is used tomeasureperformance,suchastheprocess of doing something (e.g.,playing a musical instrument, making a speech) or products of the learners’ work (e.g., concept map, laboratory report, bookshelf) (Brookhart, 2013). BENEFITS OF USING RUBRICS Support authentic assessment Reflects how well learners are able to apply knowledge inthe real-world context. Communicate expectations Gives learners an idea of what is expected of them. It is especially useful when the rubrics are communicated to the learners before they are assessed. Improve performance Explicit criteria and performance level descriptions allow learners to understand the desired performance. Learners are able to assess themselves by referring to the specific criteria and performance-level descriptions. Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Promote thinking andlearning 4 Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Learners are able to review and revise their work,thus reflecting on their learning experiences. Ensure fairness Learner performance assessed fairly given its objectivity. It helps avoid disputes between learners and instructors about the scores/grades achieved. TYPES OF RUBRIC ANALYTIC It consists of individual criterion with corresponding descriptor of performance. HOLISTIC It consists of performance descriptors that are placed together to refeclet to overalll performance. ANATOMY OF ANANALYTIC RUBRIC Rating scales with corresponding scores or weights The row represents the criteria for the desired performance, while the column represents the evaluation score. Under the rating scale (corresponding weights orscorescanbeassigned),theperformance descriptors are explicitly stated ANATOMYOF AHOLISTICRUBRIC Descriptions: It comprises the rating scale (corresponding weights or scores can be assigned) in the row while the combined desired performance descriptors are placed in the column. Description of the task The purpose of the assignment is to assess learner’s cognitive and analytic skills in applying knowledge gained and constructed throughout the course Diffusion of Innovation,bywatching the Surrogates movieand writing ananalytical review of the movie in the context of innovation diffusion.Iwant to provide learners with informative feedback on their cognitive and analytic skills such as the following: applying the concepts of innovation diffusion,making judgmentson the scenes related to innovation diffusion identified from the movie,selecting and critiquing theories of innovation diffusion and making connections between the theories,aswell asarguingand proposing necessary solutions to the problemss hown in the movie. ESTABLISHING ALTERNATIVEASSESSMENTINHIGHEREDUCATION VALIDITYAND RELIABILITYOF RUBRICS. Validity Measuring what is supossedto be measured. Reability Yielding consists results. Instruments that are used in the alternative assessment must be aligned to the learning outcomes and measure well what it intends to measure (valid) and produce consistent scores (reliable). The valid instrument will manifest the true ability (latent trait) of learners and permit appropriate inferences to be made about a specific group of people for specific purposes. TYPES OF VALIDITY FACE VALIDITY Simple form of validity thatapplies a superficial and subjective assessment whether the instrument measures what it is supposed to measure. CONTENT VALIDITY Refers to the extent to which the items on a measure assess the same content or how wellthe content material was sampled inthe measure. CONSTRUCT VALIDITY Refers to the extent to which the test may be said to measure a theoretical construct or trait. CONCURRENT VALIDITY Refers to the extent to which scores onanewmeasure are related to scores from a criterion measure administered at the same time. PREDICTIVE VALIDITY Refers to the uses of the scores from the new measure to predict performance on a criterion measure administered ata later time. STEPS TO CONSIDER WHEN ESTABLISHING CONTENT VALIDITY Calculate the level of expert agreeement for the content validity, get expert to verfy. Interview the expert ,make meta contentdata análisis from literatura. STEPS TO CONSIDER WHEN ESTABLISHING CONSTRUCCT VALIDITY Administer the instrument for alll learners, revise any item necccesay, run an apropriates statistical analiysis, administerthe instrument to learners as a pilot test . CONSTRUCTMAP Morepreciseconceptthan construct. Ranges from one extreme to another(fromhightolow,small tolarge,positivetonegative,or strongtoweak). Identifiesthepositionofthe respondentsinthisrange. Representativenessofsampling (questions and ability of respondents). EXAMPLEO FACONSTRUCTMAP:AFFECTIVE LEVELOF AFFECTIVE VARIABLES EXAMPLESOFITEMSIN MEASURINGTEAM WORKING SKILLS 5. Characterisation Learnersvolunteerstodothe groupworks. 4. Organisation Learners are willing to help others,althoughitisnottheir scopeoftask. 3. Valuing Learners respect other team members’opinionwhendoing thediscussion. 2. Responding Learnergivescooperationwhen neededingroupworks. 1. Receiving Learneracceptsthediversityof races and nationalities among groupmembers. EXAMPLEOFACONSTRUCTMAP:PSYCHOMOTOR LEVELOF PSYCHOMOTOR VARIABLES EXAMPLESOFITEMSIN MEASURING DIGITAL SKILLS 7.Origination Learnerscanmodifytheirowndevicesto performbetter. 6.Adaptation Learnerscansolveandtroubleshootthe problemwhileusingthecomputer. 5.ComplexOvertResponse Learnerscanusethecomputercompetently. 4.Mechanism Learners can use the computer independently,butstillmakeminorerrors. 3.GuidedResponses Learnerscanusethecomputer,butstill needguidance. 2.Set Learnersarereadytousethecomputer. 1.Perception Learnerscanobservehowtousecomputer. EXAMPLEOFACONSTRUCTMAP:COGNITIVE LEVELOF COGNITIV E VARIABLES EXAMPLESOFITEMS IN MEASURING THINKINGSKILLS 6. Creating Learners are able to suggest anewmodelorframeworkof learningdigitalcommunity. 5. Evaluating Learners are able to judge the impactofthescenariotowards educationperspective. 4. Analysing Learnerscandifferentiate the factsusingafew theories. 3. Applying Learnerscansolveproblems usingthefactsgiven. 2. Understanding Learnersareabletoexplainthe factsusingtheirownwords. 1. Remembering Learnersonlymemorisethe. Direction of Increasing “X” Learners Learners with high “X” Learners with mid range “X” Learners with low “X” Responses to Item Item response indicate highest level of X Item response indicate higher level of X Item response indicate lower level of X The construct map shows the lower ability students are in line with the lower level of items. This shows that when educators plan to develop an instrument, it Item response indicate lowest level of X Direction of Decreasing “X” is crucial to create an item difficulty thatrepresents learners’ ability. Learners’ ability Learners who engage in level characterisation Learners who engage in level organisation Learners who engage in level valuing Learners who engage in level responding Learners who engage in level receiving Direction of Decreasing“X” MEASURINGCONSTRUCTVALIDITY Unlike content validity, this construct validity can be analysed using statistical analysis. Use Exploratory FactorAnalysis [EFA], Confirmatory FactorAnalysis [CFA] or Unidimensionality to confirm all items are measuring the right construct and the raw variance explained for the latent variables is sufficient. Gap initem map also can show accuracy in construct validity. RELIABILITY The degree to which test scores are consistent over repeated administrations of the same/ equivalent test and therefore considered dependable and repeatable for an individual learner.A test thatproduces highly consistent and stable results (i.e. relative free from random error) is said to be highly reliable. TYPESOFRELIABILITY Test-retest demonstrates the stability of a measure over time 01 Internal consistency most of the items within a rating scale of a concept show consistency of scoring. Inter-rater the extent to which two or more independent raters are consistent in observing, recording and scoring data (should be 70% or higher agreement) 04 Intra-rater relies on one rater to rate an object or event twice (70% or higher of agreement) FACTORSAFFECTING VALIDITYANDHOWTO INCREASEVALIDITY? FACTORS AFFECTING VALIDITY HOWTO INCREASE VALIDITY? 1. Inaccuracy of items in measuringtheoutcomes 1. Vetting session to get reviewsfromtheexpert. 2. Pooritemsdevelopment 2. Followtheformatandtips indevelopinggooditems. 3. Unclearinstructions 3. Do pilot testing to measuretheusabilityof thetest. 4. Interveningevents 4. Controltheinternalthreats validityfactors. 5. Itemsdifficultyisnot suitableforthelearners 5. Create a construct map toensurethereisanitem thatrepresentslearners ability. FACTORS AFFECTING RELIABILIT Y HOWTOINCREASERELIABILITY? 1. TestLength 1. Thetestlengthshouldbeappropriate withtestdifficulty. 2. Test retest interval 2. Suggesteddurationisbetween3 weeksto2months. 3. Variability of scores 3. Doconstructmaptoensuretheitems aresuitablewithlearners’ability. 4. Guessing 4. Penalisetheguessinganswers.You alsocandetecteitherthelearnersare guessing or not using the statistical analysis named guessing analysis andpersonfitanalysis. 5. Inconsistency score from different raters 5. Appointtheratertomarkcertain questionsforalllearners(Thisalways happen when you have more than onesectionandhavemorethanone lecturer). CONCLUSION Coming back to the issue of validity and reliability in assessment, there is a need for educators to put an effort to ensurethattheitemsintheformofquestionsorinstructions arenotonlyclearbutalsoabletomeasurewhatitisintended tomeasurebasedontherelatedlearningoutcomes. Establishingvalidityandreliabilityofinstrumentscan provide educators with some indications of the quality of the measuring tools being used. Valid and reliable instruments enabletheeducatorstocontinuouslyusethemeasuringtools withoutreservation. Reliablenot valid Precisenot Accurate Reliableand valid Preciseand Accurate NotReliable butvalid NotPrecisebut Accurate NotReliable butNotvalid NotPrecisebut NotAccurate 94

We found you were making a quiz on the subject of "What is a rubric? A tool comprising a set of criteria (with possible levels of performance quality on the criteria) developed to assess learners’ work, from written to oral to visual. It is used tomeasureperformance,suchastheprocess of doing something (e.g.,playing a musical instrument, making a speech) or products of the learners’ work (e.g., concept map, laboratory report, bookshelf) (Brookhart, 2013). BENEFITS OF USING RUBRICS Support authentic assessment Reflects how well learners are able to apply knowledge inthe real-world context. Communicate expectations Gives learners an idea of what is expected of them. It is especially useful when the rubrics are communicated to the learners before they are assessed. Improve performance Explicit criteria and performance level descriptions allow learners to understand the desired performance. Learners are able to assess themselves by referring to the specific criteria and performance-level descriptions. Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Promote thinking andlearning 4 Provide informative feedback Instructors are able to provide constructive feedback to learners on their weaknesses and strengths. Learners are able to review and revise their work,thus reflecting on their learning experiences. Ensure fairness Learner performance assessed fairly given its objectivity. It helps avoid disputes between learners and instructors about the scores/grades achieved. TYPES OF RUBRIC ANALYTIC It consists of individual criterion with corresponding descriptor of performance. HOLISTIC It consists of performance descriptors that are placed together to refeclet to overalll performance. ANATOMY OF ANANALYTIC RUBRIC Rating scales with corresponding scores or weights The row represents the criteria for the desired performance, while the column represents the evaluation score. Under the rating scale (corresponding weights orscorescanbeassigned),theperformance descriptors are explicitly stated ANATOMYOF AHOLISTICRUBRIC Descriptions: It comprises the rating scale (corresponding weights or scores can be assigned) in the row while the combined desired performance descriptors are placed in the column. Description of the task The purpose of the assignment is to assess learner’s cognitive and analytic skills in applying knowledge gained and constructed throughout the course Diffusion of Innovation,bywatching the Surrogates movieand writing ananalytical review of the movie in the context of innovation diffusion.Iwant to provide learners with informative feedback on their cognitive and analytic skills such as the following: applying the concepts of innovation diffusion,making judgmentson the scenes related to innovation diffusion identified from the movie,selecting and critiquing theories of innovation diffusion and making connections between the theories,aswell asarguingand proposing necessary solutions to the problemss hown in the movie. ESTABLISHING ALTERNATIVEASSESSMENTINHIGHEREDUCATION VALIDITYAND RELIABILITYOF RUBRICS. Validity Measuring what is supossedto be measured. Reability Yielding consists results. Instruments that are used in the alternative assessment must be aligned to the learning outcomes and measure well what it intends to measure (valid) and produce consistent scores (reliable). The valid instrument will manifest the true ability (latent trait) of learners and permit appropriate inferences to be made about a specific group of people for specific purposes. TYPES OF VALIDITY FACE VALIDITY Simple form of validity thatapplies a superficial and subjective assessment whether the instrument measures what it is supposed to measure. CONTENT VALIDITY Refers to the extent to which the items on a measure assess the same content or how wellthe content material was sampled inthe measure. CONSTRUCT VALIDITY Refers to the extent to which the test may be said to measure a theoretical construct or trait. CONCURRENT VALIDITY Refers to the extent to which scores onanewmeasure are related to scores from a criterion measure administered at the same time. PREDICTIVE VALIDITY Refers to the uses of the scores from the new measure to predict performance on a criterion measure administered ata later time. STEPS TO CONSIDER WHEN ESTABLISHING CONTENT VALIDITY Calculate the level of expert agreeement for the content validity, get expert to verfy. Interview the expert ,make meta contentdata análisis from literatura. STEPS TO CONSIDER WHEN ESTABLISHING CONSTRUCCT VALIDITY Administer the instrument for alll learners, revise any item necccesay, run an apropriates statistical analiysis, administerthe instrument to learners as a pilot test . CONSTRUCTMAP Morepreciseconceptthan construct. Ranges from one extreme to another(fromhightolow,small tolarge,positivetonegative,or strongtoweak). Identifiesthepositionofthe respondentsinthisrange. Representativenessofsampling (questions and ability of respondents). EXAMPLEO FACONSTRUCTMAP:AFFECTIVE LEVELOF AFFECTIVE VARIABLES EXAMPLESOFITEMSIN MEASURINGTEAM WORKING SKILLS 5. Characterisation Learnersvolunteerstodothe groupworks. 4. Organisation Learners are willing to help others,althoughitisnottheir scopeoftask. 3. Valuing Learners respect other team members’opinionwhendoing thediscussion. 2. Responding Learnergivescooperationwhen neededingroupworks. 1. Receiving Learneracceptsthediversityof races and nationalities among groupmembers. EXAMPLEOFACONSTRUCTMAP:PSYCHOMOTOR LEVELOF PSYCHOMOTOR VARIABLES EXAMPLESOFITEMSIN MEASURING DIGITAL SKILLS 7.Origination Learnerscanmodifytheirowndevicesto performbetter. 6.Adaptation Learnerscansolveandtroubleshootthe problemwhileusingthecomputer. 5.ComplexOvertResponse Learnerscanusethecomputercompetently. 4.Mechanism Learners can use the computer independently,butstillmakeminorerrors. 3.GuidedResponses Learnerscanusethecomputer,butstill needguidance. 2.Set Learnersarereadytousethecomputer. 1.Perception Learnerscanobservehowtousecomputer. EXAMPLEOFACONSTRUCTMAP:COGNITIVE LEVELOF COGNITIV E VARIABLES EXAMPLESOFITEMS IN MEASURING THINKINGSKILLS 6. Creating Learners are able to suggest anewmodelorframeworkof learningdigitalcommunity. 5. Evaluating Learners are able to judge the impactofthescenariotowards educationperspective. 4. Analysing Learnerscandifferentiate the factsusingafew theories. 3. Applying Learnerscansolveproblems usingthefactsgiven. 2. Understanding Learnersareabletoexplainthe factsusingtheirownwords. 1. Remembering Learnersonlymemorisethe. Direction of Increasing “X” Learners Learners with high “X” Learners with mid range “X” Learners with low “X” Responses to Item Item response indicate highest level of X Item response indicate higher level of X Item response indicate lower level of X The construct map shows the lower ability students are in line with the lower level of items. This shows that when educators plan to develop an instrument, it Item response indicate lowest level of X Direction of Decreasing “X” is crucial to create an item difficulty thatrepresents learners’ ability. Learners’ ability Learners who engage in level characterisation Learners who engage in level organisation Learners who engage in level valuing Learners who engage in level responding Learners who engage in level receiving Direction of Decreasing“X” MEASURINGCONSTRUCTVALIDITY Unlike content validity, this construct validity can be analysed using statistical analysis. Use Exploratory FactorAnalysis [EFA], Confirmatory FactorAnalysis [CFA] or Unidimensionality to confirm all items are measuring the right construct and the raw variance explained for the latent variables is sufficient. Gap initem map also can show accuracy in construct validity. RELIABILITY The degree to which test scores are consistent over repeated administrations of the same/ equivalent test and therefore considered dependable and repeatable for an individual learner.A test thatproduces highly consistent and stable results (i.e. relative free from random error) is said to be highly reliable. TYPESOFRELIABILITY Test-retest demonstrates the stability of a measure over time 01 Internal consistency most of the items within a rating scale of a concept show consistency of scoring. Inter-rater the extent to which two or more independent raters are consistent in observing, recording and scoring data (should be 70% or higher agreement) 04 Intra-rater relies on one rater to rate an object or event twice (70% or higher of agreement) FACTORSAFFECTING VALIDITYANDHOWTO INCREASEVALIDITY? FACTORS AFFECTING VALIDITY HOWTO INCREASE VALIDITY? 1. Inaccuracy of items in measuringtheoutcomes 1. Vetting session to get reviewsfromtheexpert. 2. Pooritemsdevelopment 2. Followtheformatandtips indevelopinggooditems. 3. Unclearinstructions 3. Do pilot testing to measuretheusabilityof thetest. 4. Interveningevents 4. Controltheinternalthreats validityfactors. 5. Itemsdifficultyisnot suitableforthelearners 5. Create a construct map toensurethereisanitem thatrepresentslearners ability. FACTORS AFFECTING RELIABILIT Y HOWTOINCREASERELIABILITY? 1. TestLength 1. Thetestlengthshouldbeappropriate withtestdifficulty. 2. Test retest interval 2. Suggesteddurationisbetween3 weeksto2months. 3. Variability of scores 3. Doconstructmaptoensuretheitems aresuitablewithlearners’ability. 4. Guessing 4. Penalisetheguessinganswers.You alsocandetecteitherthelearnersare guessing or not using the statistical analysis named guessing analysis andpersonfitanalysis. 5. Inconsistency score from different raters 5. Appointtheratertomarkcertain questionsforalllearners(Thisalways happen when you have more than onesectionandhavemorethanone lecturer). CONCLUSION Coming back to the issue of validity and reliability in assessment, there is a need for educators to put an effort to ensurethattheitemsintheformofquestionsorinstructions arenotonlyclearbutalsoabletomeasurewhatitisintended tomeasurebasedontherelatedlearningoutcomes. Establishingvalidityandreliabilityofinstrumentscan provide educators with some indications of the quality of the measuring tools being used. Valid and reliable instruments enabletheeducatorstocontinuouslyusethemeasuringtools withoutreservation. Reliablenot valid Precisenot Accurate Reliableand valid Preciseand Accurate NotReliable butvalid NotPrecisebut Accurate NotReliable butNotvalid NotPrecisebut NotAccurate 94 ". Would you like to continue making it or start afresh?

Concepto de descripción del puesto de trabajo

Concepto de los números enteros

Concepto de inteligencia artificial, caracteristicas, entrenamiento de modulos de IA

Concepto de movimiento y reposo - Exit Quiz

Concepto de Empresa, Clasificación, Sociedades y Teorías Administrativas

Related quizzes

Related quizzes