David, Oui, MapReduce est destiné à fonctionner sur une grande quantité de données. Et l'idée est qu'en général, les fonctions de carte et de réduction ne devraient pas prendre en compte le nombre de cartographes ou le nombre de réducteurs qu'il ya, ce qui correspond à l'optimisation. Si vous pensez soigneusement à l'algorithme que j'ai posté, vous pouvez voir qu'il n'a pas d'importance quel mappeur obtient ce que les portions des données. Chaque enregistrement d'entrée sera disponible pour chaque opération de réduction qui en a besoin. Ndash Joe K Sep 18 12 at 22:30 Au mieux de ma compréhension de la moyenne mobile n'est pas bien des cartes au paradigme MapReduce car son calcul est essentiellement glisser la fenêtre sur les données triées, tandis que MR est le traitement des plages non intersectées de données triées. La solution que je vois est la suivante: a) Pour implémenter un partitionneur personnalisé pour pouvoir faire deux partitions différentes en deux exécutions. Dans chaque course, vos réducteurs obtiendront des gammes de données différentes et calculeront la moyenne mobile si cela est approprié. J'essaierai d'illustrer ceci: Dans la première exécution, les données pour les réducteurs devraient être: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Ici vous allez cacluate moyenne mobile pour certains Qs. Dans la prochaine exécution vos réducteurs devraient obtenir des données comme: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 Et cacluler le reste des moyennes mobiles. Ensuite, vous aurez besoin d'agréger les résultats. Idée de partitionneur personnalisé qu'il aura deux modes de fonctionnement - chaque fois se divisant en gammes égales, mais avec un certain décalage. Dans un pseudocode, il ressemblera à ceci. Partition (keySHIFT) (MAXKEYnumOfPartitions) où: SHIFT sera extrait de la configuration. MAXKEY valeur maximale de la clé. Je suppose pour la simplicité qu'ils commencent par zéro. RecordReader, IMHO n'est pas une solution puisqu'elle est limitée à la division spécifique et ne peut pas glisser sur la frontière splits. Une autre solution consisterait à implémenter une logique personnalisée de fractionnement des données d'entrée (elle fait partie de InputFormat). Il peut être fait pour faire 2 diapositives différentes, semblable au partitionnement. Répondue Sep 17 12 at 8: 59Moving Moyenne Cet exemple vous apprend comment calculer la moyenne mobile d'une série chronologique dans Excel. Une moyenne mobile est utilisée pour lisser les irrégularités (pics et vallées) pour reconnaître facilement les tendances. 1. Tout d'abord, jetez un oeil à notre série chronologique. 2. Sous l'onglet Données, cliquez sur Analyse des données. Remarque: ne trouve pas le bouton Analyse des données Cliquez ici pour charger le complément Analysis ToolPak. 3. Sélectionnez Moyenne mobile et cliquez sur OK. 4. Cliquez dans la zone Plage d'entrée et sélectionnez la plage B2: M2. 5. Cliquez dans la zone Intervalle et tapez 6. 6. Cliquez dans la zone Plage de sortie et sélectionnez la cellule B3. 8. Tracez un graphique de ces valeurs. Explication: parce que nous définissons l'intervalle sur 6, la moyenne mobile est la moyenne des 5 points de données précédents et le point de données actuel. En conséquence, les crêtes et les vallées sont lissées. Le graphique montre une tendance à la hausse. Excel ne peut pas calculer la moyenne mobile pour les 5 premiers points de données car il n'y a pas assez de points de données antérieurs. 9. Répétez les étapes 2 à 8 pour l'intervalle 2 et l'intervalle 4. Conclusion: Plus l'intervalle est grand, plus les sommets et les vallées sont lissés. Plus l'intervalle est faible, plus les moyennes mobiles sont proches des points de données réels. Lorsqu'on calcule une moyenne mobile courante, on fait la moyenne dans la période moyenne. Dans l'exemple précédent, nous avons calculé la moyenne des trois premières périodes À la période 3. Nous aurions pu placer la moyenne au milieu de l'intervalle de temps de trois périodes, c'est-à-dire à côté de la période 2. Cela fonctionne bien avec des périodes impares, mais pas aussi bonnes pour des périodes de temps. Alors, où placer la première moyenne mobile lorsque M 4 Techniquement, la moyenne mobile tomberait à t 2,5, 3,5. Pour éviter ce problème, nous lisser les MA en utilisant M 2. Ainsi, nous lisser les valeurs lissées Si nous avons un nombre pair de termes, nous devons lisser les valeurs lissées. Le tableau suivant montre les résultats en utilisant M 4.
No comments:
Post a Comment