La recherche a retourné 17 résultats

par Crucianu
14 nov. 2017 11:17
Forum : RCP216
Sujet : Question sur la hiérarchie de stockage dans le cours d'introduction
Réponses : 0
Vues : 415

Question sur la hiérarchie de stockage dans le cours d'introduction

Bonjour, Pour la question suivante du cours d'introduction « De combien de secondes s'allonge l'exécution d'un algorithme comportant 1000 itérations si à chaque itération il est nécessaire de stocker sur disque classique, en accès séquentiel, 1064 Mo de résultats intermédiaires nécessaires pour l'it...
par Crucianu
13 nov. 2017 16:29
Forum : RCP216
Sujet : spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError
Réponses : 2
Vues : 544

Re: spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError

Bonjour, Vous avez utilisé avec Spark 2.2 un .jar préparé pour Spark 1.6. La nouvelle version du TP (mise en ligne le 8/11/2017) a un lien vers le .jar préparé pour Spark 2.2. Par ailleurs, vous avez dans le TP un lien vers le pom.xml adapté à Spark 2.2 (et à Scala 2.11). Bien cordialement, Michel C...
par Crucianu
13 nov. 2017 16:28
Forum : RCP216
Sujet : error: object cloudera is not a member of package com
Réponses : 4
Vues : 531

Re: error: object cloudera is not a member of package com

Bonjour, L'import fonctionne avec --jars. Il est probable que votre .jar ne contienne pas la classe dans la bonne version. Vous avez utilisé avec Spark 2.2 un .jar préparé pour Spark 1.6. La nouvelle version du TP (mise en ligne le 8/11/2017) a un lien vers le .jar préparé pour Spark 2.2. Bien cordi...
par Crucianu
30 nov. 2016 20:55
Forum : RCP216
Sujet : sujets du projet
Réponses : 1
Vues : 809

Re: sujets du projet

Bonjour,
Les sujets que nous proposons seront mis en ligne demain 1er décembre.
Bien cordialement,
Michel Crucianu
par Crucianu
30 nov. 2016 20:54
Forum : RCP216
Sujet : Extraire caractères d'une chaîne (substring ?)
Réponses : 1
Vues : 945

Re: Extraire caractères d'une chaîne (substring ?)

Bonjour, Ici "dates" semble être un RDD de chaînes de caractères. C'est ce qu'on infère à partir du fait que dates.take(5) retourne un Array[String] de chaines de caractères. Vous souhaitez appliquer une transformation à chaque chaîne qui compose le RDD "dates", pour obtenir un autre RDD "dates2" co...
par Crucianu
01 juin 2016 11:15
Forum : RCP216
Sujet : classification automatique de tweets représentés Word2Vec
Réponses : 0
Vues : 706

classification automatique de tweets représentés Word2Vec

Un exemple de classification automatique de tweets avec des représentations Word2Vec a été mis en ligne : http://cedric.cnam.fr/vertigo/Cours/RCP216/tpClassificationTweets.html Vous y trouverez également la façon d'obtenir un flux de tweets, le filtrer et de l'enregistrer, ainsi que la façon d'obten...
par Crucianu
08 juin 2015 10:46
Forum : RCP216
Sujet : spark out of memory error
Réponses : 2
Vues : 1110

Re: spark out of memory error

Bonjour, Différents calculs peuvent utiliser beaucoup de mémoire, les RDD et variables broadcast ne sont pas les seuls consommateurs de mémoire. Faire en sorte que les RDD tiennent en mémoire n'est donc pas suffisant. Effectivement, une partie de la mémoire de la JVM est utilisée pour la persistance...
par Crucianu
08 juin 2015 10:25
Forum : RCP216
Sujet : substractByKey
Réponses : 1
Vues : 783

Re: substractByKey

Bonjour,
Le nom de la méthode est subtract (avec un seul s) et non substract.
Dans l'exemple qui marche vous utilisez bien subtractByKey, mais dans le cas où vous obtenez un message d'erreur vous employez substractByKey (qui est inconnue).
Bien cordialement,
Michel Crucianu
par Crucianu
20 mai 2015 15:51
Forum : RCP216
Sujet : Question concernant le TP de KMeans
Réponses : 4
Vues : 958

Re: Question concernant le TP de KMeans

Bonjour,

Le choix est fait suivant l'objectif : la classification automatique peut être utile dans une étape exploratoire, la discrimination (SVM linéaire) supervisée sera nécessaire pour l'étape décisionnelle.

Bien cordialement,
Michel Crucianu
par Crucianu
20 mai 2015 15:48
Forum : RCP216
Sujet : TD graphe
Réponses : 3
Vues : 822

Re: TD graphe

Bonjour, Première question : vous devriez avoir un ; entre "conf)" et "in.map" : "conf); in.map", ou alors un saut de ligne (comme pour les lignes au-dessus). Cela a été corrigé depuis dans le support du TP. Seconde question : comme vu dans d'autres TP (sur le texte, par exemple), vous pouvez utilis...
par Crucianu
18 mai 2015 15:19
Forum : RCP216
Sujet : Question concernant le TP de KMeans
Réponses : 4
Vues : 958

Re: Question concernant le TP de KMeans

Bonjour, Il est tout à fait possible de faire de la classification automatique ( clustering ) sur des données étiquetées, sans tenir compte des étiquettes de classe. Cela permet de voir quels sont les "regroupements naturels" des données. Ces groupes peuvent ensuite être comparés aux classes (défini...
par Crucianu
18 mai 2015 15:05
Forum : RCP216
Sujet : corrections TP
Réponses : 1
Vues : 733

Re: corrections TP

Bonjour,
Nous avons remis en ligne les corrections.
Merci de nous avoir signalé le problème !
Pour ce genre de problème, mieux vaut envoyer un message aux enseignants, la réaction sera plus rapide.
Bien cordialement,
Michel Crucianu
par Crucianu
02 avr. 2015 16:22
Forum : RCP216
Sujet : Question concernant le TP6 la lemmatisation
Réponses : 2
Vues : 815

Re: Question concernant le TP6 la lemmatisation

Bonjour, Pour le RDD plainText, un élément est un document Wikipedia représenté comme une paire (K, V), K étant title (le titre de la page) et V étant contents (le contenu de la page). Une partition sera affectée à un noeud de calcul et contiendra en général de nombreux documents Wikipedia différent...
par Crucianu
02 avr. 2015 16:13
Forum : RCP216
Sujet : spark n'apparait pas dans cloudera ?
Réponses : 2
Vues : 729

Re: spark n'apparait pas dans cloudera ?

Bonjour, Effectivement, c'est à vous de créer le répertoire spark (plus précisément /home/cloudera/spark) en entrant 'mkdir spark' dans une fenêtre terminal alors que vous êtes positionné dans /home/cloudera (cela devrait être le cas par défaut). Si votre question concerne plutôt l'endroit où se tro...