TD graphe

Modérateur : Crucianu

Répondre
odilon
Messages : 7
Inscription : 30 mars 2015 22:38

TD graphe

Message par odilon » 04 mai 2015 17:00

Bonjour,
étant absent la semaine passé, j'ai essayé de refaire le TD graphe chez moi.
Je rencontre une erreur dès le début dans la création de la fonction loadMEdline. Cf ci-dessous.
Je ne comprends ou un ';' est il attendu?
merci d'avance pour votre aide,
cordialement,
Odilon


def loadMedline(sc: SparkContext, path: String) = {
| @transient val conf = new Configuration()
| conf.set(XmlInputFormat.START_TAG_KEY, "<MedlineCitation ")
| conf.set(XmlInputFormat.END_TAG_KEY, "</MedlineCitation>")
| val in = sc.newAPIHadoopFile(path, classOf[XmlInputFormat], classOf[LongWritable], classOf[Text], conf) in.map(line => line._2.toString)
<console>:5: error: ';' expected but '.' found.

odilon
Messages : 7
Inscription : 30 mars 2015 22:38

Re: TD graphe

Message par odilon » 13 mai 2015 21:36

Bonjour à tous,
je n'ai toujours pas trouvé la reponse.
Qiand on crée une fonction, faut il comme dans le TD 2 enregistrer la fonction dans un fichier NomDeLaFonction.scala dans le répertoire home/cloudera/spark/src/main/scal puis creer un .jar ... N'y a t'il pas une solution plus simple?
Merci pour quiconque pourra m'aider?
cordialement,
Odilon

odilon
Messages : 7
Inscription : 30 mars 2015 22:38

Re: TD graphe

Message par odilon » 19 mai 2015 17:51

"dans le doute reboot !", ça marche apres redemarrage de la VM...

Crucianu
Messages : 17
Inscription : 21 janv. 2015 18:35

Re: TD graphe

Message par Crucianu » 20 mai 2015 15:48

Bonjour,

Première question : vous devriez avoir un ; entre "conf)" et "in.map" : "conf); in.map", ou alors un saut de ligne (comme pour les lignes au-dessus).
Cela a été corrigé depuis dans le support du TP.

Seconde question : comme vu dans d'autres TP (sur le texte, par exemple), vous pouvez utiliser ":load" pour charger du code scala à partir d'un fichier .scala. Il n'est pas nécessaire de créer un .jar pour exécuter des instructions de façon interactive à partir du spark-shell.

Bien cordialement,
Michel Crucianu

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité