spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError

Modérateur : Crucianu

Répondre
Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError

Message par Jean-Christophe » 27 oct. 2017 13:47

Bonjour
Décidément, ce TP (fouille de données textuelles) me pose des soucis.
La première partie se passe correctement mais arrivé à la commande suivante, j'ai une erreur :

Code : Tout sélectionner

scala> val (termDocMatrix, termIds, docIds, idfs) = ParseWikipedia.termDocumentMatrix(filtered, stopWords, numTerms, sc)
java.lang.NoSuchMethodError: org.apache.spark.SparkContext$.rddToPairRDDFunctions(Lorg/apache/spark/rdd/RDD;Lscala/reflect/ClassTag;Lscala/reflect/ClassTag;Lscala/math/Ordering;)Lorg/apache/spark/rdd/PairRDDFunctions;
  at com.cloudera.datascience.lsa.ParseWikipedia$.termDocumentMatrix(ParseWikipedia.scala:40)
  ... 56 elided
J'ai utilisé le lsa.jar téléchargé, j'ai essayé en le recompilant mais j'ai toujours la même erreur.
J'ai pu voir sur des forums que cette erreur pouvait être liée à des différences de versions entre la compilation et l'exécution.
J'ai donc essayé de corriger les pom.xml mais il contiennent beaucoup de référence à des plugins et outils dont je ne sais pas trop dans quelle version ils sont.
Quelqu'un a-t-il réussi à faire ce TP avec SPARK 2.2 (c'est la version que j'ai installée, notamment en raison de l'apparition des dataFrames, beaucoup plus riches que les RDD) ?
Je ne suis pas familier avec Maven, aussi je ne sais pas trop par quel bout je dois prendre ce problème.
Si quelqu'un pouvait m'éclairer ou m'indiquer une piste à creuser, cela me serait d'un grand secours.
Merci,
JC

Crucianu
Messages : 17
Inscription : 21 janv. 2015 18:35

Re: spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError

Message par Crucianu » 13 nov. 2017 16:29

Bonjour,
Vous avez utilisé avec Spark 2.2 un .jar préparé pour Spark 1.6. La nouvelle version du TP (mise en ligne le 8/11/2017) a un lien vers le .jar préparé pour Spark 2.2. Par ailleurs, vous avez dans le TP un lien vers le pom.xml adapté à Spark 2.2 (et à Scala 2.11).
Bien cordialement,
Michel Crucianu

Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

Re: spark-shell ParseWikipedia.termDocumentMatrix -> java.lang.NoSuchMethodError

Message par Jean-Christophe » 13 nov. 2017 17:16

Merci. Cela fonctionne très bien.

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité