error: object cloudera is not a member of package com

Modérateur : Crucianu

Répondre
Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

error: object cloudera is not a member of package com

Message par Jean-Christophe » 15 oct. 2017 17:20

Bonjour,
J'ai installé Spark sur une machine linux en suivant la procédure décrite dans les cours d'introduction.
Je n'ai en particulier pas installé la distribution cloudera.
Je ne sais pas si cela a une importance dans le cadre de mon erreur.
Toujours est-il que lorsque je me lance dans le TP 6 (Fouille de données textuelles), j'ai une erreur lors de l'import des packages :

Code : Tout sélectionner

$ spark-shell --driver-memory 1g --jars lsa.jar
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/10/15 16:57:59 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/10/15 16:57:59 WARN Utils: Your hostname, jice-H81M-HD3 resolves to a loopback address: 127.0.1.1; using 192.168.0.11 instead (on interface enp3s0)
17/10/15 16:57:59 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
17/10/15 16:58:04 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.0.11:4040
Spark context available as 'sc' (master = local[*], app id = local-1508079480365).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.

scala> import com.cloudera.datascience.lsa._
<console>:23: error: object cloudera is not a member of package com
       import com.cloudera
              ^
J'ai bien récupéré le jar à télécharger et j'ai également essayé une version générée par mes soins mais c'est le même résultat.
Est-ce lié au fait que je n'ai pas installé l'ensemble des outils cloudera ?

Merci pour vos pistes,
JC Clavier

Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

Re: error: object cloudera is not a member of package com

Message par Jean-Christophe » 19 oct. 2017 21:34

Après quelques recherches, il apparaît que l'import fonctionne lorsque spark-shell est lancé avec l'option --driver-class-path plutôt que --jars.
Peut-être à partir de spark 2.x (j'ai installé la 2.2)

Crucianu
Messages : 17
Inscription : 21 janv. 2015 18:35

Re: error: object cloudera is not a member of package com

Message par Crucianu » 13 nov. 2017 16:28

Bonjour,
L'import fonctionne avec --jars. Il est probable que votre .jar ne contienne pas la classe dans la bonne version.
Vous avez utilisé avec Spark 2.2 un .jar préparé pour Spark 1.6. La nouvelle version du TP (mise en ligne le 8/11/2017) a un lien vers le .jar préparé pour Spark 2.2.
Bien cordialement,
Michel Crucianu

Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

Re: error: object cloudera is not a member of package com

Message par Jean-Christophe » 13 nov. 2017 17:24

Merci.
Je vais essayer.

Jean-Christophe
Messages : 6
Inscription : 15 oct. 2017 17:06

Re: error: object cloudera is not a member of package com

Message par Jean-Christophe » 13 nov. 2017 19:17

Avec --jars, j'ai toujours la même erreur.
Avec --driver-class-path, cela fonctionne parfaitement.

Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité