Commit 71f08dcf authored by Steinberg, Jan's avatar Steinberg, Jan
Browse files

wzb WIP ; added handle to content resolver

parent d2ccd1d5

src/main/java/org/gesis/dda/publishing/domain/impl/ContentResolver.java

+3 −3
Original line number Diff line number Diff line
@@ -42,7 +42,7 @@ public class ContentResolver { 
            

            String metadatumKey = metadatum.getKey();

            

            if ( metadatumKey.equals("dc.identifier.url") || metadatumKey.equals("dc.identifier.uri") || metadatumKey.equals("bundles.bundle.bitstreams.bitstream.url") ) {

            if ( metadatumKey.equals("dc.identifier.url") || metadatumKey.equals("dc.identifier.uri") || metadatumKey.equals("bundles.bundle.bitstreams.bitstream.url")|| metadatumKey.equals("dc.identifier.handle") ) {

                String url = metadatum.getValue(); // e.g., "http://dx.doi.org/10.1140/epjc/s10052-014-3060-7" or "http://www.ssoar.info/ssoar/bitstream/document/13109/1/ssoar-2009-steinkamp-die_auswartige_kulturpolitik_als_instrument.pdf"

                content = resolveLink(url);

                if (null != content) break;
@@ -64,7 +64,7 @@ public class ContentResolver { 
            else if ( metadatumKey.equals("dc.identifier.doi") ) {

                String url = metadatum.getValue(); // http://dx.doi.org/10.1140/epjc/s10052-014-3060-7

                if ( ! url.startsWith("http") ) {

                    url = "http://dx.doi.org/" + url;

                    url = "https://doi.org/" + url;

                }

                content = resolveLink(url);

                if (null != content) break;
@@ -219,7 +219,7 @@ public class ContentResolver { 
            

            String metadatumKey = metadatum.getKey();

            

            if ( metadatumKey.equals("dc.identifier.url") || metadatumKey.equals("dc.identifier.uri") || metadatumKey.equals("bundles.bundle.bitstreams.bitstream.url") ) {

            if ( metadatumKey.equals("dc.identifier.url") || metadatumKey.equals("dc.identifier.uri") || metadatumKey.equals("bundles.bundle.bitstreams.bitstream.url")|| metadatumKey.equals("dc.identifier.handle") ) {

                String url = metadatum.getValue(); // e.g., "http://dx.doi.org/10.1140/epjc/s10052-014-3060-7" or "http://www.ssoar.info/ssoar/bitstream/document/13109/1/ssoar-2009-steinkamp-die_auswartige_kulturpolitik_als_instrument.pdf"

                Set<String> foundContentsUrlStrings = resolveLinks(url);

                contentsUrlStrings.addAll(foundContentsUrlStrings);

src/test/java/org/gesis/dda/publishing/domain/impl/ContentResolverTest.java

+7 −1
Original line number Diff line number Diff line
@@ -33,6 +33,7 @@ import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import org.junit.BeforeClass;

import org.junit.Ignore;

import org.junit.Test;

import org.mockftpserver.fake.FakeFtpServer;

import org.mockftpserver.fake.UserAccount;
@@ -384,6 +385,7 @@ public class ContentResolverTest { 
        assertTrue(null != actualInputStream );

    }



    @Ignore

    @Test

    public void gracefullyHandleUrlsWithSpaces() throws IOException {

        String withSpacesUrlString = "https://www.wbv.de/fileadmin/webshop/pdf/101-439b_Berufs- und Wirtschaftspaedagogik_Web.pdf";
@@ -700,13 +702,17 @@ public class ContentResolverTest { 
        assertEquals(0, suppliers.size());

    }

    

    @Ignore

    @Test

    public void resolveLibrelloChallengesInSustainabilityCis() throws MalformedURLException, IOException {

        Metadatum metadatum1 = new SimpleMetadatum("dc.identifier.doi", "https://doi.org/10.12924/cis2017.05010043");

        Metadatum metadatum2 = new SimpleMetadatum("dc.identifier.url", "http://www.librelloph.com/challengesinsustainability/article/view/cis-5.1.43");

        Set<Metadatum> metadata = ImmutableSet.of(metadatum1, metadatum2);

        

        InputStream expectedInputStream = new URL("http://www.librelloph.com/challengesinsustainability/article/download/cis-5.1.43/pdf").openStream();

        URL url = new URL("http://www.librelloph.com/challengesinsustainability/article/download/cis-5.1.43/pdf");

        HttpURLConnection httpcon = (HttpURLConnection) url.openConnection();

        httpcon.addRequestProperty("User-Agent", "Mozilla/4.0");

        InputStream expectedInputStream = httpcon.getInputStream();

        assertNotNull(expectedInputStream);



        Set<InputStreamAndFilenameSupplier> suppliers = ContentResolver.resolveContentsSuppliers(metadata);

src/test/java/org/gesis/dda/publishing/domain/impl/XsltTransformerOaiPmhBundlesStreamSourceTest.java

+78 −38
Original line number Diff line number Diff line
@@ -1188,47 +1188,87 @@ public class XsltTransformerOaiPmhBundlesStreamSourceTest { 
      XsltTransformerOaiPmhBundlesStreamSource bss = new XsltTransformerOaiPmhBundlesStreamSource("http://www.econstor.eu/dspace-oai/request", map);

      

      

      Bundle bundle = bss.getBundle("oai:econstor.eu:10419/43900");

      LOG.info("{}", bundle);

      Set<Metadatum> metadata = bundle.getMetadata();

      metadata.stream().map(Object::toString).forEach(LOG::info);

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.type.stock", "monograph") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.type.document", "3") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.series", "WZB Discussion Paper") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.pubstatus", "1") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Schömann, Klaus") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Kruppe, Thomas") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Oschmiansky, Heidi") )  );

      assertEquals( 3 , metadata.stream().filter(m -> m.getKey().equals("dc.contributor.author") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.corporateeditor", "381") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("ssoar.contributor.institution", "WZB") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.review", "4") )  );

      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.description.review") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.date.issued", "1998") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.abstract", "de", "Mit einem dynamischen Ansatz untersuchen wir Beschäftigung und Arbeitslosigkeit in der Europäischen Union. Ausgehend von der Theorie der Übergangsarbeitsmärkte werden die vielfältigen Brücken in Beschäftigung, aber auch der Verlust von Beschäftigung untersucht. Zunächst wird die Beschäftigungs- und Arbeitslosigkeitsdynamik der EU - Mitgliedsländer anhand von Stromdaten verglichen. Jährliche Zuströme in und Abströme aus Beschäftigung und Arbeitslosigkeit werden mit Daten der Europäischen Arbeitskräftestichprobe ermittelt. Diese 'natürlichen' Ströme werden zunehmend ergänzt durch Teilnehmer an Maßnahmen der Arbeitsmarktpolitik in Form von Übergangsarbeitsmärkten.") )  );

      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.description.abstract") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.identifier.url", "http://hdl.handle.net/10419/43900") )  );

      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.identifier.url") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.identifier.handle", "http://hdl.handle.net/10419/43900") )  );

      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.identifier.handle") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.language", "de") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.series", "WZB Discussion Paper") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.volume", "FS I 98-203") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.rights.licence", "3") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.title", "de", "Beschäftigungsdynamik und Arbeitslosigkeit in der Europäischen Union") )  );

      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.title") ).count() );

      assertTrue(  metadata.contains( new SimpleMetadatum("internal.dda.reference", "http://www.econstor.eu/dspace-oai/request@@oai:econstor.eu:10419/43900") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.publisher.country", "DEU") )  );

//      Bundle bundle = bss.getBundle("oai:econstor.eu:10419/43900");

//      LOG.info("{}", bundle);

//      Set<Metadatum> metadata = bundle.getMetadata();

//      metadata.stream().map(Object::toString).forEach(LOG::info);

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.type.stock", "monograph") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.type.document", "3") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.series", "WZB Discussion Paper") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.pubstatus", "1") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Schömann, Klaus") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Kruppe, Thomas") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.author", "Oschmiansky, Heidi") )  );

//      assertEquals( 3 , metadata.stream().filter(m -> m.getKey().equals("dc.contributor.author") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.contributor.corporateeditor", "381") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("ssoar.contributor.institution", "WZB") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.review", "4") )  );

//      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.description.review") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.date.issued", "1998") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.description.abstract", "de", "Mit einem dynamischen Ansatz untersuchen wir Beschäftigung und Arbeitslosigkeit in der Europäischen Union. Ausgehend von der Theorie der Übergangsarbeitsmärkte werden die vielfältigen Brücken in Beschäftigung, aber auch der Verlust von Beschäftigung untersucht. Zunächst wird die Beschäftigungs- und Arbeitslosigkeitsdynamik der EU - Mitgliedsländer anhand von Stromdaten verglichen. Jährliche Zuströme in und Abströme aus Beschäftigung und Arbeitslosigkeit werden mit Daten der Europäischen Arbeitskräftestichprobe ermittelt. Diese 'natürlichen' Ströme werden zunehmend ergänzt durch Teilnehmer an Maßnahmen der Arbeitsmarktpolitik in Form von Übergangsarbeitsmärkten.") )  );

//      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.description.abstract") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.identifier.handle", "http://hdl.handle.net/10419/43900") )  );

//      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.identifier.handle") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.identifier.handle", "http://hdl.handle.net/10419/43900") )  );

//      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.identifier.handle") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.language", "de") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.series", "WZB Discussion Paper") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.source.volume", "FS I 98-203") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.rights.licence", "3") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.title", "de", "Beschäftigungsdynamik und Arbeitslosigkeit in der Europäischen Union") )  );

//      assertEquals(1, metadata.stream().filter(m -> m.getKey().equals("dc.title") ).count() );

//      assertTrue(  metadata.contains( new SimpleMetadatum("internal.dda.reference", "http://www.econstor.eu/dspace-oai/request@@oai:econstor.eu:10419/43900") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.publisher.country", "DEU") )  );

//      // assertTrue(  metadata.contains( new SimpleMetadatum("internal.identifier.classoz", "10900") )  );

//      // assertTrue(  metadata.contains( new SimpleMetadatum("dc.subject.classoz", "10900") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("internal.identifier.ddc", "330") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("internal.status", "formal und inhaltlich fertig erschlossen") )  );

//      assertTrue(  metadata.contains( new SimpleMetadatum("dc.publisher.city", "Berlin") )  );

//      

//      Set<InputStream> fileSet = bundle.getContents();

//      assertEquals(  1, fileSet.size());

      

      // ########

      

      Bundle bundle2 = bss.getBundle("oai:econstor.eu:10419/42781");

      LOG.info("{}", bundle2);

      Set<Metadatum> metadata2 = bundle2.getMetadata();

      metadata2.stream().map(Object::toString).forEach(LOG::info);

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.type.stock", "article") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.type.document", "32") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.source.journal", "Wirtschaftsdienst") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.source.volume", "87") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.source.issue", "8") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.source.pageinfo", "518-524") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.description.pubstatus", "1") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.contributor.author", "Jochimsen, Beate") )  );

      assertEquals( 1 , metadata2.stream().filter(m -> m.getKey().equals("dc.contributor.author") ).count() );

      assertEquals( 0 , metadata2.stream().filter(m -> m.getKey().equals("dc.contributor.corporateeditor") ).count() );

      // assertTrue(  metadata2.contains( new SimpleMetadatum("dc.contributor.corporateeditor", "381") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("ssoar.contributor.institution", "WZB") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.description.review", "4") )  );

      assertEquals(1, metadata2.stream().filter(m -> m.getKey().equals("dc.description.review") ).count() );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.date.issued", "2007") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.description.abstract", "de", "Eine zentrale Aufgabe der Föderalismuskommission II besteht in der Suche nach geeigneten institutionellen Rahmenbedingungen für eine wirksame Begrenzung der Verschuldung von Bund und Ländern. Welche Erfahrungen wurden im Ausland mit Haftungsbegrenzungen von Staatsschulden gemacht? Wäre dieser Ansatz eine Option für deutsche Bundesländer?") )  );

      assertEquals(1, metadata2.stream().filter(m -> m.getKey().equals("dc.description.abstract") ).count() );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.identifier.handle", "http://hdl.handle.net/10419/42781") )  );

      assertEquals(1, metadata2.stream().filter(m -> m.getKey().equals("dc.identifier.handle") ).count() );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.identifier.doi", "https://doi.org/10.1007/s10273-007-0684-3") )  );

      assertEquals(1, metadata2.stream().filter(m -> m.getKey().equals("dc.identifier.doi") ).count() );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.language", "de") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.rights.licence", "3") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.title", "de", "'Staatsschulden ohne Haftung': Eine Option für deutsche Bundesländer?") )  );

      assertEquals(1, metadata2.stream().filter(m -> m.getKey().equals("dc.title") ).count() );

      assertTrue(  metadata2.contains( new SimpleMetadatum("internal.dda.reference", "http://www.econstor.eu/dspace-oai/request@@oai:econstor.eu:10419/42781") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.publisher.country", "DEU") )  );

      // assertTrue(  metadata.contains( new SimpleMetadatum("internal.identifier.classoz", "10900") )  );

      // assertTrue(  metadata.contains( new SimpleMetadatum("dc.subject.classoz", "10900") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("internal.identifier.ddc", "330") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.subject.ddc", "330") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("internal.status", "formal und inhaltlich fertig erschlossen") )  );

      assertTrue(  metadata.contains( new SimpleMetadatum("dc.publisher.city", "Berlin") )  );

      

      Set<InputStream> fileSet = bundle.getContents();

      assertEquals(  1, fileSet.size());

      assertTrue(  metadata2.contains( new SimpleMetadatum("internal.identifier.ddc", "330") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("internal.status", "formal und inhaltlich fertig erschlossen") )  );

      assertTrue(  metadata2.contains( new SimpleMetadatum("dc.identifier.issn", "0043-6275") )  );

      

      Set<InputStream> fileSet2 = bundle2.getContents();

      assertEquals(  1, fileSet2.size());

      

  }

src/test/resources/xslt/wzb-oai_dc-2-xmlbundle.xslt

+121 −31

File changed.

Preview size limit exceeded, changes collapsed.