Skip to end of metadata
Go to start of metadata

Korkeakoulun yhteyshenkilölle ja korkeakoulussa tietointegraation toteutuksesta vastaavalle:

Mistä lähden liikkeelle ja mitä pitää muistaa tietointegraatiota toteuttaessa

XML-määritykset

Koodistot

  • Kaikki siirrettävät ja tietovarantoon tuotavat tiedot on sovitettava yhteisesti sovittuihin koodistojen arvoihin.
  • Koodistot löytyvät (vielä; jatkossa Koodistopalvelu) wikisivulta: https://confluence.csc.fi/display/VIRTA/Tietovarannon+koodistot
  • Myös tiedonsiirtoskeemoissa on mukana koodistot arvoineen. Tätä skeemaa voi tarkastella wikisivulla: https://confluence.csc.fi/display/VIRTA/koodistot
  • Tietovarannon koodistoluetteloihin julkaistaan helmikuun aikana kootut ohjeet yksittäisten koodiarvojen tulkinnasta ja käyttötarkoituksesta tietojen yhteismitallisen kirjaamisen varmistamiseksi.

Mappaus korkeakoulujen tietomalliin

  • Siirtotiedostoja muodostettaessa on hyvä olla tietoinen myös Kysymyksia ja vastauksia -wikisivusta: https://confluence.csc.fi/display/VIRTA/Kysymyksia+ja+vastauksia
  • Tiedostojen nimeämiseen ei ole toistaiseksi mitään muuta sääntöä kuin että tiedoston pääte täytyy olla ".xml".
    • NB! Jotkin tiedonsiirto-ohjelmat toimivat ilmeisesti oletuksena niin, että tiedonsiirron ajaksi siirrettävän tiedoston nimen perään lisätään tiedostopääte ".filepart". Tämä käytännössä estää sitten siirretyn tiedoston löytymisen, koska varsinainen tiedosto ei sitten enää sisällä tuota päätettä.
    • Ainakin WinSCP-ohjelma käyttää yllä mainittua tiedoston nimeämistä, ilmeisesti käytettäessä tiedonsiirtotapaa binary. Toimivaksi havaittu tiedonsiirtotapa on text.
    • Syy sille, miksi tiedoston nimeä ei saa muuttaa, on siinä miten systeemimme toimii. Karkeasti näin:
      • Käyttämämme tiedonsiirtosovellus muodostaa kaikesta tietoliikennekeskustelustaan lokia ja meidän systeemimme puolestaan lukee ko. lokia ja on kiinnostunut niistä lokimerkinnöistä, jotka sanovat "upload_end" (tällöin tiedostot on kokonaisuudessaan ladattu; ei tarvita "part" käsittelyä). Tässä lokimerkinnässä kerrotaan mm. kuka tiedoston lähetti ja tiedoston nimi => tiedosto lähtee käsittelyyn. Mikäli tiedoston lataamisen jälkeen tiedoston nimeä muutetaan suoraan palvelimella, systeemimme ei löydä enää tiedostoa.

XML-siirtotiedostojen validointi

Avainten generointi ja yhteyksien avaaminen CSC:lle

  • Ilmoita sähköpostiosoitteeseen virta-admin ät postit.csc.fi lähettävän palvelimen ip-osoite.
  • Luo SSH2-DSA 2048 –tyyppinen (tai RSA) julkinen ja yksityinen avain. Lähetä julkinen avain virta-admin ät postit.csc.fi -osoitteeseen
  • Ilmoita osoitteeseen virta(a)csc.fi, kun siirtotiedosto on lähetetty ensimmäisen kerran. Annamme kuittauksen siirron onnistumisesta organisaation tekniselle yhteyshenkilölle.
  • Jos organisaation tekninen yhteyshenkilö vaihtuu, ilmoita hänen nimensä, sähköpostiosoitteensa ja puhelinnumeronsa virta(a)csc.fi-osoitteeseen.

Testausten edetessä, tuotantoon tullessa

  • Tietovarannon tiedonsiirtopalvelimelle syntyy latausten yhteydessä aina latausraportti (ks. Virta_Latausraportti). Latausraportista voi nähdä muun muassa tiedonsiirrossa tuotujen tietojen lukumääriä sekä mahdollisia virheitä ja puutteita joita lataamisen yhteydessä on havaittu.
    • Virheet tarkoittavat, että tiedoissa on havaittu jotakin niin merkittävää, että lataaminen käytännössä keskeytetään.
    • Puutteet taas tarkoittavat havaintoja asioista, joilla joko on tai ei ole merkitystä isommassa mittakaavassa. Esimerkiksi historiatiedoissa saattaa olla tietoja, joille ei kannata tai voi tehdä juuri mitään. Puutelista on erityisesti lista, jota tullaan kehittämään enemmän ja vieläkin enemmän jatkossa.
  • Tarkoitus on, että kukin korkeakoulu toimittaa tiedostoja tahdissa 1 päivä - 1 kuukausi. Tiheimmillään siis kerran päivässä, mutta vähintään kerran kuussa.
    • Tiedonsiirtoa testatessa ja siirtotiedostoja kehittäessä saa tiedostoja toimittaa kyllä yhden päivän aikana useastikin.
  • Asioiden edetessä Virta-projektiryhmä laatii aikataulusuunnitelman, jossa kullekin korkeakoululle varataan jokin aikaväli vuorokaudesta, jonka aikana olisi suotavaa toimittaa siirtotiedostot. Tällä pyritään välttämään tarpeetonta ruuhkaa palvelmilla. Ilman muuta ehdotuksia ja toiveita kuunnellaan.
  • "Tuotantovipu": Kun korkeakoululta aletaan siirtää pysyvämmin tuotantodataa, asiasta on syytä erikseen ilmoittaa virta(a)csc.fi-osoitteeseen.
    • Laitamme ilmoituksen perusteella päälle nk. tuotantovivun, joka tarkoittaa, että tiedot ladataan aina lukurajapintaan saakka.
    • Kun tuotantovipu on asetettu päälle, ei testidataa tai vajaita tiedonsiirtoja kannata lähettää, sillä kyseenomainen data korvaa kaiken aiemmin korkeakoulusta lähetetyn ja päätyy siis muun muassa viranomaistiedonkeruiden lähteeksi.
    • Tuotantovivun päällelaittamisen yhteydessä tietovaranto voi alkaa lähettää automaattisesti sähköposteja, mikäli tietojen lataaminen päättyy virheeseen syystä tai toisesta. Sähköposteja voidaan lähettää myös useaan osoitteeseen. Virta-projektiryhmä suosittelee käytettäväksi palveluosoitetta tai sähköpostilistaa, jonka vastaanottajia korkeakoulu voi itse ylläpitää.
  • No labels