När jag skriver mina migreringsskript till FOLIO har jag börjat kopiera alldeles för mycket kod mellan de olika skripten. Särskilt när det gäller själva interaktionen med FOLIO.

Det har varit läge att flytta de här sakerna till ett eget paket så att alla skript kan använda samma kod, och idag slog jag till.

Jag följde guiden How to upload your python package to PyPi och det fungerade riktigt bra.

Så nu kan alla som behöver en wrapper över FOLIOs API:er gå till PyPi och ladda ned FolioClient-paketet

Tanken framöver är att inte behöva definiera alla endpoints, utan istället gå på RAML-filerna och hämta ned dem mer dynamiskt.

Men, vi får väl se.

Det här är en av mina mest använda referens-sidor sedan jag började använda Python mer aktivt. Det är dags att ge den lite Google-juice!

På http://mark-dot-net.blogspot.com/2014/03/python-equivalents-of-linq-methods.html finns en ordentlig översikt över några av de vanligaste LINQ-(To objects)-uttryckens motsvarigheter i Python. Vissa av uttrycken är mer uttrycksfulla och andra kräver lite längre syntax för att åstadkomma samma sak. En sak jag har märkt när jag har testat dem är att de inte alltid har samma prestanda som LINQ. Ibland beror det förstås på hur listor och arrayer genereras i underliggande kod, men många gånger upplever jag att ren iteration över listorna går snabbare och att Python-uttrycken genererar någon sorts overhead.

Så tipset är att gräva lite och se att du har ordentliga yield-uttryck när du skapar dina listor och arrayer, samt att inte blunda för en for-loop här och där. Det är ju också "bättre" Python att inte överanvända för kortfattade och uttrycksfulla uttryck på bekostnad av läsbareheten, så någonstans leder dessa begräsningar rätt i slutändan.

I had a hard time to find the answer to this task online, so when I finally figured it out, I thought I could add it as a question on Stackoveflow. Once posted, I received some immediate downvotes, and one grumpy comment on that you should not answer your own questions even though it is highly encouraged. Now my question is put in a state of On hold for being too broad! And obviously it is me that is grumpy...

So, in case the question gets closed, here is how How do you zip an entire folder (with subfolders) and serve it through Flask without saving anything to disk:

import time
from io import BytesIO
import zipfile
import os
from flask import send_file


@app.route('/zipped_data')
def zipped_data():
    timestr = time.strftime("%Y%m%d-%H%M%S")
    fileName = "my_data_dump_{}.zip".format(timestr)
    memory_file = BytesIO()
    file_path = '/home/data/'
    with zipfile.ZipFile(memory_file, 'w', zipfile.ZIP_DEFLATED) as zipf:
          for root, dirs, files in os.walk(file_path):
                    for file in files:
                              zipf.write(os.path.join(root, file))
    memory_file.seek(0)
    return send_file(memory_file,
                     attachment_filename=fileName,
                     as_attachment=True)

Jag har en samling CSV-filer som jag ville göra om till JSON. Att göra om CSV till JSON är enkelt med Pythons json och csv-bibliotek. Tyvärr - men fullt naturligt - ger en rå utkrift av detta lite tråkigt formaterade namn på egenskaperna i JSON-filen.

Efter lite sökande fick jag fram detta:

import csv
import json
import argparse


def camel_case(obj):
    for key in obj.keys():
        new_key = ''.join(x for x in key.title() if not x.isspace())
        new_key1 =  new_key[0].lower() + new_key[1:]
        if new_key1 != key:
            obj[new_key1] = obj[key]
            del obj[key]
    return obj


parser = argparse.ArgumentParser()
parser.add_argument("from_path", help="report")
parser.add_argument("to_path", help="")
args = parser.parse_args()
print(args.from_path)
f = open(args.from_path, 'r')
reader = csv.DictReader(f)
out = json.dumps([camel_case(row) for row in reader],
                 indent=2,
                 sort_keys=True)
print("JSON parsed!")
# Save the JSON
f = open(args.to_path, 'w')
f.write(out)
print("JSON saved!")
f.close()

Ganska smidigt.

Inspirerad av föredragen från årets NDC har jag infört ett antal förändringar på bibliotekarien .se:

HSTS

HTTP Strict Transport Security (HSTS) är ett sätt för servern att behålla kommunikationen över https även om något illasinnat skulle komma ivägen. Det här förhindrar kortfattat Man-in-the-middle-attacker och kak-kapningar.

En begränsning i HSTS är att den första förfrågningen mot servern är osäker eftersom klienten då inte känner till något om servern.

HSTS implementeras på webbservern genom att den konfigureras att skicka med en särskild header.

HSTS preload list

HSTS Preolad list är en lista över de domäner som webbläsarna vet stödjer HSTS. Lägger man till och verifierar sin domän i den listan hamnar den hos de större webbläsarna och detta innebär att även den första förfrågan som sänds från klienten blir säkert.

Stödet för HSTS är någorlunda stort bland webbläsarna.

No-referrer och färre CDN

För att skydda mina besökares integritet har jag också lagt till direktivet

<meta name="referrer" content="no-referrer">

i HTML-koden på sidorna.  Jag har också hämtat hem skript och css-filer från olika CDN:s till sajten för att den vägen unvika onödig spårning. Att det låg kvar var helt beroende på lathet från min sida. Det är mycket snabbare att lyfta in ett nytt klient-bibliotek den vägen än att lägga upp det lokalt på servern.

Det som återstpr nu är Googles reCaptcha och Google Analytics. Jag tänker jag kommer att begränsa reCaptcha-anropen till de sidor där de behövs, samt byta ut Google Analytics mot Piwik på sikt.

Jag har varit i Köpenhamn på konferensen Gr8conf Europe. Det är en konferens i det lite mindre formatet, men de lyckas ändå hålla med tre relevanta spår: två samtidiga sessioner och ett workshop-spår. Konferenslokalerna ägde rum i IT-universitetet i Köpenhamns moderna lokaler. 

Jag kommer ju hit med Libris XL:s perspektiv, där vi använder etablerade Java-bibliotek och knyter ihop det med Groovy. I Ljuset av detta blir det lite väl mycket djupdykningar i Groovy-specifika bibliotek och ramverk. Men det är fullt naturligt. Programmet var ändå lagt så att presentationer om Grails-och annat gick att undvika till förmån för något mer relevant.

Presentationerna har överlag varit väldigt bra. Insatta, roliga, pedagogiska. Även om det var många stora namn där som höll presentationer så kändes de hela tiden som om de var en del av oss andra. Det är inte alltid det är så.

Tekniken har fungerat felfritt. Maten har varit god. Kaffet på rätt sida gränsen till för svagt. Jag deltog inte i några kvällsarrangemang, men de andra deltagarna så lagom trötta ut följande morgon, så jag tror de var nöjda med även de sociala bitarna.

Några highligts:

Dag1

Venkat Subramaniam - The Art of Simplicity

Venkat Subramaniam höll en väldigt inspirerande och roande keynote om hur svårt det är att hitta den där enkla lösningen som alla talar om. Vi har sedan Occam fått höra hur vi ska eftersträva den enkla lösningen framför den komplexa. Om det bara vore så enkelt. Han visade med många roliga exempel att vi sannolikt inte känna igen den enkla lösningen om vi så satt bredvid den på en parkbänk. Några tips på hur vi når den fick vi också.

Hubert Klein Ikkink - Express yourself with Groovy DSLs

Hubert Klein Ikkink, eller Mr Haki som de flesta googlande Groovy-utvecklare känner honom som , höll en presentation med ett något missvisande namn. Det var en timmes överblick över Groovys syntax och möjligheter som slutade med en genomgång av vad Groovy erbjuder när man vill skapa egna DSL:er. Väldigt bra presentation i högt tempo.

Venkat Subramaniam - GPars Deep Dive

En annan presentation i högt tempo var Venkat Subramaniams andra presentation för dagen. Här presenterade han Groovy-biblioteket för concurrency, Gpars. Väldigt pedagogiskt gick han igenom en stor andel av komponenterna i Gpars och förklarade när det lämpade sig att använda vilken komponent. En kritik jag har mot den här typen av presentationer av parallell programmering är att exemplen är för långt ifrån verkligheten. En lista av saker som ska processas samtidigt dyker normalt inte upp från ingenstans och resultatet ska normalt inte skrivas ut i konsolen, utan ska tas omhand någonstans och det är i de där gränserna som utmaningarna visar sig. Det var symptomatiskt att när ett exempel skulle anropa ett externt API så fallerade exemplet. Trots att API:et var mockat och inte utförde några egentliga anrop. Trots detta var det en väldigt imponerande presentation i sin helhet.

Dag 2

Jeff Scott Brown - Powerful Metaprogramming Techniques With Groovy

En presentation jag sett fram emot var Jeff Browns presentation om GORM. Tyvärr utgick den, men den ersattes den av en presentation om metaprogrammering i Groovy. Också den av Jeff Brown. Väldigt bra presentation, och jag lämnade denmed en känsla av att Groovys enkelhet och uttrycksfullhet sträcker sig väldigt långt. Han visade bland annat hur enkelt det är att implementera sin egen version av ExpandoObject.

Andres Almiray - Making the Most of Your Gradle Build

Andres Almiray började med grunderna: Installation, initialisering (Gradle init) och lazybones. Nämnde fördelarna med Gradle Wrapper och så vidare.

Hur lång ska en byggfil vara? Andres Almirays tanke är att det som en byggfil innehåller är de avsteg man gör från konventionen. Och de avstegen bör vara medvetna. Tiden när man bootstrappade ett nytt Java-projekt genom att klistra in samma fil som man använde i det senaste projektet hör till det förgångna.

Han uppmuntrar oss också att flytta ut egna task-definitioner till egna separata filer och om nödvändigt skapa plug:iner. Det gör att man tar egna tasks på större allvar och gör dem bättre. Genom detta tas avsteg från konventionen på större allvar och får mer uppmärksamhet. Det gör också att man börjar leta efter redan existerande plugins och sänker därmed underhållskostnaderna för projektet.

Andres Almiray listade en stor samling Gradle-plugins vi borde titta på, men han nämnde särskilt följande:

Gradle-versions-plugin (https://github.com/ben-manes/gradle-versions-plugin)

Håller ordning på vilka dependencies som har uppdateringar. Den kan nog bidra till bättre förvaltning av system som inte behöver så mycket underhåll. Ett Jenkins-jobb för det vore en enkel och billig sak.

license-gradle-plugin (https://github.com/hierynomus/license-gradle-plugin)

Håller ordning på projektet så att copyright-och licensinformations-headers finns på rätt plats och med rätt information. Den håller även koll på licenerna i de dependencies som används.

versioning(https://github.com/nemerosa/versioning) ,

Versioning kan antingen skriva ut versionsinformation i konsollen när det körs, eller så skapas en fil med versionsinformation från ingående dependencies samt det egna repot (hämtat från git eller Subversion).

Ett tips jag missat är att man kan sätta Gradle i ett läge för "Incremental build " med -t.

Mr Haki - Groovy Goodness

Det svåra valet för dagen stod mellan Mr Hakis "Groovy Goodness" och "Groovy 2.5 update". Jag trodde att Mr Haki skulle vara det säkra valet. Här fick vi i ett rasande tempo ännu mer "Groovy goodness". Roligt med någon som är så insatt och samtidigt så pedagogisk.

Dag 3 - Devops day

Dag tre var helt dedikerad till DevOps. Väldigt bra drag att skilja ut detta till en liten minikonferens. Jag följde de mer abstrakta föreläsningarna, men där fanns workshops och konkreta presentationer att följa.

Keynote

Lars Kruse - NoOps - Beyond the DevOps Frontier

Lars Kruse höll en kort presentation av fenomenet DevOps: Var uttrycket myntades, ur vilka behov rörelsen uppstod mm. Han väljer själv att försöka tala om Continuous delivery istället för DevOps, eftersom det förra är målet.

Sedan följde en längre utvikning om lean. Snabba upp processerna, korta av ledtider och att leverera små munsbitar ofta. Han stannade länge vid vikten av att - som i bilindustrin - stoppa processen när man upptäcker ett fel och åtgärda det innan någon får återta arbetet. Inget nytt, men det tål att upprepas och det fanns mycket att ta till sig när vi nu sitter i ett större projekt med många komponenter och beroenden som gör att vi lätt drar oss för att driftsätta till produktion.

För att se hur långt man har kvar till fulländning kan man använda sig av

http://code-maturity.praqma.com/

Lee Fox

Jag satt och lyssnade på två föredrag av Lee Fox under eftermiddagen. Bägge förtjänar egentligen sin egen bloggpost. Det första handlade om de kulturella hindren som står i vägen för att DevOps-ifiera en organisation. Han kom också med ett antal verktyg och taktiker som man kan använda för att vända eller överbrygga de här hindren.

Det andra handlade om svårigheterna som kommer med att vi börja sätta upp central loggning och instrumenteringfrån våra allt mer komplexa miljöer. Hans idé att lösa detta är att arbeta med att hitta "historier/stories" i datat och försöka hålla koll på dem med hjälp av Alerts och ChatOps.

Så, då har jag säkrat upp bibliotekarien.se med https. Jag använder Let's Encrypts fria certifikat.

Det blir alltmer påträngande att gå över till https för webbsidor (och allt annat med för den delen). Inte nog med säkerhetsriskerna. Webbläsarna kommer snart att börja varna för webbplatser över http. Google rankar https-sajter högre än de som kör över http. O.s.v.

Edit: Idag kom ett bra exempel på att https bara räcker en bit på vägen.

Många webbhotell stödjer Let's Encrypt så till den grad att det bara är att klicka på en knapp för att säkra upp webbplatsen. Certifikaten förnyas dessutom med automatik var tredje månad.

Saknar webbhotellet dessa möjligheter men erbjuder shell-access finns möjligheten att sätta upp det här själv.

Mitt webbhotell saknar bägge möjligheterna, men tack vare att man får ladda upp andra certifikat än webbhotellets (tack för det!) så kan jag använda Let's Encrypts manuella lösning.  Den går kortfattat ut på att du kör ett program på en annan maskin. Du verifierar för programmet att du äger webbplatsen ifråga och sedan genererar den cerifikatet.

Ett krux med den manuella modellen är att detta behöver man göra om var tredje månad. Men det känns det värt.

När certifikatet är på plats och allt fungerar är det en trevligt om man ser till att användarna automatiskt flyttas över till https. Detta går naturligtvis att lösa på många olika sätt. Jag valde att göra det i min web.config  så att IIS förstår det.

Jag har dragit mig länge för det här, men väl på andra sidan kan jag inte förstå att jag inte tagit tag i det tidigare.

Näringsvärde

Bara degen, 1 slice. Kalorier: 203 Fett: 16.8g Kolhydrater: 4g, varav sockerarter: 1g Fiber: 1.6g Protein: 11g

Ingridienser

170g / 4 dl riven mild ost

85g / knappt 2 dl  mandelmjöl

2 msk cream cheese

1 ägg

ev. 1-2 klyftor vitlök

ev ½ msk torkad rosmarin

Tillagning

1.  Rör ihop mandelmjöl, cream cheese och den rivna osten i en skål som tål mikrovågsugn. Kör i mikron på hög effekt i 1 minut.
2. Rör om. Kör i mikron i ytterligare 30 sekunder. 
3. Tillsätt ägget, salt, rosmarin och andra eventuella smaksättare. Rör försiktigt ihop smeten.
4. Placera degen mellan två bakplåtspapper och kavla ut till runda pizzabottnar. Ta bort det översta bakplåtspappret . Om degen blir hård och svårarbetad, kör den åter i mikron i 10-20 sekunder så att den mjuknar. Observera att för lång tid i mikron gör att ägget koagulerar.
5. Picka hål i degen med en gaffel för att försäkra dig om att den blir jämnt gräddad.
6. Lägg bakplåtspapptret på en plåt och baka degen (utan fyllning) i 220 C i 12-15 minuter.
7. Ta ut plåten och garnera pizzan med den fyllning du önskar. Baka sedan pizzan i ugnen i 220 C  tills osten är smält (ca 5 min).