Varför Amazons Docker tjänsten är att länka till Apache mesos för enklare klustring

Ovanpå tillkännage $ 36m i ny finansiering, har mesosphere tagit wraps utanför sin DCOS plattform, som syftar till att samla resurser över ett datacenter som om det vore en enda maskin.

Mer om Docker och behållare

Docker behållare: Hur Flocker s multi injektion markerar uppkomsten av ekosystemet, Microsoft januari Azure uppdateringar: Docker, Key Vault, stora VMS, utan PaaS, är Docker bara en massa containrar, Parallels antar Docker i nästa Cloud Server release, IBM slår Docker hantera och rullar ut sin egen behållare beta; AWS dubblar ner på Docker teknik, lanserar EC2 containerservice

Amazons Docker-centrerad containerservice arbetar på olika sätt för att länka till Apache mesos och populära Marathon tjänster schemaläggare ram för att vidga användarnas klusterhanteringsalternativ.

Lanserades i november förra året, Amazon EC2 containerservice, eller Amazon ECS har just presenterat en Apache mesos schemaläggare förare som ett proof-of-concept integration med Marathon.

Öppen källkod drivrutin, som skickar mesos ledning kommandon direkt till ECS, är utformad för att visa hur Marathon kunde schema arbetsbelastning på ECS.

Det syftar också till att demonstrera konstruktionsprinciper kärn bakom Amazonas tjänsten, som skiljer schemaläggning logik från statsförvaltning, enligt Deepak Singh, som grundade och leder ECS.

“Detta gör att du kan använda ECS schemaläggare, skriva egna schemaläggare, eller integrera med tredjeparts schemaläggare,” Singh sade i ett inlägg.

Klusterhantering blir en viktig fråga för utvecklare som bygger distribuerade applikationer i molnet.

“Ett vanligt exempel på utvecklare som interagerar med ett kluster ledningssystem är när du kör en MapReduce jobb via Apache Hadoop eller Apache Spark”, sade Singh.

Den explosionsartade ökningen av Docker container teknik under det senaste året riskerade att sätta projektet i stammar som dess nya strukturen kommer att ta itu med, säger nyligen utsedd chefsoperatören Steve Francia.

Båda dessa system hantera typiskt en samordnad grupp av maskiner som arbetar tillsammans för att utföra en stor uppgift. I fallet med Hadoop eller Spark, dessa uppgifter är oftast dataanalys jobb eller maskininlärning.

Förra veckan version 0.8.0 av Marathon släpptes. Mesosfären, en viktig bidragande orsak till mesos projekt med öppen källkod, beskriver det som den mest populära ram för mesos och som används i stor skala på ett antal stora företag världen över.

Singh sade kluster ledningssystem inför två utmaningar. Den första är komplexiteten i att hantera tillståndet i klustret.

“Programvara som Hadoop och Spark typiskt har en ledare, eller en del av den programvara som körs på ett ställe och är ansvarig för samordning. De kommer då att ha många, ofta hundratals eller tusentals anhängare, eller en del av programvaran som tar emot kommandon från Leader, utför dem, och rapporterar tillståndet hos deras under uppgift “, sade han.

“När maskinerna misslyckas, måste Leader upptäcka dessa misslyckanden, byta maskiner, och starta om följare som tar emot kommandon. Detta kan vara en betydande del av kod skriven för tillämpningar som behöver tillgång till en stor pool av resurser.”

Datacenter, IBM lanserar nya Linux, Power8, OpenPower system, Cloud, Michael Dell på balans EMC affären: “Vi kan tänka på årtionden, datacenter, Delta sätter prislapp på system strömavbrott: $ 150 miljoner före skatt inkomst, datacenter, Dell Technologies lyfter: Här är vad man ska titta på när Dell, EMC, en uppsjö av företag företag kombinerar

Den andra utmaningen för kluster ledningssystem är att varje ansökan förutsätter normalt full äganderätt till den dator där dess uppgifter är igång.

“Du kommer ofta sluta med flera kluster av maskiner, var och en dedikerad till fullo ledningssystemet i bruk. Detta kan leda till ineffektiv fördelning av resurser, och jobb tar längre tid att köra än om en gemensam resurspool kan användas,” Singh sa.

I GitHub förvaret för Marathon föraren Amazon påpekar att programvaran är i demonstrationssyfte och är “rekommenderas inte för produktionsanvändning”.

Företaget fortsätter med att säga: “. Vi arbetar med mesos samfundet att utveckla en mer robust integration mellan Apache mesos och Amazon ECS”

IBM lanserar nya Linux, Power8, OpenPower system

Michael Dell på balans EMC affären: “Vi kan tänka på årtionden”

Delta sätter prislapp på system strömavbrott: $ 150 miljoner före skatt inkomst

Dell Technologies lyfter: Här är vad man ska titta på när Dell, EMC, en uppsjö av företag företag kombinerar