About Pipeline in Production

After you evaluate a pipeline and you're happy with its performance, it's time to move to production and use it in your target application. Learn how to prepare your pipeline, configure the search, and manage your file corpus in a live app.

How It Works

Your pipeline runs fully managed in deepset Cloud, which means you don't have to do any bigger infrastructure work to move from development to production. We take care of all the scaling and infrastructure-related topics to operate your pipeline fast and reliably. To embed your search pipeline in your target application, you can send search queries to deepset Cloud using the Search API endpoint.

A graphic showing a pipeline hosted in the cloud that communicates with the target app through apiA graphic showing a pipeline hosted in the cloud that communicates with the target app through api

How to Prepare for Production

You know that your pipeline is ready to be used in production if:

  • You have evaluated it in a systematic way using deepset Cloud experiments and you are happy with the metrics you got.
  • You shared a demo with colleagues or customers who tested it and their feedback was positive.
  • You are happy with the latency of your search queries. (You can check your pipeline's average latency on the Dashboard.)
  • Your pipeline is deployed in deepset Cloud.

If you're wondering what performance levels you can expect from you pipeline, have a look at Pipeline Performance.

Deploying in Production

deepset Cloud offers a Search API endpoint to integrate the search functionality to your app. In the API request, you send the name of the pipeline that you want to use for the search, the name of the workspace where the pipeline is, and your queries. Optionally, you can add filters, which limit the search space to the files whose metadata matches your filters (for example, category="news").

The response you get from the endpoint is a JSON that contains your search results, the parameters that you sent, and additional information from the nodes in your particular pipeline. The exact content of the response depends on the type of your pipeline:

An example of a response for a document retrieval pipeline
{
    "documents": [
        {
            "content": "\\nDie Chinesische Streifenschildkröte kann eine Panzerlänge von bis zu 27 Zentimetern erreichen, wobei Männchen mit maximal 20 Zentimetern kleiner bleiben. Der Rückenpanzer hat eine dunkelolivfarbene bis rötlichbraune Färbung und kann einen Vertebralkiel sowie – vor allem bei Jungtieren – schmale gelbe Säume um die dunklen Hornschilde herum aufweisen. [1] Die Vertebralschilde sind etwa so breit wie lang oder etwas breiter als lang; der erste ist annähernd quadratisch, der zweite bis vierte sechsseitig und der fünfte vorne abgerundet und hinten dreiseitig. Der Plastron ist gelblich und zeigt üblicherweise einen dunklen Fleck auf jedem Hornschild. An Extremitäten und Kopf wechseln sich schmale, cremefarbene bis gelbe Streifen mit bräunlich-schwarzen ab. Zwischen den Zehen hat die Chinesische Streifenschildkröte Schwimmhäute. [2]\\n\\nErnährung\\nDie Chinesische Streifenschildkröte ernährt sich omnivor, wobei Weibchen einen höheren Anteil pflanzlicher Nahrung zu sich nehmen als Männchen. In Taiwan führten Störungen ihrer Ernährungsgundlagen durch Dammbau und die Begradigung eines Flusses dazu, dass weibliche Chinesische Streifenschildkröten statt der zuvor bevorzugten Blätter von Murdannia keisak eine größere Anzahl unterschiedlicher Pflanzen, beispielsweise Blätter von Wedelia trilobata und Solanum nigrum sowie verschiedene Süßgräser, fraßen; auch die Männchen, die sich vor allem von Zweiflüglerlarven und einem geringeren Anteil Murdannia keisak ernährt hatten, wandten sich einer pflanzenbasierten Ernährung zu. [3]\\n\\nLebensweise\\nDie Schildkröte steht am Rand einer Wasserfläche und streckt ihren Kopf nach oben. Auf ihrem Kopf und Hals wechseln sich schmale schwarze mit hellen Streifen ab. Eines ihrer Vorderbeine ruht auf einer Wurzel, es zeigt die gleichen Streifen und starke Krallen. Der Rückenpanzer der Schildkröte ist einheitlich graubraun in der Färbung und stellenweise nass. Die Umgebung ist feucht, hinter der Schildkröte sind Pflanzenstiele zu sehen. Chinesische Streifenschildkröte in einem Schweizer Tierpark\\nIn Gefangenschaft erreicht die Chinesische Streifenschildkröte mit etwa vier Jahren die Geschlechtsreife. Ein Gelege kann zwei bis 20 Eier enthalten. Die Chinesische Streifenschildkröte zeigt eine temperaturabhängige Geschlechtsdetermination: Bei einer Inkubationstemperatur von 25 °C schlüpfen deutlich mehr Männchen, bei höheren Temperaturen steigt der Anteil an Weibchen und bei 33 °C schlüpfen nur noch Weibchen. [4] Die optimale Temperatur liegt zwischen 28 und 30 °C. [5]\\n\\nDie Chinesische Streifenschildkröte lebt in und am Süßwasser, vor allem in stehenden oder sehr langsam fließenden Gewässern bzw. Feuchtgebieten im Tiefland, möglicherweise bis zu 300 Metern Höhe über dem Meeresspiegel. Sie nutzt Teiche, Tümpel, Bäche, überschwemmte Reisfelder und Gräben. Verbreitung\\nDie Chinesische Streifenschildkröte kommt in subtropischen bis tropischen Gebieten von Taiwan, Südchinas Küstengebieten inklusive Hainan,[6] Laos und Vietnam[7] vor. In Taiwan war die Chinesische Streifenschildkröte in Fallenstudien von 2001 bis 2007 die häufigste und am weitesten verbreitete Süßwasserschildkröte, wenn auch mit überproportional vielen männlichen Tieren und vermutlich geringen Populationsgrößen; sie wird dort auch gezüchtet und in traditionellen Ritualen als Gebetstier freigelassen. [8] In China wird sie zum Verzehr, für medizinische Zwecke und für den Haustierhandel gezüchtet; 2001 verkauften chinesische Schildkrötenfarmen über 1.800.000 Exemplare dieser Art. [9] In Vietnam wird sie in 52 registrierten Farmen gezüchtet. Die Bestände in Vietnam wurden stark dezimiert und verteilen sich auf fragmentierte Feuchtgebiete, wobei kaum noch erwachsene Tiere anzutreffen sind. Nach Südkorea,[10] Hongkong, Mikronesien und Florida[11] wurde die Chinesische Streifenschildkröte durch Menschen eingeführt; einzelne Beobachtungen sind auch aus Portugal, Spanien,[12][13] Italien,[14] Polen und La Réunion bekannt. [15] In der Slowakei wurde die Überwinterung eines Weibchens festgestellt,[16] in Italien ließ sich sogar die Fortpflanzung vor Ort durch den Fund eines Schlüpflings nachweisen. [17] Auch unter den natürlichen Umweltbedingungen im Nordosten der Iberischen Halbinsel kann sie sich vermehren. [18] Von 2005 bis 2015 wurden knapp 400.000 Chinesische Streifenschildkröten international gehandelt, wobei die meisten aus China stammten; das Hauptimportland war Deutschland mit 165.000 Tieren. [2]\\n\\nGefährdung\\nDie Chinesische Streifenschildkröte ist durch kommerzielle Nutzung und Lebensraumzerstörung mittlerweile vom Aussterben bedroht (critically endangered). Tiefland-Feuchtgebiete werden zunehmend zu Agrarflächen umgewandelt und gehen dadurch als Lebensraum verloren. [19] Sie wird seit 2005 auch im Appendix III (China) des Washingtoner Artenschutzübereinkommens gelistet. Forschungsgeschichte\\nHier sind zwei schwarz-weiße Fotografien zu sehen. Sie zeigen eine Knochenplatte von oben und von unten. Sie weist verschiedene Strukturen auf, z. B. Risse und Vertiefungen. Als Ocadia sinensis changwui beschriebenes Fossil aus Taiwan\\nErstbeschrieben wurde die Chinesische Streifenschildkröte 1834 von John Edward Gray als Emys sinensis. [20] 1844 beschrieb er sie anhand eines Museumsexemplars als Emys bennettii und vermutete das Verbreitungsgebiet fälschlicherweise in Nordamerika. [21] Die Zusammengehörigkeit der von Gray beschriebenen Arten bemerkte Albert Günther 1864. [22]\\n\\nAb 1870 wurde die Chinesische Streifenschildkröte der Gattung Ocadia zugeordnet, die 2004 nach genetischen Studien in die Gattung Mauremys integriert wurde. Die Chinesische Streifenschildkröte bildet eine monophyletische Gruppe zusammen mit der Japanischen Sumpfschildkröte, der Chinesischen Rothalsschildkröte und der Chinesischen Dreikielschildkröte. [23]\\n\\nWeitere Synonyme sind Graptemys sinensis, Clemmys sinensis und Ocadia sinensis sinensis sowie Clemmys bennettii. Außerdem gehört zur Chinesischen Dreikielschildkröte ein als Testudo anyangensis † Ping 1930:217 (Synonyme: Ocadia anyangensis, Pseudocadia anyangensis und Mauremys anyangensis) beschriebenes neolithisches Subfossil aus China und ein als Ocadia sinensis changwui † Tao 1988:229 beschriebenes Fossil aus dem Spätpleistozän Taiwans. [24]\\n\\nHybridisierung\\nDie Chinesische Streifenschildkröte kann mit mehreren anderen Schildkrötenarten Hybriden bilden, darunter Chinesische Rothalsschildkröte,[25] Chinesische Dreikielschildkröte (väterlicher- oder mütterlicherseits)[26] sowie Japanische Sumpfschildkröte, Annam-Bachschildkröte – als Ocadia glyphistoma wurde eine Hybride zwischen einer männlichen Chinesischen Streifenschildkröte und einer weiblichen Annam-Bachschildkröte 2004 von Spinks et al. beschrieben – und Cyclemys shanensis. [27][28] Philippens Streifenschildkröte, als Ocadia philippeni 1992 von McCord und Iverson beschrieben, ist eine Hybride zwischen der Chinesischen Streifenschildkröte und Cuora trifasciata. [29] 2020 wurde erstmals auch über Gefangenschaftshybriden zwischen Chinesischer Streifenschildkröte und Maurischer Bachschildkröte berichtet. [30]\\n\\nDer Text ist unter der Lizenz „Creative Commons Attribution/Share Alike“ verfügbar; Informationen zu den Urhebern und zum Lizenzstatus eingebundener Mediendateien (etwa Bilder oder Videos) können im Regelfall durch Anklicken dieser abgerufen werden. Möglicherweise unterliegen die Inhalte jeweils zusätzlichen Bedingungen. Durch die Nutzung dieser Website erklären Sie sich mit den Nutzungsbedingungen und der Datenschutzrichtlinie einverstanden. Wikipedia® ist eine eingetragene Marke der Wikimedia Foundation Inc.\\nDatenschutzÜber WikipediaImpressumMobile AnsichtEntwicklerStatistikenStellungnahme zu CookiesWikimedia FoundationPowered by MediaWiki",
            "content_type": "text",
            "score": 0.0,
            "meta": {
                "pipeline_id": "a587e27a-29f4-4338-8ba4-a43a65440ed9",
                "file_id": "a427a169-9e8e-4188-8b11-a43a71750e06",
                "_split_id": 0
            },
            "embedding": null,
            "id": "49801cfc35437153bdc5a9b508da0556"
        }
    ],
    "root_node": "Query",
    "params": {
        "filters": {
            "pipeline_id": [
                "a587e27a-29f4-4338-8ba4-a43a65440ed9"
            ]
        }
    },
    "query": "how?",
    "node_id": "Retriever"
}
An example of an empty response from a document retrieval pipeline
{
    "documents": [],
    "root_node": "Query",
    "params": {
        "filters": {
            "pipeline_id": [
                "a587e27a-29f4-4338-8ba4-a43a65440ed9"
            ]
        }
    },
    "query": "how?",
    "node_id": "Retriever"
}
An example of a response for a question answering pipeline
{
    "query": "Steht am Rand einer?",
    "no_ans_gap": 13.541289627552032,
    "answers": [
        {
            "answer": "Wasserfläche",
            "type": "extractive",
            "score": 0.9666830599308014,
            "context": "Süßgräser, fraßen; auch die Männchen, die sich vor allem von Zweiflüglerlarven und einem geringeren Anteil Murdannia keisak ernährt hatten, wandten sich einer pflanzenbasierten Ernährung zu. [3]\\n\\nLebensweise\\nDie Schildkröte steht am Rand einer Wasserfläche und streckt ihren Kopf nach oben. Auf ihrem Kopf und Hals wechseln sich schmale schwarze mit hellen Streifen ab. Eines ihrer Vorderbeine ruht auf einer Wurzel, es zeigt die gleichen Streifen und starke Krallen. Der Rückenpanzer der Schildkröte",
            "offsets_in_document": [
                {
                    "start": 1581,
                    "end": 1593
                }
            ],
            "offsets_in_context": [
                {
                    "start": 244,
                    "end": 256
                }
            ],
            "document_id": "8bc717e2932ee096515d61ab5efe3106",
            "meta": {
                "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                "_split_id": 0
            }
        },
        {
            "answer": "Knochenplatte",
            "type": "extractive",
            "score": 0.46955716609954834,
            "context": "andelt und gehen dadurch als Lebensraum verloren. [19] Sie wird seit 2005 auch im Appendix III (China) des Washingtoner Artenschutzübereinkommens gelistet. Forschungsgeschichte\\nHier sind zwei schwarz-weiße Fotografien zu sehen. Sie zeigen eine Knochenplatte von oben und von unten. Sie weist verschiedene Strukturen auf, z. B. Risse und Vertiefungen. Als Ocadia sinensis changwui beschriebenes Fossil aus Taiwan\\nErstbeschrieben wurde die Chinesische Streifenschildkröte 1834 von John Edward Gray als ",
            "offsets_in_document": [
                {
                    "start": 4911,
                    "end": 4924
                }
            ],
            "offsets_in_context": [
                {
                    "start": 244,
                    "end": 257
                }
            ],
            "document_id": "8bc717e2932ee096515d61ab5efe3106",
            "meta": {
                "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                "_split_id": 0
            }
        },
        {
            "answer": "Schlüpflings",
            "type": "extractive",
            "score": 0.34522731602191925,
            "context": "tungen sind auch aus Portugal, Spanien,[12][13] Italien,[14] Polen und La Réunion bekannt. [15] In der Slowakei wurde die Überwinterung eines Weibchens festgestellt,[16] in Italien ließ sich sogar die Fortpflanzung vor Ort durch den Fund eines Schlüpflings nachweisen. [17] Auch unter den natürlichen Umweltbedingungen im Nordosten der Iberischen Halbinsel kann sie sich vermehren. [18] Von 2005 bis 2015 wurden knapp 400.000 Chinesische Streifenschildkröten international gehandelt, wobei die meiste",
            "offsets_in_document": [
                {
                    "start": 4103,
                    "end": 4115
                }
            ],
            "offsets_in_context": [
                {
                    "start": 244,
                    "end": 256
                }
            ],
            "document_id": "8bc717e2932ee096515d61ab5efe3106",
            "meta": {
                "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                "_split_id": 0
            }
        }
    ],
    "documents": [
        {
            "content": "A Simple PDF File\\nThis is a small demons.....",
            "content_type": "text",
            "score": 0.5844467297627065,
            "meta": {
                "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                "_split_id": 0
            },
            "embedding": null,
            "id": "8bc717e2932ee096515d61ab5efe3106"
        }
    ],
    "root_node": "Query",
    "params": {
        "filters": {
            "pipeline_id": [
                "9211e802-dea5-42e8-97e7-dbe46f5fc412"
            ]
        }
    },
    "node_id": "Reader",
    "_debug": {
        "Reader": {
            "output": {
                "answers": [
                    {
                        "answer": "Wasserfläche",
                        "type": "extractive",
                        "score": 0.9666830599308014,
                        "context": "Süßgräser, fraßen; auch die Männchen, die sich vor allem von Zweiflüglerlarven und einem geringeren Anteil Murdannia keisak ernährt hatten, wandten sich einer pflanzenbasierten Ernährung zu. [3]\\n\\nLebensweise\\nDie Schildkröte steht am Rand einer Wasserfläche und streckt ihren Kopf nach oben. Auf ihrem Kopf und Hals wechseln sich schmale schwarze mit hellen Streifen ab. Eines ihrer Vorderbeine ruht auf einer Wurzel, es zeigt die gleichen Streifen und starke Krallen. Der Rückenpanzer der Schildkröte",
                        "offsets_in_document": [
                            {
                                "start": 1581,
                                "end": 1593
                            }
                        ],
                        "offsets_in_context": [
                            {
                                "start": 244,
                                "end": 256
                            }
                        ],
                        "document_id": "8bc717e2932ee096515d61ab5efe3106",
                        "meta": {
                            "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                            "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                            "_split_id": 0
                        }
                    },
                    {
                        "answer": "Knochenplatte",
                        "type": "extractive",
                        "score": 0.46955716609954834,
                        "context": "andelt und gehen dadurch als Lebensraum verloren. [19] Sie wird seit 2005 auch im Appendix III (China) des Washingtoner Artenschutzübereinkommens gelistet. Forschungsgeschichte\\nHier sind zwei schwarz-weiße Fotografien zu sehen. Sie zeigen eine Knochenplatte von oben und von unten. Sie weist verschiedene Strukturen auf, z. B. Risse und Vertiefungen. Als Ocadia sinensis changwui beschriebenes Fossil aus Taiwan\\nErstbeschrieben wurde die Chinesische Streifenschildkröte 1834 von John Edward Gray als ",
                        "offsets_in_document": [
                            {
                                "start": 4911,
                                "end": 4924
                            }
                        ],
                        "offsets_in_context": [
                            {
                                "start": 244,
                                "end": 257
                            }
                        ],
                        "document_id": "8bc717e2932ee096515d61ab5efe3106",
                        "meta": {
                            "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                            "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                            "_split_id": 0
                        }
                    },
                    {
                        "answer": "Schlüpflings",
                        "type": "extractive",
                        "score": 0.34522731602191925,
                        "context": "tungen sind auch aus Portugal, Spanien,[12][13] Italien,[14] Polen und La Réunion bekannt. [15] In der Slowakei wurde die Überwinterung eines Weibchens festgestellt,[16] in Italien ließ sich sogar die Fortpflanzung vor Ort durch den Fund eines Schlüpflings nachweisen. [17] Auch unter den natürlichen Umweltbedingungen im Nordosten der Iberischen Halbinsel kann sie sich vermehren. [18] Von 2005 bis 2015 wurden knapp 400.000 Chinesische Streifenschildkröten international gehandelt, wobei die meiste",
                        "offsets_in_document": [
                            {
                                "start": 4103,
                                "end": 4115
                            }
                        ],
                        "offsets_in_context": [
                            {
                                "start": 244,
                                "end": 256
                            }
                        ],
                        "document_id": "8bc717e2932ee096515d61ab5efe3106",
                        "meta": {
                            "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                            "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                            "_split_id": 0
                        }
                    }
                ]
            }
        },
        "Retriever": {
            "output": {
                "documents": [
                    {
                        "content": "A Simple PDF File\\nThis is a small demons.....",
                        "content_type": "text",
                        "score": 0.5844467297627065,
                        "meta": {
                            "pipeline_id": "9211e802-dea5-42e8-97e7-dbe46f5fc412",
                            "file_id": "ced0b37d-8c43-4cf7-946c-babc424ccc77",
                            "_split_id": 0
                        },
                        "embedding": null,
                        "id": "8bc717e2932ee096515d61ab5efe3106"
                    }
                ]
            }
        }
    }
}

For more information on using the search endpoint, see Use Your Pipeline in Your Target App and the Search API endpoint reference.

Operate Your Pipeline in Production

Once your pipeline is out there and people are using it through your app, you should collect user's feedback to make sure your pipeline meets their needs and make sure your data stays up to date. See User Feedback and Data Synchronization for more information.


Did this page help you?