0610

app.py

@@ -40,24 +40,15 @@ app = dash.Dash(__name__,
                 external_stylesheets=[dbc.themes.BOOTSTRAP, FONT_AWESOME],
                 suppress_callback_exceptions=True
                 )
-
-# register_dashboard_common(app)
 register_répartFréq(app)
 register_render_content(app)
 register_chargedécharge(app)
-# register_appareils(app)
 register_timeevo(app)
-# register_stat(app)
-# register_fonctions(app)
-#register_data(app)
-# register_dashboard(app)
 register_accueil(app)
 
 # Définir la mise en page de l'application
-
 all_confirm_dialogs = [dcc.ConfirmDialog(id=x,message='')
                        for x in all_confirm_dialogs]
-
 all_maxvar_dialogs = [dcc.ConfirmDialog(id=x,message=popupmsg_maxvar)
                        for x in ['confirm-dialog-evotime',
                                  'confirm-dialog-daydataP',
@@ -69,8 +60,6 @@ all_times = list(set(time_df[db_timecol]))
 all_range_pickers = [get_range_picker(x, all_dates) for x in all_range_pickers]
 
 app.layout = html.Div([
-
-
                           dbc.Modal(
                               [
                                   dbc.ModalHeader("Graph Full Screen"),
@@ -232,152 +221,6 @@ dcc.Store(id='stored_dashDay_dropdownval', data=None),
                                 ], width=2),
 
                             ]),
-
-                    #             dbc.Container([
-                    #         dbc.Row([
-                    #             dbc.Col([
-                    #                 html.P([
-                    #                     html.B("Dashboard"),
-                    #                     " : vue d'ensemble des données disponibles ;  "+
-                    #                     "cliquer sur chacune des variables pour rapidement avoir un aperçu la tendance dans le temps.",
-                    #                     html.Ul([html.Li(["Pour les ",
-                    #                                       get_nav_link("landpage-dashb-minutes-link", "Données minutes"),
-                    #                                       ""]),
-                    #                                         html.Li(["Pour les ",
-                    #                                       get_nav_link("landpage-dashb-dayI-link", "Données journalières I"),
-                    #                                       ""])
-                    #                              ]),
-                    #                 ]),
-                    #                 get_navbtn(lab="Dashboard", id='landpage-btn-dashboard')
-                    #             ], width=4),
-                    #
-                    #             dbc.Col([
-                    #                 dcc.Markdown("""
-                    #                     **Évolution temporelle** : choisir une base de données puis une ou plusieurs (max. 4) variables ;
-                    #                     visualisation à choix (line, bar, box).
-                    #                 """),
-                    #                 get_navbtn(lab="Évolution temporelle", id='landpage-btn-evotime')
-                    #             ], width=4),
-                    #
-                    #             dbc.Col([
-                    #                 dcc.Markdown("""
-                    #                     **Statistiques - A SUPPRIMER ?** : choisir la table de données, une variable de cette table et le type de visualisation ;
-                    #                     renvoie également les valeurs moyennes.
-                    #                 """),
-                    #                 get_navbtn(lab="Statistiques", id='landpage-btn-stat')
-                    #
-                    #             ], width=4)
-                    #         ]),
-                    #
-                    #         html.Hr(),  # Ligne de séparation
-                    #
-                    #         dbc.Row([
-                    #             dbc.Col([
-                    #                 dcc.Markdown("""
-                    #                     **Analyse (Graphes) - A SUPPRIMER ???** : visualiser la répartition des fréquences XT_Fin_Hz_I3122 (L1, L2, L1+L2 à choix) (diagramme camembert)
-                    #                     ainsi que la température moyenne de la batterie (barplot).
-                    #                 """),
-                    #                 get_navbtn(lab="Analyse (Graphes)", id='landpage-btn-analyseGraph')
-                    #             ], width=4),
-                    #
-                    #             dbc.Col([
-                    #
-                    #                 html.P([
-                    #                     html.B("Par appareil"),
-                    #                     " : visualiser les principaux paramètre pour chacun des appareils."
-                    #                     "",
-                    #                     html.Ul([html.Li(["Pour ",
-                    #                                       get_nav_link("landpage-appareil-bsp-link",
-                    #                                                    "BSP"),
-                    #                                       """
-                    #                                       (ligne temporelle avec qt 0.1 et 0.9 pour BSP_Ubat_Vdc_I7030_1, BSP_Ibat_Adc_I7031_1, BSP_Tbat_C_I7033_1 avec sa moyenne journalière ;
-                    #                                       pour I7007_1 et I7008_1 : ligne temporelle avec mise en évidence des aires de différence,
-                    #                                                 barplot avec mise en évidence du surplus de l'un par rapport à l'autre,
-                    #                                                 ligne de delta I7008_1 - I7007_1,
-                    #                                                 barplot de rendement 100*I7008_1/I7007_1,
-                    #                                                 barplot nombre de cycles à 50% I7007_1/90)
-                    #                                       """]),
-                    #                                     html.Li(["Pour ",
-                    #                                       get_nav_link("landpage-appareil-variotrack-link",
-                    #                                                    "Variotrack"),
-                    #                                       """
-                    #                                       (ligne temporelle avec qt 0.1 et 0.9 pour VT_PsoM_kW_I11043_1 et VT_PsoM_kW_I11043_ALL,
-                    #                                       ligne temporelle avec qt 0.1 et 0.9 pour VT_IbaM_Adc_I11040_1,
-                    #                                       ligne temporelle avec qt 0.1 et 0.9 pour I11006_1 et I11007_1)
-                    #                                       """]),
-                    #                              ]),
-                    #                 ]),
-                    #                 get_navbtn(lab="Par appareil", id='landpage-btn-appareils')
-                    #
-                    #             ], width=4),
-                    #             dbc.Col([
-                    #                 html.P([
-                    #                     html.B("Par appareil (suite)"),
-                    #                     " : visualiser les principaux paramètre pour chacun des appareils."
-                    #                     "",
-                    #                     html.Ul([
-                    #
-                    #                              html.Li(["Pour ",
-                    #                                       get_nav_link("landpage-appareil-xtender-link",
-                    #                                                    "Xtender"),
-                    #                                       """
-                    #                                       (lignes temporelles avec 0.1 et 0.9 qt pour XT_Ubat_MIN_Vdc_I3090_L1 et XT_Ubat_MIN_Vdc_I3090_L2,
-                    #                                     lignes temporelles avec 0.1 et 0.9 qt pour XT_Uin_Vac_I3113_L1 et XT_Uin_Vac_I3113_L2,
-                    #                                     lignes temporelles avec aires colorées pour XT_Pout_kVA_I3097_L1 et XT_Pout_kVA_I3097_L1,
-                    #                                     lignes temporelles avec aires colorées pour XT_Iin_Aac_I3116_L1 et XT_Iin_Aac_I3116_L2,
-                    #                                     XT_Fin_Hz_I3122_L1 et XT_Fin_Hz_I3122_L2 : barplots verticalement superposés  pour différencier la répartition des sources, stacked barplots répartition des sources par jour
-                    #                                     side-by-side barplot pour I3081_1 et I3081_2)
-                    #
-                    #                                       """])
-                    #                              ]),
-                    #                 ]),
-                    #                 get_navbtn(lab="Par appareil", id='landpage-btn-appareils2')
-                    #
-                    #             ], width=4)
-                    #
-                    #         ]),
-                    #
-                    #         html.Hr(),  # Ligne de séparation
-                    #
-                    #         dbc.Row([
-                    #             dbc.Col([
-                    #
-                    #             html.P([
-                    #                 html.B("Par fonction - TODO / IN PROGRESS"),
-                    #                 " : pour visualiser les données en fonction de leur utilisation dans le système ",
-                    #                 html.Ul([html.Li(["Le sous-onglet ",
-                    #                                   #        html.A("Export", id="export-link", href="#",
-                    #                                   # style={"color": "#2507cf", "cursor": "pointer"}),
-                    #                                   get_nav_link("landpage-fct-batterie-link", "Batterie"),
-                    #                                   """ pour voir les données relative au fonctionnement de la batterie
-                    #                                   (lignes temporelles avec quantiles pour XT_Ubat_Vdc_I3092_L1_1 et XT_Ubat_Vdc_I3092_L2_2 ;
-                    #                                    lignes temporelles avec quantiles pour I7007_1 et I7008_1
-                    #                                   """])
-                    #                          ]),
-                    #             ]),
-                    #             get_navbtn(lab="Par fonction", id='landpage-btn-fonctions')], width=4),
-                    #
-                    #
-                    #             dbc.Col([
-                    #                 html.P([
-                    #                     html.B("Données")," : Gérer, ajouter ou exporter des données de la base de données. ",
-                    #                     "Obtenez un aperçu des tables disponibles. ",
-                    #                      html.Ul([
-                    #                          html.Li(["Le sous-onglet pour ",
-                    #                                   get_nav_link("landpage-data-manage-link", "Gérer les données"),
-                    #                                   " permet d'ajouter (fichier(s) csv) ou supprimer des données de la base de données."]),
-                    #                          html.Li(["Le sous-onglet pour ",
-                    #                                        get_nav_link("landpage-data-export-link", "Exporter des données"),
-                    #                     " permet de télécharger les données pour une période sélectionnée (.xlsx) ou la base donnée complète (.db)."]),
-                    #                          html.Li(["Le sous-onglet ",
-                    #                                   get_nav_link("landpage-data-overview-link", "Aperçu"),
-                    #                                   " permet d'afficher une partie du contenu de la base de données."])
-                    #                             ], ),
-                    #                 ]),
-                    # get_navbtn(lab="Données" ,id='landpage-btn-data')
-                    #
-                    #             ], width=4)
-                    #         ])
                         ], fluid=True)
                     ], style={'padding': '40px', 'backgroundColor': '#f8f9fa'})
                 ]),
@@ -425,25 +268,15 @@ dcc.Store(id='stored_dashDay_dropdownval', data=None),
 # Callback pour gérer la navigation vers les onglets et sous-onglets
 @app.callback(
     [Output('tabs-example', 'value'),
-     # Output('subtabs-appareils', 'value'),
      Output('subtabs-data', 'value')],
-    # [Input('landpage-btn-dashboard', 'n_clicks'),
-     [Input('landpage-btn-evotime', 'n_clicks'),
+    [Input('landpage-btn-evotime', 'n_clicks'),
      Input('landpage-btn-stat', 'n_clicks'),
      Input('landpage-btn-analyseGraph', 'n_clicks'),
-     # Input('landpage-btn-appareils', 'n_clicks'),
-# Input('landpage-btn-appareils2', 'n_clicks'),
-#      Input('landpage-appareil-variotrack-link', 'n_clicks'),
-#      Input('landpage-btn-fonctions', 'n_clicks'),
-     Input('landpage-btn-data', 'n_clicks'),
+      Input('landpage-btn-data', 'n_clicks'),
      Input('landpage-data-export-link', 'n_clicks'),
 Input('landpage-data-overview-link', 'n_clicks'),
-Input('landpage-data-manage-link', 'n_clicks'),
-# Input('landpage-dashb-minutes-link', 'n_clicks'),
-# Input('landpage-dashb-dayI-link', 'n_clicks'),
-# Input('landpage-appareil-bsp-link', 'n_clicks'),
-# Input('landpage-appareil-xtender-link', 'n_clicks'),
-     ],
+Input('landpage-data-manage-link', 'n_clicks')
+      ],
     [State('tabs-example', 'value')]
 )
 def navigate_to_tabs_and_subtabs(*args):
@@ -499,11 +332,10 @@ def navigate_to_tabs_and_subtabs(*args):
             elif button_id == 'landpage-data-overview-link':
                 subtab_data_value = 'subtab-showDB'
     # Retourner les valeurs des onglets et sous-onglets
-    # return tab_value, subtab_appareils_value, subtab_data_value
     return tab_value,  subtab_data_value
 
 # Exécuter l'application
 if __name__ == '__main__':
-    #app.run_server(debug=True)
+    #app.run_server(debug=True,host='0.0.0.0', port=7860)
     # for deploy
     app.run(debug=True, host='0.0.0.0', port=7860)

callbacks/common_callbacks.py

@@ -4,69 +4,6 @@ from app_settings import *
 
 all_pickers = ['date-picker-dbdata'] + all_range_pickers
 
-# def register_callbacks(app):
-
-    ##################################################################################
-    ######################################### DATE PICKER HANDLING
-    ##################################################################################
-    # @app.callback(
-    #     [Output(picker_id, 'style') for picker_id in all_pickers],
-    #     [
-    #         Input('tabs-example', 'value'),
-    #         Input('subtabs-appareils', 'value'),
-    #         Input('subtabs-fonctions', 'value'),
-    #         Input('subtabs-dashboard', 'value'),
-    #         Input('subtabs-data', 'value')        ]
-    # )
-    # def show_hide_datepickers(tab, subtab_appareils, subtab_fonctions,
-    #                           subtab_dashboard, subtab_data):
-    #     # styles = {
-    #     #     'date-picker-dbdata': {'display': 'none'},
-    #     #     'range-picker-evotime': {'display': 'none'},
-    #     #     'range-picker-stat': {'display': 'none'},
-    #     #     'range-picker-analyseGraph': {'display': 'none'},
-    #     #     'range-picker-subxtender': {'display': 'none'},
-    #     #     'range-picker-subvariotrack': {'display': 'none'},
-    #     #     'range-picker-subbsp': {'display': 'none'},
-    #     #     'range-picker-subbat': {'display': 'none'},
-    #     #     'range-picker-subminutes': {'display': 'none'},
-    #     #     'range-picker-subdayI': {'display': 'none'},
-    #     #     'range-picker-exportdata': {'display': 'none'}
-    #     # }
-    #
-    #     styles = {picker: {'display': 'none'} for picker in all_pickers}
-    #
-    #     if tab == "tab-data" :
-    #         if subtab_data == 'subtab-showDB':
-    #             styles['date-picker-dbdata'] = {'display': 'block', 'margin': '20px 0'}
-    #         elif subtab_data == 'subtab-exportDB':
-    #             styles['range-picker-exportdata'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-evotime':
-    #         styles['range-picker-evotime'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-stat':
-    #         styles['range-picker-stat'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-analyseGraph':
-    #         styles['range-picker-analyseGraph'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-appareils':
-    #         if subtab_appareils == "subtab-xtender":
-    #             styles['range-picker-subxtender'] = {'display': 'block', 'margin': '20px 0'}
-    #         elif subtab_appareils == "subtab-variotrack":
-    #             styles['range-picker-subvariotrack'] = {'display': 'block', 'margin': '20px 0'}
-    #         elif subtab_appareils == "subtab-bsp":
-    #             styles['range-picker-subbsp'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-fonctions':
-    #         if subtab_fonctions == "subtab-batterie":
-    #             styles['range-picker-subbat'] = {'display': 'block', 'margin': '20px 0'}
-    #     elif tab == 'tab-dashboard':
-    #         if subtab_dashboard == "subtab-minutesdata":
-    #             styles['range-picker-subminutes'] = {'display': 'block', 'margin': '20px 0'}
-    #         elif subtab_dashboard == "subtab-dayIdata":
-    #             styles['range-picker-subdayI'] = {'display': 'block', 'margin': '20px 0'}
-    #
-    #     return [styles[key] for key in styles]
-    #
-
-
 def register_callbacks(app):
 
     @app.callback(
@@ -211,19 +148,6 @@ def register_callbacks(app):
                 max_date = max([day_min_date]+[time_min_date])
                 disabled_days = [x for x in day_disabled_days if x in time_disabled_days]
 
-        # else:
-        #     # Si la base de données sélectionnée n'est ni time ni day, on sort
-        #     min_date, max_date, disabled_days = None, None, []
-        print("time_min date = ", time_min_date)
-        print("time_max date = ", time_max_date)
-        print("disabled_days = ", time_disabled_days)
-        print("day_min date = ", day_min_date)
-        print("day_max date = ", day_max_date)
-        print("daydisabled_days = ", day_disabled_days)
-
-        print("min date = ", min_date)
-        print("max date = ", max_date)
-        print("disabled_days = ", disabled_days)
 
         # 3. Retour des styles et des dates mises à jour pour les DatePickerRange
         return (
@@ -241,14 +165,6 @@ def register_callbacks(app):
     def update_statperiod_store(selected_period):
         return selected_period
 
-    # @app.callback(
-    #     Output('stored_dataShowDB_dropdownval', 'data'),
-    #     Input('statperiod-dropdown', 'value')
-    # )
-    # def update_statperiod_store(selected_period):
-    #     return selected_period
-
-
     @app.callback(
         Output('stored_dataExportDB_dropdownval', 'data'),
         Input('exportdata-period-dropdown', 'value')

callbacks/tab_accueil_callbacks.py

@@ -39,8 +39,6 @@ def register_callbacks(app):
                                  stored_timeDB_data,
                                  filename, defaut_timeDB_data, defaut_dayDB_data,
                                   stored_dayDB_data):
-        # return dcc.Markdown(txt,
-        #                     dangerously_allow_html=True)
         current_time_df = pd.DataFrame(stored_timeDB_data)
         current_day_df = pd.DataFrame(stored_dayDB_data)
         print(type(current_time_df[db_timecol][0]))
@@ -69,16 +67,21 @@ def register_callbacks(app):
 
             time_df_uploaded[db_timecol] = pd.to_datetime(time_df_uploaded[db_timecol])
             time_df_uploaded[db_daycol] = time_df_uploaded[db_timecol].dt.date
+            # ne sert à rien car stored en dict !
+            # time_df_uploaded = time_df_uploaded.sort_values(by=db_timecol)
+            #time_df_uploaded.to_pickle('time_df_uploaded.pkl')
 
             print("données time loadées : " + str(time_df_uploaded.shape[0]))
             day_df_uploaded = pd.concat([x['dayI_data'] for x in new_data],
                                         ignore_index=True)
             day_df_uploaded[db_daycol] = pd.to_datetime(day_df_uploaded[db_daycol])
+            #day_df_uploaded = day_df_uploaded.sort_values(by=db_daycol)
 
             print("données day loadées : " + str(day_df_uploaded.shape[0]))
             txt = "current time DB : " + str(time_df_uploaded.shape[0]) + " x " + str(time_df_uploaded.shape[1]) + "\n"
             txt += "current day DB : " + str(day_df_uploaded.shape[0]) + " x " + str(day_df_uploaded.shape[1])
             newtxt = dcc.Markdown(txt, dangerously_allow_html=True)
+
             return ({'display': 'block'}, time_df_uploaded.to_dict(),
                     day_df_uploaded.to_dict(), newtxt)
 

callbacks/tab_chargedécharge_callbacks.py

@@ -49,7 +49,10 @@ def register_callbacks(app):
     def display_bsp_graph(n_clicks,start_date, end_date, selected_period, time_db, day_db):
         selected_db = dbTime_name
         selected_col = "FOO"
-        df = pd.DataFrame(time_db)
+
+        # df = pd.DataFrame(time_db)
+        dayI_df = pd.DataFrame(day_db)
+        dayI_df = dayI_df.sort_values(by=db_daycol)
 
         if n_clicks is None or n_clicks == 0:
             return ["", False, "", ""]
@@ -64,26 +67,28 @@ def register_callbacks(app):
             start_date = datetime.strptime(start_date, '%Y-%m-%d').date()
             end_date = datetime.strptime(end_date, '%Y-%m-%d').date()
         else:
-            start_date, end_date = get_startrange_date_vLatest(df[db_timecol], selected_period)
+            #start_date, end_date = get_startrange_date_vLatest(df[db_timecol], selected_period)
+            start_date, end_date = get_startrange_date_vLatest(dayI_df[db_daycol], selected_period)
 
 
         date_info = f"Zoom sur les données du {start_date} au {end_date}"
 
 
-        if selected_db == dbTime_name:
-            xcol = db_timecol
-        else:
-            xcol = db_daycol
-            if selected_db == dbDayI_name:
-                for col in dayI_cols:
-                    df[col] = df[col + "_1"].fillna(0) + df[col + "_2"].fillna(0)
+        # if selected_db == dbTime_name:
+        #     xcol = db_timecol
+        # else:
+        #     xcol = db_daycol
+        #     if selected_db == dbDayI_name:
+        #         for col in dayI_cols:
+        #             df[col] = df[col + "_1"].fillna(0) + df[col + "_2"].fillna(0)
         div_container = []
 
+        # df = df.sort_values(by=xcol)
 
 
-        dayI_df = pd.DataFrame(day_db)
-        start_date, end_date = get_startrange_date_vLatest(dayI_df[db_daycol], selected_period)
-
+        #dayI_df = pd.DataFrame(day_db)
+        #start_date, end_date = get_startrange_date_vLatest(dayI_df[db_daycol], selected_period)
+        #dayI_df = dayI_df.sort_values(by=db_daycol)
 
         ##  le "throughput energy" journalier I7007 [AH]  BSP
         # Le bilan des Ah chargé et déchargé du jour I7008-I7007 BSP
@@ -107,6 +112,14 @@ def register_callbacks(app):
         df=dayI_df.copy()
         df['day'] = pd.to_datetime(df['day'])
         df.set_index('day', inplace=True)
+
+        #df.to_pickle('df_charge_décharge.pkl')
+        # print("db_daycol = " + db_daycol)
+        # print("start_date = " + str(start_date))
+        # print("end_date = " + str(end_date))
+        # print("IvarBSP_toplot[0] = " + IvarBSP_toplot[0])
+        # print("IvarBSP_toplot[1] = " + IvarBSP_toplot[1])
+
         plot5 = get_intersectLines_plot(df, db_daycol,
                                         col1=IvarBSP_toplot[0],
                                         col2=IvarBSP_toplot[1],
@@ -231,6 +244,8 @@ def register_callbacks(app):
 
 
         df = pd.DataFrame(time_db)
+        df = df.sort_values(by=db_timecol)
+
 
         df_day = df[(pd.to_datetime(df[db_timecol]).dt.time >=
                      datetime.strptime("08:00", "%H:%M").time()) &

callbacks/tab_data_callbacks.py

@@ -6,8 +6,6 @@ from utils_fcts import *
 from app_settings import *
 
 def register_callbacks(app):
-
-
     ################################################################################################
     ################################ CALLBACKS SUBTAB data
     ################################################################################################
@@ -172,8 +170,8 @@ def register_callbacks(app):
             if selected_period in ['stat_day', 'stat_week', 'stat_month', 'stat_year']:
                 if start_date != end_date:
                     return [txtOut("ERREUR"), True, "Choisir une seule date"]
-                else:
-                    start_date = get_startrange_date(end_date, selected_period)
+                # else:
+                #     start_date = get_startrange_date(end_date, selected_period)
 
             if selected_period == 'stat_perso' and start_date == end_date:
                 return [ txtOut("ERREUR"), True, "Choisir une date différente"]
@@ -238,10 +236,6 @@ def register_callbacks(app):
                 disabled_days, min_date_allowed,
                 max_date_allowed, disabled_days)
 
-
-
-
-
     # Callback pour mettre à jour les dates après upload/suppression
     @app.callback(
         [Output(picker_id, 'min_date_allowed') for picker_id in all_range_pickers] +
@@ -290,16 +284,7 @@ def register_callbacks(app):
                 time_df = concat_results['new_time_data']
                 dayi_df = concat_results['new_dayI_data']
                 all_msg += concat_results['msg']
-                # children = [
-            #     parse_contents_vConcat(c, n, time_df, dayi_df) for
-            #                                         c, n in zip(list_of_contents, list_of_names)
-            # ]
-            # return children
-            # concat_results = [parse_contents_vConcat(c, n, time_df, dayi_df) for
-            #                                         c, n in zip(list_of_contents, list_of_names)]
-
             print("données ajoutées à la DB")
-
             return html.Div([all_msg]), time_df.to_dict(),dayi_df.todict()
 
 

callbacks/tab_grapheàchoix_callbacks.py

@@ -6,12 +6,7 @@ from utils_fcts import *
 import plotly.express as px
 
 def register_callbacks(app):
-
-    # dayPdata_columns = get_daydata_columns("P")
-    # dayIdata_columns = get_daydata_columns("I")
-    # timedata_columns = get_timedata_columns()
     timecols2show = list(showcols_settings.keys())#x for x in timedata_columns if not showcols_settings[x] == "NA"]
-    # dayPcols2show = [x for x in dayPdata_columns if not x == db_daycol]
     dayIcols2show = list(dayIcols_settings.keys())#[x for x in dayIdata_columns if not x == db_daycol]
 
 
@@ -44,8 +39,6 @@ def register_callbacks(app):
             return None
         return html.Div([dcc.Markdown(desc_txt,
                                       dangerously_allow_html=True)])
-
-
     # Callback pour gérer l'ouverture et la fermeture de la modale, et l'affichage du graphique
     @app.callback(
         [Output('evotime-modal-graph-modal', 'is_open'),
@@ -87,10 +80,8 @@ def register_callbacks(app):
                            selected_period, start_date, end_date, time_db, day_db):
         if n_clicks is None or n_clicks == 0:
             return [go.Figure(), False, "", ""]
-
         if (not selected_db or not selected_col or not selected_viz) :
-            return [go.Figure(), True, "Sélectionnez des données", ""]
-
+            return [go.Figure(), True, "Sélectionnez dans les menus déroulants", ""]
         if selected_db == dbTime_name:
             df = pd.DataFrame(time_db)
             dfcol = db_timecol
@@ -100,6 +91,8 @@ def register_callbacks(app):
         else:
             sys.exit(1)
 
+        df = df.sort_values(by=dfcol)
+
         if selected_period == "stat_perso" and (not start_date or not end_date):
           return [go.Figure(), True, "Sélectionnez une date de début et fin", ""]
 
@@ -125,6 +118,8 @@ def register_callbacks(app):
                 for col in dayI_cols:
                     df[col] = df[col + "_1"].fillna(0) + df[col + "_2"].fillna(0)
 
+        #df.to_pickle('df_grapheàchoix_1.pkl')
+
         if selected_viz == "boxplot" and isinstance(selected_col, list) and len(selected_col) > 1:
             df_melted = pd.melt(df, id_vars=[db_daycol], value_vars=selected_col,
                                 var_name='variable', value_name='valeur')
@@ -159,6 +154,7 @@ def register_callbacks(app):
                     )
                 update_layout_cols(selected_col)
                 yaxis_layout['title'] = colsettings[selected_col[0]]['lab']
+
                 fig.update_layout(
                     xaxis=dict(domain=[0.25, 0.75], showline=True, linewidth=2, linecolor='black'),
                     yaxis=yaxis_layout,
@@ -236,8 +232,6 @@ def register_callbacks(app):
         if selected_db:
             if selected_db == dbTime_name:
                 columns = [{'label': col, 'value': col} for col in timecols2show]
-            # elif selected_db == dbDayP_name:
-            #     columns = [{'label': col, 'value': col} for col in dayPcols2show]
             elif selected_db == dbDayI_name:
                 columns = [{'label':  col + "=" + dayIcols_settings[col]['lab'],
                             'value': col} for col in dayI_cols + dayIcols2show]

callbacks/tab_répartFréq_callbacks.py

@@ -35,8 +35,6 @@ def register_callbacks(app):
     def update_analyse_pie_chart(n_clicks, selected_period, selected_L,
                                  start_date, end_date, time_db):
 
-        print("je vais faire le pie chart")
-
         if n_clicks is None or n_clicks == 0:
             return [""] * 5 + [False, ""]
 
@@ -44,6 +42,8 @@ def register_callbacks(app):
             return [""] * 5 + [True, "Sélectionnez une période"]
 
         df = pd.DataFrame(time_db)
+        df = df.sort_values(by=db_timecol)
+
 
         if selected_period != 'stat_perso':
             start_date, end_date = get_startrange_date_vLatest(df[db_timecol], selected_period)
@@ -123,9 +123,6 @@ def register_callbacks(app):
                                     }),
                 period_subtit,
                 pie_chart_tit,
-                # dcc.Graph(figure=fig_barplot,config= {
-                #                         'scrollZoom': True  # Activer le zoom avec la molette
-                #                     }),
                 False, ""]
 
 
@@ -170,11 +167,6 @@ def register_callbacks(app):
 
         date_info = f"Zoom sur les données du {start_date} au {end_date}"
 
-        # conn = sqlite3.connect(db_file)
-        # df = pd.read_sql_query(query, conn)
-        # conn.close()
-
-
         if selected_db == dbTime_name:
             xcol = db_timecol
         else:
@@ -182,6 +174,9 @@ def register_callbacks(app):
             if selected_db == dbDayI_name:
                 for col in dayI_cols:
                     df[col] = df[col + "_1"].fillna(0) + df[col + "_2"].fillna(0)
+
+        df = df.sort_values(by=xcol)
+
         # xt fin discriminer Fréquence du réseau ou de la génératrice.
         # Les 2 sources peuvent être disciminée par leurs valeur:
         # Le réseau à une fréquence très stable <49,5Hz-50,5Hz>.
@@ -302,219 +297,12 @@ def register_callbacks(app):
         div_container.append(dcc.Markdown(get_plotdesc(col1, col2),
                                           dangerously_allow_html=True))
 
-        # ###** graphe 5 : XT Fin - b) valeurs journalières
-        #
-        # df['day'] = pd.to_datetime(df[db_timecol]).dt.date
-        # #### Barplot idem précédent mais par jour
-        # agg_df = df.groupby(['day', 'source']).size()
-        # wagg_df = agg_df.unstack(fill_value=0)
-        # pct_df = wagg_df.div(wagg_df.sum(axis=1), axis=0) * 100
-        #
-        # figBarDay = make_subplots(rows=2, cols=1, vertical_spacing=0.04,
-        #                           shared_xaxes=True)
-        #
-        # max_mean_col = pct_df.mean().idxmax()
-        #
-        # # S'il n'y a qu'un type -> np.min ne va pas marcher
-        # cut_int = [10, np.min(pct_df[max_mean_col]) - 0.5]
-        # # Pour assurer qu'elle soit tracée en premier
-        # othercols = [x for x in colors.keys() if x != max_mean_col]
-        #
-        # # Traces pour les deux graphes
-        # for source in [max_mean_col] + othercols:
-        #     if source in pct_df.columns:
-        #         figBarDay.add_trace(go.Bar(
-        #             x=pct_df.index,
-        #             y=pct_df[source],
-        #             name=source,
-        #             marker_color=colors[source],
-        #             showlegend=False
-        #         ), row=2, col=1)
-        #         figBarDay.add_trace(go.Bar(
-        #             x=pct_df.index,
-        #             y=pct_df[source],
-        #             name=source,
-        #             marker_color=colors[source],
-        #             showlegend=True
-        #         ), row=1, col=1)
-        #
-        # figBarDay.update_layout(
-        #     title='<b>Répartition des sources par jour</b>',
-        #     xaxis=dict(title='Jour'),
-        #     barmode='stack',
-        #     legend_title='Source',
-        #     hovermode='x unified'
-        # )
-        # figBarDay.update_yaxes(range=[cut_int[1], 105], row=1, col=1)
-        # figBarDay.update_xaxes(visible=False, row=1, col=1,
-        #                        range=[start_date, end_date]
-        #                        )
-        # figBarDay.update_yaxes(range=[0, cut_int[0]], row=2, col=1)
-        #
-        # # Ajouter les annotations au-dessus de chaque barre
-        # annotations = []
-        #
-        # # Parcourir chaque jour pour ajouter l'annotation correspondante
-        # for idx, day in enumerate(pct_df.index):
-        #     # Récupérer les pourcentages pour chaque source ce jour-là
-        #     percentages = pct_df.loc[day]
-        #     # Trier les sources pour correspondre à l'ordre des couleurs si nécessaire
-        #     sources_in_day = [source for source in [max_mean_col] + othercols if source in percentages.index]
-        #     # Formater les pourcentages en chaîne de caractères
-        #     pct_strings = [f"{percentages[source]:.1f}%" for source in sources_in_day]
-        #     # Joindre les pourcentages avec "/"
-        #     annotation_text = "/".join(pct_strings)
-        #     # Ajouter l'annotation au-dessus de la barre (ligne 1)
-        #     annotations.append(dict(
-        #         x=day,
-        #         y=105,  # Position en y au-dessus du maximum (ajustez si nécessaire)
-        #         xref='x1',  # Référence à l'axe x du subplot en ligne 1
-        #         yref='y1',  # Référence à l'axe y du subplot en ligne 1
-        #         text=annotation_text,
-        #         showarrow=False,
-        #         font=dict(color='black', size=14),
-        #         xanchor='center',
-        #         yanchor='bottom'
-        #     ))
-        #
-        # # Mettre à jour la mise en page avec les annotations
-        # figBarDay.update_layout(annotations=annotations)
-        #
-        #
-        # div_container.append(dcc.Graph(id='graph-XT_FinDay', figure=figBarDay,config= {
-        #                                 'scrollZoom': True  # Activer le zoom avec la molette
-        #                             }))
-        # div_container.append(dcc.Markdown(get_plotdesc(col1, col2),
-        #                                   dangerously_allow_html=True))
-        #
-        # #******************************************3
-        # #### Barplot idem précédent mais par jour
-        #
-        # div_container.append(dcc.Markdown("<h3>Barplot par jour et période</h3>",
-        #                                   dangerously_allow_html=True))
-        #
-        # # Assurez-vous que 'db_timecol' est au format datetime
-        # dayp_df = df.copy()
-        # dayp_df[db_timecol] = pd.to_datetime(dayp_df[db_timecol])
-        #
-        # # Créer la colonne 'day'
-        # dayp_df[db_daycol] = dayp_df[db_timecol].dt.date
-        #
-        # # Définir une fonction pour étiqueter les périodes
-        # def label_period(row):
-        #     time = row[db_timecol].time()
-        #     if time >= datetime.strptime("08:00", "%H:%M").time() and time < datetime.strptime("18:00", "%H:%M").time():
-        #         return 'Jour'
-        #     else:
-        #         return 'Nuit'
-        #
-        # # Appliquer la fonction pour créer la colonne 'period'
-        # dayp_df['period'] = dayp_df.apply(label_period, axis=1)
-        #
-        # # Créer une période 'Global' en dupliquant les données
-        # df_global = dayp_df.copy()
-        # df_global['period'] = 'Global'
-        #
-        # # Concaténer les dataframes
-        # df_all = pd.concat([dayp_df, df_global])
-        #
-        # # Grouper par 'day', 'period', 'source' et calculer les comptes
-        # aggperiod_df = df_all.groupby(['day', 'period', 'source']).size().reset_index(name='count')
-        #
-        # # Calculer les comptes totaux par 'day' et 'period'
-        # total_counts = aggperiod_df.groupby(['day', 'period'])['count'].sum().reset_index(name='total_count')
-        #
-        # # Fusionner les comptes totaux avec aggperiod_df
-        # aggperiod_df = aggperiod_df.merge(total_counts, on=['day', 'period'])
-        #
-        # # Calculer les pourcentages
-        # aggperiod_df['percentage'] = aggperiod_df['count'] / aggperiod_df['total_count'] * 100
-        #
-        # # Créer un mapping des jours à des valeurs numériques
-        # unique_days = sorted(aggperiod_df['day'].unique())
-        # day_to_num = {day: idx for idx, day in enumerate(unique_days)}
-        #
-        # # Ajouter une colonne numérique pour le jour
-        # aggperiod_df['day_num'] = aggperiod_df['day'].map(day_to_num)
-        #
-        # # Définir la largeur des barres et les offsets pour les périodes
-        # bar_width = 0.2  # Ajustez cette valeur selon vos préférences
-        # period_offsets = {'Global': -bar_width, 'Jour': 0, 'Nuit': bar_width}
-        #
-        # # Calculer les positions x pour chaque barre
-        # aggperiod_df['x'] = aggperiod_df['day_num'] + aggperiod_df['period'].map(period_offsets)
-        #
-        # # Créer la figure
-        # figBarDayPeriod = go.Figure()
-        #
-        # # Liste des périodes et des sources uniques
-        # periods = ['Global', 'Jour', 'Nuit']
-        # sources = aggperiod_df['source'].unique()
-        #
-        # # Initialiser un ensemble pour suivre les sources déjà ajoutées à la légende
-        # legend_added = set()
-        #
-        # # Ajouter des traces pour chaque source et chaque période
-        # for day_num in aggperiod_df['day_num'].unique():
-        #     day_str = str(day_num)  # Convertir le numéro du jour en chaîne pour l'utiliser dans alignmentgroup
-        #     for period in periods:
-        #         for source in sources:
-        #             df_plot = aggperiod_df[
-        #                 (aggperiod_df['day_num'] == day_num) &
-        #                 (aggperiod_df['period'] == period) &
-        #                 (aggperiod_df['source'] == source)]
-        #             if not df_plot.empty:
-        #                 figBarDay.add_trace(go.Bar(
-        #                     x=df_plot['x'],
-        #                     y=df_plot['percentage'],
-        #                     name=source,
-        #                     marker_color=colors.get(source, 'grey'),
-        #                     legendgroup=source,
-        #                     showlegend=(source not in legend_added),
-        #                     offsetgroup=period,
-        #                     alignmentgroup='day_' + day_str,  # Utiliser une chaîne unique pour chaque jour
-        #                     width=bar_width,
-        #                     customdata=df_plot[['day', 'period']],
-        #                     hovertemplate='Jour: %{customdata[0]}<br>Période: %{customdata[1]}<br>Source: %{name}<br>Pourcentage: %{y:.1f}%<extra></extra>'
-        #                 ))
-        #                 legend_added.add(source)
-        # # Mettre à jour la mise en page pour regrouper les barres par jour et par période
-        # figBarDayPeriod.update_layout(
-        #     title='<b>Répartition des sources par jour et par période</b>',
-        #     xaxis_title='Jour',
-        #     yaxis_title='Pourcentage',
-        #     barmode='stack',
-        #     bargap=0.05,  # Ajuster pour contrôler l'espacement entre les barres d'un même groupe
-        #     bargroupgap=0.15,  # Ajuster pour contrôler l'espacement entre les groupes de jours
-        #     legend_title='Source',
-        #     hovermode='x unified'
-        # )
-        #
-        # # Configurer les ticks de l'axe x pour afficher les dates
-        # day_positions = [day_to_num[day] for day in unique_days]
-        # day_labels = [str(day) for day in unique_days]
-        #
-        # figBarDayPeriod.update_xaxes(
-        #     tickmode='array',
-        #     tickvals=day_positions,
-        #     ticktext=day_labels,
-        #     tickangle=45  # Pivoter les labels si nécessaire
-        # )
-        #
-        # # Ajuster la plage de l'axe x pour inclure toutes les barres
-        # figBarDayPeriod.update_xaxes(range=[min(day_positions) - 0.5, max(day_positions) + 0.5])
-        # # Afficher la figure
-        # div_container.append(dcc.Graph(id='graph-XT_FinDayPeriode', figure=figBarDayPeriod,config= {
-        #                                 'scrollZoom': True  # Activer le zoom avec la molette
-        #                             }))
-        # div_container.append(dcc.Markdown(get_plotdesc(col1, col2),
-        #                                   dangerously_allow_html=True))
 
         ###** graphe 5 : XT Fin - b) valeurs journalières
 
         df['day'] = pd.to_datetime(df[db_timecol]).dt.date
         #### Barplot idem précédent mais par jour
-        agg_df = df.groupby(['day', 'source']).size()
+        agg_df = df.groupby([db_daycol, 'source']).size()
         wagg_df = agg_df.unstack(fill_value=0)
         pct_df = wagg_df.div(wagg_df.sum(axis=1), axis=0) * 100
 
@@ -819,12 +607,8 @@ def register_callbacks(app):
         ))
 
         #### ajouter les variables I
-        # selected_db = dbDayI_name
-        # queryI = get_query_extractInterval(selected_db, start_date, end_date)
-        # conn = sqlite3.connect(db_file)
-        # dayI_df = pd.read_sql_query(queryI, conn)
-        # conn.close()
         dayI_df = pd.DataFrame(day_db)
+        dayI_df = dayI_df.sort_values(by=db_daycol)
 
         if selected_period != 'stat_perso':
             start_date, end_date = get_startrange_date_vLatest(dayI_df[db_daycol], selected_period)

data_processing_v3.py

@@ -1,7 +1,7 @@
 import pandas as pd
 import re
 from settings import *
-# from utils_fcts import print_df_shape
+# from utils_fcts import print_df_shape # laisser commenté : importé dans utils_fcts ; erreru import circulaire
 
 def clean_cols(myl):
     #  myl = [re.sub(r'\[.*\]', '', x) for x in myl]
@@ -106,8 +106,16 @@ def file2tables(file_path):
     ###############################################################
     time_data = pd.DataFrame(time_lines)#, columns=new_columns)
 
+    # la 1ère colonne en datetime
     time_data.loc[:, 0] = pd.to_datetime(time_data.iloc[:, 0],
                         format='%d.%m.%Y %H:%M').dt.strftime('%Y-%m-%d %H:%M:%S')
+
+    # Conversion des autres colonnes en numérique (float)
+    for col in range(1, time_data.shape[1]):
+        time_data.iloc[:, col] = pd.to_numeric(time_data.iloc[:, col], errors='coerce')
+
+    #time_data.to_pickle('time_data_v3.pkl')
+
     ntime, ncols = time_data.shape
     time_data.columns = new_columns
 
@@ -174,6 +182,11 @@ def file2tables(file_path):
     dayI_data = dayI_data[1:]
     dayI_data.insert(0, day_txt_cols[0], date_day)
 
+    # Conversion des autres colonnes en numérique (float)
+    for col in range(1, dayI_data.shape[1]):
+        dayI_data.iloc[:, col] = pd.to_numeric(dayI_data.iloc[:, col], errors='coerce')
+
+
     ndayI, ndayIcols = dayI_data.shape
 
     assert ndayI <= 1

settings.py

@@ -554,7 +554,7 @@ showcols_settings = {
 
 for icol in time_added_cols:
     if not icol in showcols_settings:
-        showcols_settings[icol] =  showcols_settings[icol.replace('_L1_L2', '_L1')]
+        showcols_settings[icol] =  showcols_settings[icol.replace('_L1_L2', '_L1')].copy()
         showcols_settings[icol]['lab'] =showcols_settings[icol]['lab'].replace("L1", "L1+L2")
         showcols_settings[icol]['description'] =showcols_settings[icol]['description'].replace("L1", "L1+L2")