- EvenUp a dépassé une valorisation d'un milliard de dollars sur l'idée que l'IA aiderait à automatiser les demandes de dommages corporels.
- D'anciens employés ont déclaré à BI que l'entreprise comptait sur les humains pour effectuer une grande partie du travail.
- EvenUp affirme qu'il utilise une combinaison d'IA et d'humains pour garantir la précision, et son IA s'améliore.
EvenUp a dépassé une valorisation d'un milliard de dollars sur l'idée que l'IA pourrait aider à automatiser une partie lucrative des activités juridiques. D'anciens employés ont déclaré à Business Insider que la startup comptait sur des humains pour accomplir une grande partie du travail.
EvenUp vise à rationaliser les demandes pour dommages corporels et a déclaré qu'elle était l'une des entreprises à la croissance la plus rapide de l'histoire après être passée d'une valorisation de 85 millions de dollars au début de l'année au statut de licorne lors d'un cycle de financement en octobre.
Les clients téléchargent des dossiers médicaux et des dossiers, et l'IA d'EvenUp est censée passer au crible la grande quantité de données, en extrayant les détails clés pour déterminer le montant qui devrait être dû à une victime d'un accident.
L'un des investisseurs d'EvenUp a décrit son « approche basée sur l'IA » comme représentant un « bond en avant ».
La réalité, du moins jusqu'à présent, est que le personnel humain a effectué une part importante de ce travail, et l'IA d'EvenUp a mis du temps à prendre le relais, ont déclaré huit anciens employés d'EvenUp à Business Insider lors d'entretiens à la fin de l'été et au début de l'automne.
Les anciens employés ont déclaré avoir été témoins de nombreux problèmes avec l'IA d'EvenUp, notamment des blessures manquées, des problèmes de santé hallucinés et des visites chez le médecin mal enregistrées. Les anciens salariés ont demandé à ne pas être identifiés afin de préserver leurs futures perspectives d'emploi.
« Ils affirment lors du processus d'entretien et de la formation que l'IA est un outil qui permet d'accélérer le travail et que vous pouvez faire beaucoup plus grâce à l'IA », a déclaré un ancien employé d'EvenUp qui a quitté plus tôt cette année. « En pratique, une fois que vous démarrez dans l'entreprise, mon expérience est que mes managers m'ont dit de ne même pas utiliser l'IA. Ils ont dit qu'elle n'était pas fiable et créait trop d'erreurs. »
Deux autres anciens employés ont également déclaré que leurs superviseurs leur avaient dit à différents moments cette année de ne pas utiliser l'IA d'EvenUp. Un autre ancien employé qui a quitté l'entreprise cette année a déclaré qu'on ne lui avait jamais dit de ne pas utiliser l'IA, mais simplement qu'il fallait être vigilant pour la corriger.
« On m'a dit à 100% que ce n'était pas très fiable et que je devais le surveiller de très près », a déclaré l'ancien employé.
EvenUp a déclaré à BI qu'il utilisait une combinaison d'humains et d'IA, et que cela devait être considéré comme une fonctionnalité et non comme un bug.
« L'approche combinée garantit une précision maximale et la plus haute qualité », a déclaré Rami Karabibar, cofondateur et PDG d'EvenUp, dans un communiqué. « Certaines demandes sont générées et finalisées à l'aide principalement de l'IA, avec une petite quantité d'apport humain nécessaire, tandis que d'autres demandes plus complexes nécessitent une contribution humaine importante, mais le temps est quand même gagné grâce à l'utilisation de l'IA. »
Le cercle vertueux d’amélioration de l’IA
C'est une stratégie courante pour les entreprises d'IA de s'appuyer très tôt sur les humains pour accomplir les tâches et affiner les approches. Au fil du temps, ces apports humains sont intégrés aux modèles d’IA et aux systèmes associés, et la technologie est destinée à apprendre et à s’améliorer. Chez EvenUp, les signes de ce cycle vertueux de l’IA sont rares, ont déclaré les anciens employés.
« Il ne me semblait pas que l'IA s'améliorait », a déclaré un ancien membre du personnel.
« Notre IA s'améliore chaque jour », a déclaré Karabibar. « Cela fait gagner plus de temps aujourd'hui qu'il y a une semaine, cela a fait gagner plus de temps il y a une semaine qu'il y a un mois, et cela a fait gagner beaucoup plus de temps il y a un mois que l'année dernière. »
Histoires connexes
Une préoccupation plus large
La situation d'EvenUp met en lumière une préoccupation plus large à mesure que l'IA envahit les marchés et les conseils d'administration, ainsi que les lieux de travail et la vie des consommateurs. Le succès de l’IA générative nécessite de nouvelles technologies complexes pour continuer à s’améliorer. Il existe parfois un écart entre les rêves des fondateurs et des investisseurs de startups et la réalité pratique de cette technologie lorsqu'elle est utilisée par les employés et les clients. Même Microsoft a eu du mal avec certaines implémentations pratiques de son produit phare d’IA, Copilot.
Bien que l'IA soit capable de trier et d'interpréter de grandes quantités de données, elle a jusqu'à présent eu du mal à déchiffrer avec précision des contenus tels que les dossiers médicaux, qui sont formatés différemment et comportent souvent l'écriture manuscrite de médecins griffonnée dans les marges, a déclaré Abdi Aidid, professeur adjoint de droit. à l'Université de Toronto qui a créé des outils d'apprentissage automatique.
« Lorsque vous analysez les données, elles sont souvent brouillées, et il n'est pas utile que l'IA lise les données brouillées », a déclaré Aidid.
Plus tôt cette année, BI a interrogé EvenUp sur le rôle des humains dans la production des lettres de mise en demeure, l'un de ses produits clés. Après la sensibilisation, la startup a répondu par des réponses écrites et a publié un article de blog clarifiant les rôles que jouent les employés.
« Bien que les modèles d'IA formés sur des données génériques puissent gérer certaines tâches, la complexité de la rédaction de lettres de mise en demeure de haute qualité nécessite bien plus que la seule automatisation », a écrit la société. « Chez EvenUp, nous combinons l'IA avec un examen humain expert pour offrir une précision et des soins inégalés. »
Le porte-parole de la startup a refusé de préciser combien de temps son IA permettait, mais a déclaré à BI que les employés passaient 20 % de temps en moins à rédiger des lettres de mise en demeure qu'au début de l'année. Le porte-parole a également déclaré que 72 % du contenu des lettres de mise en demeure provenait d’un brouillon d’IA, contre 63 % en juin 2023.
La blessure d'un père
EvenUp a été fondée en 2019, plus de deux ans avant que ChatGPT d'OpenAI ne lance le boom de l'IA générative.
Karabibar, Raymond Mieszaniec et Saam Mashhad ont lancé EvenUp pour « égaliser » les règles du jeu pour les victimes de blessures corporelles. Les fondateurs et les investisseurs citent souvent l'histoire du père de Mieszaniec, Ray, pour expliquer pourquoi leur mission est importante. Il a été handicapé après avoir été heurté par une voiture, mais son avocat ne connaissait pas l'indemnisation appropriée et le règlement qui en a résulté « était insuffisant », a déclaré Lightspeed Venture Partners, l'un des investisseurs d'EvenUp, dans un article sur l'entreprise.
« Nous avons formé une machine pour qu'elle soit capable de lire les dossiers médicaux, d'interpréter les informations qu'elle parcourt et d'extraire les informations critiques », a déclaré Mieszaniec dans une interview l'année dernière. « Nous sommes la première technologie jamais créée pour automatiser essentiellement l'ensemble de ce processus et également maintenir une qualité élevée tout en garantissant que ces entreprises effectuent tout ce travail de manière rentable. »
Erreurs techniques EvenUp
Les huit anciens employés d'EvenUp ont déclaré à BI plus tôt cette année que ce processus était loin d'être automatisé et sujet aux erreurs.
« Vous devez quasiment revérifier tout ce que l'IA vous donne ou le faire entièrement à partir de zéro », a déclaré un ancien employé.
Par exemple, le logiciel a omis des blessures clés dans les dossiers médicaux tout en créant des hallucinations qui n'existaient pas, selon certains anciens employés. BI n'a trouvé aucune instance de ces erreurs dans le produit final. De telles erreurs, si elles n’étaient pas détectées par le personnel humain, pourraient potentiellement réduire les paiements, ont déclaré trois des employés.
Le système d'EvenUp enregistrait parfois plusieurs visites à l'hôpital sur plusieurs jours comme une seule visite. Si les employés n'avaient pas détecté leurs erreurs, la réclamation aurait pu être inférieure, a déclaré l'un des anciens employés.
Les anciens employés se sont souvenus du système d'IA d'EvenUp, de visites chez le médecin hallucinantes qui n'avaient pas eu lieu. Il a également été rapporté qu'une victime avait subi une blessure à l'épaule alors qu'en fait, sa jambe était blessée. Le système a également mélangé la direction dans laquelle se dirigeait une voiture – une information importante dans les poursuites pour blessures corporelles, ont déclaré les anciens employés.
« Cela permettrait d'extraire des informations qui n'existaient pas », se souvient un ancien employé.
Le logiciel a également parfois omis des détails clés, comme par exemple si un médecin a déterminé que la blessure d'un patient avait été causée par un accident particulier – une information cruciale pour l'attribution des dommages, selon certains employés.
« Cela représentait une grosse source d'argent pour les avocats, et cela manquait tout le temps à l'IA », a déclaré un ancien employé.
Le porte-parole d'EvenUp a reconnu que ces problèmes cités par d'anciens employés « auraient pu se produire », en particulier dans les versions antérieures de son IA, mais a déclaré que c'était la raison pour laquelle l'entreprise employait des humains comme filet de sécurité.
Histoires connexes
Un client et un investisseur
EvenUp n'a pas mis les dirigeants à disposition pour des entretiens, mais le porte-parole a mis BI en contact avec un client et un investisseur.
Robert Simon, cofondateur du Simon Law Group, a déclaré que l'IA d'EvenUp a rendu son entreprise de dommages corporels plus efficace et que l'utilisation d'humains réduit les erreurs.
« J'apprécie cela parce que j'aimerais avoir un regard supplémentaire dessus avant que le produit ne me revienne », a déclaré Simon. « EvenUp est extrêmement précis. »
Sarah Hinkfuss, associée chez Bain Capital Ventures, a déclaré qu'elle appréciait les travailleurs humains d'EvenUp car ils aident à former des modèles d'IA qui ne peuvent pas être facilement reproduits par des concurrents comme OpenAI et son produit ChatGPT.
« Ils créent de nouveaux ensembles de données qui n'existaient pas auparavant et automatisent des processus qui augmentent considérablement les marges brutes », a écrit Hinkfuss dans un article de blog plus tôt cette année.
De longues heures, moins d'automatisation
La plupart des anciens employés d'EvenUp ont déclaré que l'une des principales raisons pour lesquelles ils étaient attirés par la startup était qu'ils avaient l'impression que l'IA ferait une grande partie du travail.
« Je pensais que ce travail allait être vraiment facile », a déclaré l'un des anciens membres du personnel. « Je pensais que ce serait comme si tu vérifiais le travail que l'IA a déjà fait pour toi. »
La réalité, selon ces personnes, était qu’ils devaient travailler de longues heures pour repérer, corriger et accomplir des tâches que le système d’IA ne pouvait pas gérer avec une précision totale.
« Beaucoup de mes collègues travaillaient jusqu'à 3 heures du matin et le week-end pour essayer de suivre ce qui était attendu », se souvient un autre ancien employé.
L'IA d'EvenUp pourrait être utile dans des cas simples qui pourraient être traités en seulement deux heures. Mais les cas plus complexes nécessitaient parfois huit heures, de sorte qu'une journée de travail pouvait s'étendre jusqu'à 16 heures, ont déclaré quatre des anciens employés.
« J'ai dû travailler à Noël et à Thanksgiving », a déclaré l'une de ces personnes. « Ils [the managers] j'ai agi comme si cela devait être très rapide parce que l'IA faisait tout. Mais ce n’est pas le cas. »
Le porte-parole d'EvenUp a déclaré que les candidats sont informés dès le départ que le travail est difficile et nécessite une quantité importante de rédaction. Il a déclaré que les taux de rétention sont « conformes à ceux d'autres startups en hyper croissance » et que 40 % des associés aux opérations juridiques ont été promus au troisième trimestre de cette année.
« Nous reconnaissons que travailler dans une entreprise qui évolue aussi rapidement n'est pas pour tout le monde », a déclaré le porte-parole. « De plus, à mesure que notre IA continue de s'améliorer, il deviendra de plus en plus facile d'exploiter notre technologie. »
Soulignant l'importance continue des travailleurs humains, le porte-parole a noté qu'EvenUp avait embauché un vice-président du personnel fin octobre.
