ارزیابی هوشمند اپراتور بدون بی‌عدالتی: چهار کنترل حاکمیت

چرا سنجه‌های عددی کافی نیستند

بیشتر تیم‌ها کارشناس را با عددهایی مثل تعداد گفتگوی پذیرفته‌شده، تعداد موارد حل‌شده و زمان پاسخ می‌سنجند. این عددها مفیدند و تعریفشان را در راهنمای شاخص‌های پشتیبانی مشتری آورده‌ایم. ولی یک چیز را نمی‌گویند: گفتگو چطور پیش رفت؟

کارشناسی که سریع جواب می‌دهد و مسئله را نیمه‌کاره می‌بندد، در این عددها خوب به نظر می‌رسد. کارشناسی که یک مشتری عصبانی را با حوصله آرام کرده، شاید زمان پاسخ بدتری داشته باشد. برای دیدن این تفاوت باید خود گفتگو را خواند.

ارزیابی دستی و محدودیتش

روش رایج این است که سرپرست یا واحد کیفیت، نمونه‌ای از گفتگوها را می‌خواند و با یک چک‌لیست نمره می‌دهد. این روش ارزش زیادی دارد، چون انسان زمینه را می‌فهمد. ولی دو محدودیت هم دارد:

• نمونه کوچک است. نمی‌شود همه گفتگوها را خواند. پس ممکن است نمره یک ماه کارشناس به چند گفتگوی اتفاقی بستگی پیدا کند.
• سلیقه اثر دارد. دو ارزیاب ممکن است به یک گفتگو نمره متفاوتی بدهند، و یک ارزیاب هم در روزهای مختلف یکسان عمل نکند.

این محدودیت‌ها به معنی بی‌ارزش بودن ارزیابی دستی نیست. سرپرستی که گفتگو را می‌خواند، چیزهایی می‌بیند که در هیچ معیاری نوشته نشده است. پس هدف حذف این نگاه نیست؛ هدف این است که وقت محدود سرپرست صرف گفتگوهایی شود که واقعاً به توجه او نیاز دارند.

هوش مصنوعی چه چیزی اضافه می‌کند

مدل زبانی می‌تواند گفتگوهای بیشتری را بخواند و هر بار با همان معیارها نمره و توضیح بدهد. مثلاً می‌گوید کارشناس در کجا همدلی نشان داد و کجا مسئله را خوب تشخیص نداد. برای مربی‌گری، این توضیح‌ها از خود نمره مفیدترند.

ولی همین گستردگی خطر هم دارد. وقتی نمره ارزیاب انسانی غلط است، معمولاً کسی می‌تواند با او حرف بزند. نمره نرم‌افزار ظاهری علمی دارد و راحت‌تر بی‌پرسش پذیرفته می‌شود. پس سؤال اصلی این نیست که «مدل چقدر دقیق است»، بلکه این است که وقتی اشتباه می‌کند چه اتفاقی می‌افتد؟

هیچ مدلی همیشه درست نیست و هیچ ارزیاب انسانی هم همیشه درست نیست. فرق در این است که برای خطای نمره، راه دیدن و اصلاح پیش‌بینی شده باشد. بخش بزرگی از عدالت در ارزیابی، از همین طراحی می‌آید.

بی‌عدالتی از کجا می‌آید

چند منبع رایج بی‌عدالتی را باید بشناسید:

• سختی گفتگو یکسان نیست: کارشناسی که پرونده‌های سخت را می‌گیرد، طبیعی است که گفتگوهای پرتنش بیشتری داشته باشد.
• حال مشتری تقصیر کارشناس نیست: مشتری ممکن است به خاطر تأخیر پست یا سیاست بازگشت کالا عصبانی باشد. کارشناس فقط پیام‌رسان است.
• ارث بردن از چت‌بات: گفتگویی که بعد از یک بن‌بست طولانی به کارشناس رسیده، از همان اول خراب است. درباره بن‌بست در مقاله بن‌بست چت‌بات نوشته‌ایم.
• بخشی از کار در متن نیست: تماس تلفنی یا پیگیری با واحد دیگر در رشته گفتگو دیده نمی‌شود.
• خطای خود مدل: مدل ممکن است طعنه یا لهجه نوشتاری را بد بخواند. یا شاید سبک نوشتن کوتاه و مؤدب را کم‌همدلی بداند.

یک خطر دیگر هم هست. وقتی نمره هدف می‌شود، رفتار آدم‌ها به سمت نمره می‌رود، نه مشتری. کارشناس یاد می‌گیرد جمله‌های همدلانه کلیشه‌ای بنویسد تا نمره بگیرد، بی‌آنکه مسئله بهتر حل شود.

چهار کنترل حاکمیت

این چهار کنترل، ارزیابی را از ابزار مراقبت به ابزار رشد نزدیک می‌کند:

۱. نمره پنهان وجود نداشته باشد. کارشناس باید بداند نمره می‌گیرد و نمره خودش را ببیند؛ همراه با توضیح اینکه از کجا آمده است. نمره‌ای که فقط مدیر می‌بیند، نه به بهتر شدن کمک می‌کند و نه اعتماد می‌سازد.

۲. دسترسی‌ها جدا باشند. دیدن تحلیل یک گفتگو با دیدن کارنامه یک همکار فرق دارد. کسی که برای حل یک پرونده باید تحلیل گفتگو را ببیند، لازم نیست نمره همکارش را هم ببیند. این دو باید دو مجوز جدا باشند.

۳. پیامد خودکار نداشته باشد. هیچ جریمه، اخطار یا تصمیم انضباطی نباید خودبه‌خود از یک نمره بیرون بیاید. نمره ورودی یک گفتگو میان انسان‌هاست و تصمیم با انسان می‌ماند.

۴. راه اعتراض وجود داشته باشد. کارشناس باید بتواند به نمره اعتراض ثبت کند و این اعتراض جایی بماند که پاک نشود. اعتراض‌ها یک فایده دیگر هم دارند: نشان می‌دهند مدل در چه موقعیت‌هایی بیشتر اشتباه می‌کند.

یک کارنامه خوب چه چیزی دارد

کارنامه خوب فقط یک عدد نیست. باید به کارشناس بگوید چه چیزی را می‌تواند فردا بهتر انجام بدهد. برای همین چند ویژگی لازم است:

• چند محور جدا: پاسخگویی، همدلی، حل مسئله و ارتباطات مهارت‌های متفاوتی‌اند. کارشناسی ممکن است مسئله را عالی حل کند و لحنش خشک باشد. یک نمره کلی این را پنهان می‌کند.
• دلیل هر نمره: «همدلی متوسط» به‌تنهایی کمکی نمی‌کند. باید بگوید در کدام پیام چه اتفاقی افتاد.
• نقاط قوت، نه فقط ضعف: کارشناس باید بداند چه چیزی را باید ادامه بدهد.
• پیشنهاد عملی: یک جمله یا روش مشخص که بار بعد می‌شود امتحان کرد.

وزن محورها هم تصمیم شماست. تیمی که مسئله‌های فنی پیچیده دارد، شاید حل مسئله را مهم‌تر بداند. تیمی که با مشتری‌های حساس کار می‌کند، شاید همدلی را. این تصمیم را آشکار بگیرید و به تیم بگویید.

گفتگوی بازخورد با نمره چطور باشد

نمره باید شروع گفتگو باشد، نه پایانش. در جلسه بازخورد، اول خود گفتگوی مشتری را با هم بخوانید. بعد از کارشناس بپرسید این نمره را درست می‌داند یا نه. گاهی او چیزی می‌داند که در متن نیست: مثلاً مسئله را با واحد مالی پیگیری کرده بوده است.

جلسه را روی یک یا دو نکته متمرکز نگه دارید. یک فهرست بلند از ضعف‌ها به تغییر رفتار نمی‌انجامد. نمونه‌ای از یک گفتگوی خوب خود او را هم بیاورید. اگر نمره اشتباه بود، همان‌جا ثبتش کنید تا در اصلاح معیارها به کار بیاید.

و سرپرست هم باید بتواند با نرم‌افزار مخالفت کند. اگر هر بار نمره را بی‌چون‌وچرا می‌پذیرد، نقش انسانی فقط اسمی است. سازمانی که اختلاف نظر با نمره را عادی می‌داند، از نمره‌هایش استفاده بهتری می‌کند.

چطور این کار را شروع کنید

چند گام عملی برای شروع:

• اول با تیم حرف بزنید. پیش از روشن کردن ابزار بگویید چه چیزی سنجیده می‌شود، چرا و نتیجه‌اش به چه کاری می‌آید.
• معیارها را روشن کنید. «همدلی» در تیم شما دقیقاً یعنی چه؟ چند نمونه خوب و بد کنار هر محور بگذارید.
• دوره آزمایشی بدون پیامد بگذارید. چند هفته نمره‌ها فقط برای یادگیری باشند و در هیچ تصمیمی به کار نروند.
• با ارزیاب انسانی مقایسه کنید. نمونه‌ای از گفتگوها را هم انسان نمره بدهد و اختلاف‌ها را بررسی کنید.
• به روند نگاه کنید، نه یک گفتگو. نمره یک گفتگو به تنهایی معنی زیادی ندارد. الگوی چند هفته قابل بحث است.
• با رضایت مشتری مقایسه کنید. اگر نمره‌ها بالا می‌رود ولی مشتری راضی‌تر نمی‌شود، شاید تیم فقط یاد گرفته نمره بگیرد.

پیش از استفاده از این نمره در تصمیم‌های منابع انسانی هم، با واحد منابع انسانی و مشاور حقوقی سازمانتان صحبت کنید.

نمونه عملی: کارنامه اپراتور در مانوتل

به‌عنوان نمونه، در مانوتل، محصولی از کارن تکنولوژی، Copilot برای گفتگو یا تیکت کارنامه‌ای در پنج محور می‌دهد: پاسخگویی، همدلی، حل مسئله، ارتباطات و نمره کلی؛ همراه با نقاط قوت و زمینه‌های قابل بهبود.

مانوتل هر چهار کنترل بالا را در کد اجرا می‌کند. اپراتور می‌داند نمره می‌گیرد و نمره خودش را می‌بیند. دیدن تحلیل گفتگو و دیدن کارنامه همکار دو مجوز جداست. هیچ اقدام انضباطی خودکاری بر پایه نمره وجود ندارد؛ نه با تنظیم، بلکه چون چنین قابلیتی ساخته نشده است. اپراتور هم می‌تواند به نمره اعتراض ثبت کند و اعتراض در لاگ ممیزی می‌ماند. کنار این کارنامه، گزارش عددی عملکرد اپراتور هم جداگانه هست.

درباره لاگ ممیزی و نقش‌ها هم می‌توانید در صفحه امنیت و حاکمیت داده مانوتل بخوانید.

پرسش‌های متداول