LeadershipTechnical ManagerSoftware Economics

Session 02 - Vendor Evaluation

Vendor Evaluation Process

Chọn vendor/tool sai có thể lock-in team hàng năm. Framework dưới đây giúp đánh giá vendor một cách có hệ thống và khách quan.

Quy trình 5 bước

1. Xác định Requirements → 2. Long-list Research → 3. Short-list Scoring
                                                          ↓
                              5. Decision & Contract ← 4. PoC Hands-on
StepDurationOutputKey Activity
1. Requirements1 tuầnRequirement docMust-have vs nice-to-have list
2. Long-list1 tuần5-8 vendorsMarket research, peer recommendations
3. Short-list1 tuần2-3 vendorsScorecard evaluation
4. PoC2-4 tuầnTechnical reportHands-on testing
5. Decision1 tuầnSigned contractNegotiation, approval

Vendor Evaluation Scorecard Template

Scorecard (thang điểm 1-5)

Tiêu chíTrọng sốVendor AVendor BVendor C
Features25%
Core functionality/5/5/5
API/Integration quality/5/5/5
Customization flexibility/5/5/5
Chi phí20%
License/subscription cost/5/5/5
Implementation cost/5/5/5
Total cost of ownership (3yr)/5/5/5
Support15%
SLA guarantee/5/5/5
Documentation quality/5/5/5
Community & ecosystem/5/5/5
Security15%
Compliance (SOC2, ISO 27001)/5/5/5
Data residency options/5/5/5
Encryption & access controls/5/5/5
Scalability15%
Performance at scale/5/5/5
Multi-region support/5/5/5
Vendor Risk10%
Company stability (funding, revenue)/5/5/5
Lock-in risk/5/5/5
Migration/exit difficulty/5/5/5
Weighted Total100%X.XXX.XXX.XX

Cách tính Weighted Score

Category Score = Average of sub-scores in category
Weighted Score = Category Score x Weight

Ví dụ Vendor A - Features:
  Core: 4, API: 5, Customization: 3
  Category Average = (4+5+3)/3 = 4.0
  Weighted = 4.0 x 0.25 = 1.00

Total = Sum of all weighted category scores

SLA Evaluation Checklist

Checklist đánh giá SLA

Hạng mụcCâu hỏi cần đặtRed Flag
Uptime99.9% hay 99.99%? Measured thế nào?< 99.9% cho production system
Response timeSLA cho support tickets? P1 bao lâu?> 4 giờ cho critical issues
CompensationCredit policy khi vi phạm SLA?Không có compensation clause
ExclusionsGì không nằm trong SLA?Quá nhiều exclusions
MeasurementAi đo? Bằng tool gì? Dashboard?Chỉ vendor tự đo, không public
TerminationCó thể exit không? Notice period?Lock-in > 3 năm
DataData export format? Transition period?Proprietary format only

Ví dụ SLA Comparison

MetricAzure SQL (Business Critical)AWS RDS (Multi-AZ)Self-hosted
Uptime SLA99.99%99.95%"Best effort"
Zone-redundant99.995%99.99% (Multi-AZ)Depends on setup
Credit < target10% (< 99.99%)10% (< 99.95%)N/A
Credit severe25% (< 99.9%)30% (< 99.0%)N/A

SLA Math - Tại sao 0.09% quan trọng

SLADowntime/yearDowntime/month
99%3.65 days7.3 hours
99.9%8.76 hours43.8 minutes
99.99%52.6 minutes4.38 minutes
99.999%5.26 minutes26.3 seconds

Contract Negotiation Tips for Tech Leaders

Những điều cần đàm phán

Hạng mụcBest PracticeLý do
PricingYêu cầu volume discount, annual vs monthlyAnnual thường rẻ 15-20%
TermBắt đầu 1 năm, không lock 3 năm từ đầuValidate trước khi commit dài
Exit clauseData export, transition period 90 ngàyTránh bị trapped
Price lockLock giá ít nhất 1-2 nămTránh surprise price increase
Support tierClarify included vs phải mua thêmHidden cost phổ biến
Data ownershipDữ liệu của bạn, luôn luônNon-negotiable
Audit rightsQuyền audit vendor's security/complianceQuan trọng cho regulated industries
Liability capGiới hạn trách nhiệm rõ ràngBảo vệ cả hai bên

Negotiation Checklist

  • Đọc kỹ Terms of Service TRƯỚC khi discuss pricing
  • So sánh pricing với ít nhất 2 competitors
  • Yêu cầu reference customers (cùng size/industry)
  • Clarify renewal terms (auto-renew? price increase cap?)
  • Xác nhận data portability format
  • Review security certifications và audit reports
  • Đàm phán pilot/trial period trước commitment

Exit Strategy Planning

Trước khi sign contract, trả lời 5 câu hỏi

1. Data có export được không? Format gì?
   → Standard format (CSV, JSON, SQL dump) vs proprietary

2. APIs có standard không?
   → REST/GraphQL vs proprietary SDK only

3. Transition period bao lâu?
   → 90 ngày minimum, data accessible trong thời gian đó

4. Chi phí để migrate đi?
   → Development effort + downtime + data migration

5. Có open-source alternative không?
   → Fallback plan nếu vendor fails

Exit Cost Estimation

ComponentVí dụ Cost
Data migration development2-4 tuần dev effort
Data validation & reconciliation1-2 tuần
Parallel running period1-3 tháng dual cost
User retraining1-2 tuần
Integration rewiring2-6 tuần depending on coupling
Total typical exit cost3-6 tháng effort

Proof of Concept (PoC) Process

PoC Planning Template

markdown
## PoC Plan - [Vendor/Tool Name]

### Objective
Verify [vendor] có thể [key requirement] trong production-like conditions.

### Scope
- IN: [Specific features/scenarios to test]
- OUT: [Explicitly excluded items]

### Timeline: 2-4 tuần
### Team: 1-2 developers
### Budget: [amount for licenses/infrastructure]

### Success Criteria
- [ ] Feature X hoạt động đúng với production-like data
- [ ] Performance đạt [threshold] (e.g., P95 < 200ms at 1000 RPS)
- [ ] Integration với hệ thống hiện tại OK (Auth, DB, monitoring)
- [ ] Security requirements pass (encryption, access control)
- [ ] Cost estimate xác nhận (within 20% of vendor quote)

### Test Scenarios
| Scenario | Expected Result | Pass/Fail |
|----------|----------------|-----------|
| [Scenario 1] | [Expected] | |
| [Scenario 2] | [Expected] | |

### Deliverables
- Technical evaluation report
- Performance benchmark results
- Go/No-go recommendation with reasoning

PoC Best Practices

DoDon't
Giới hạn scope - chỉ test key differentiatorsTest mọi feature (đó là job của vendor)
Dùng production-like dataFake data cho kết quả sai
Đo lường bằng metricsChỉ "cảm giác tốt"
Include integration testsTest standalone only
Document everythingRely on memory
Set hard deadline (2-4 tuần)PoC kéo dài vô hạn

Reference Check Questions

Câu hỏi cho Reference Customers

About Implementation:
- "Thời gian từ sign contract đến go-live?"
- "Biggest surprise trong quá trình implementation?"
- "Bạn cần bao nhiêu internal resources?"

About Operations:
- "Uptime thực tế vs SLA claimed?"
- "Support responsiveness thế nào? P1 incident response time?"
- "Đã có critical outage chưa? Vendor handle thế nào?"

About Value:
- "ROI có đạt như expected không?"
- "Nếu làm lại, bạn vẫn chọn vendor này không?"
- "Vendor có responsive với feature requests không?"

Red flag signals:
- Reference customer không muốn nói chuyện
- Chỉ cho reference customers rất mới (< 6 tháng)
- Reference customer ở completely different industry/scale

Common Vendor Red Flags

Red FlagChi tiếtRisk Level
Không cho trial/PoC"Trust us" - không thể verify claimsHigh
Pricing không transparentPhải call sales để biết giáMedium
Lock-in contract dài> 2 năm không exit clauseHigh
Proprietary data formatKhông export đượcHigh
Single point of contact1 người nghỉ là mất supportMedium
No SOC2/complianceKhông invest vào securityHigh
Frequent breaking changesAPI v1, v2, v3 trong 1 nămMedium
No public status pageKhông transparent về incidentsMedium
Customer churn rate caoHỏi analyst reports, forumsHigh
Roadmap không rõ ràngSản phẩm có thể bị abandonMedium

Ví dụ: Chọn Message Broker

Tiêu chíRabbitMQAzure Service BusKafka
CostFree (self-host)~$0.05/million opsFree (self-host)
Managed optionCloudAMQPAzure nativeConfluent Cloud
ComplexityTrung bìnhThấpCao
Throughput~50K msg/s~1K msg/s (Standard)~100K+ msg/s
Use caseTask queues, RPCEnterprise integrationEvent streaming
Azure integrationManualNativeManual
Lock-in riskLow (AMQP standard)Medium (Azure SDK)Low (open protocol)

Decision cho Azure-first team: Azure Service Bus. Native integration, managed, đủ throughput cho hầu hết use cases. Chọn Kafka chỉ khi cần event streaming scale lớn.